Stable Code Instruct 3B のご紹介
ポイント
Stable Code Instruct 3B は、Stable Code 3B をベースにした指示学習済みの Code LM です。自然言語プロンプトにより、このモデルはコード生成、数学、その他のソフトウェア開発に関連するクエリなどの様々なタスクを処理することができます。
このモデルは、3Bスケールで最先端の性能を提供し、CodeLlama 7B Instruct などより大きなサイズのモデルを凌駕し、ソフトウェアエンジニアリング関連のタスクでは StarChat 15B と同等の性能を発揮します。
このモデルは現在、Stability AI メンバーシップで商用利用が可能です。Stable Code Instruct 3B のウェイトとコードは Hugging Face で公開しています。
詳細はこちらのテクニカルレポートをご覧ください。
Stable Code Instruct 3Bは、Stable Code 3Bの上に構築された、最新の指示学習済み大規模言語モデルです。このモデルは、コード補完を強化し、自然言語インタラクションをサポートすることで、プログラミングやソフトウェア開発に関連するタスクの効率性と直感性を向上させることを目的としています。私たちの分析によると、Stable Code Instruct 3Bは、様々なコーディング関連タスクにおいて、Codellama 7B InstructやDeepSeek-Coder Instruct 1.3Bなどの同等のモデルよりも優れています。これらの結果の詳細は、テクニカルレポートをご覧ください。 このモデルは現在、Stability AIメンバーシップで商用利用が可能です。Stable Code Instruct 3Bのウェイトとコードは、Hugging Faceで公開中です。
機能
Stack Overflow 2023 Developer Surveyの洞察に基づき、Stable Code Instruct 3B は、Python、Javascript、Java、C、C++、Go などの言語に焦点を当てています。これらの言語は、トレーニングの主要な焦点として選択されましたが、このモデルには、SQL、PHP、Rust などの広く採用されている言語のトレーニングも含まれています。
Stable Code Instruct 3B は、Lua のような当初トレーニングセットに含まれていなかった言語でも、強力なテスト性能を発揮します。この習熟度は、基本的なコーディング原則の理解と、コーディングタスクの本質的な予測可能性を活用し、多様なプログラミング環境にこれらの概念を適応させる能力に起因すると考えられます。
Stable Code Instruct 3Bは、コード生成だけでなく、FIM（Fill in the Middle）タスク、データベースクエリ、コード翻訳、説明、作成にも精通しています。指示学習済みであるため、ニュアンスの異なる指示を理解し、それに基づいて行動することができ、数学的理解、論理的推論、ソフトウェア開発にまつわる複雑な技術的説明の処理など、単純なコード補完にとどまらない幅広いコーディング作業を促進します。
パフォーマンス
Codellama 7B InstructやDeepSeek-Coder Instruct 1.3Bのような主要モデルと直接比較すると、Stable Code Instruct 3Bは、さまざまなコーディングタスクで優れたパフォーマンスを発揮します。テクニカルレポートに記載されている私たちのテストによると、Stable Code Instruct 3Bは、コード補完精度、自然言語命令の理解、異なるプログラミング言語に対する汎用性において、これらのモデルに匹敵するだけでなく、上回ることもあります。
上のグラフでは、Multi-PLベンチマークを使用して3つのモデルを比較し、さまざまな言語で生成された出力の強さを評価しています。その結果、Stable Code Instruct 3Bは、パラメータ数が少ないにもかかわらず、すべての言語でCodeLlamaを顕著に上回ることがわかりました。
技術詳細
Stable Code Instruct 3Bの主な技術的側面は以下の通りです。
言語サポート： Python、C++、JavaScriptなどの主要なプログラミング言語を主な対象としていますが、モデルのトレーニングデータセットは幅広い言語を網羅しています。モデルのトレーニング対象言語の一覧は、テクニカルレポートをご覧ください。
指示応答性： このモデルの指示学習により、複雑で微妙なリクエストを解釈して実行することができます。この機能により、Stable Code Instruct 3Bは、より適切でコンテキストを意識したコード提案を提供し、開発者の生産性を高め、アウトプットの反復と改善を可能にします。
ハードウェアアクセシビリティ： Stable Code Instruct 3Bはコンパクトなサイズと、低いハードウェア要件により、より多くのユーザーが利用できるようになりました。コード補完やFIMタスクをサポートし、微妙なプログラミングクエリを理解することで、開発者はより少ない労力で効率的かつ効果的に作業することができます。
Stable Code Instruct 3Bは、Stability AIメンバーシップにご加入いただければ、商用利用が可能です。非商用利用の場合は、テクニカルレポートをご参照の上、Hugging Face からモデルウエイトをダウンロードしてください。
