日本語大規模言語モデル「Japanese Stable LM 2 1.6B」をリリースしました

Japanese Stable LM 2 1.6B（JSLM2 1.6B）は16億パラメータで学習した日本語の小型言語モデルです。

ベースモデルとしてJapanese Stable LM 2 Base 1.6Bと、指示応答学習（Instruction tuning）済みのJapanese Stable LM 2 Instruct 1.6Bを提供します。両モデルともStability AI メンバーシップで商用利用が可能です。

Stable Code Instruct 3Bは、Stable Code 3Bの上に構築された、最新の指示学習済み大規模言語モデルです。このモデルは、コード補完を強化し、自然言語インタラクションをサポートすることで、プログラミングやソフトウェア開発に関連するタスクの効率性と直感性を向上させることを目的としています。私たちの分析によると、Stable Code Instruct 3Bは、様々なコーディング関連タスクにおいて、Codellama 7B InstructやDeepSeek-Coder Instruct 1.3Bなどの同等のモデルを凌駕しています。

新しいStable LM 2シリーズから、16億パラメータのベースモデルとインストラクションチューニングバージョンの、私たちの最初の言語モデルを紹介します。Stable LM 2 1.6B は、英語、スペイン語、ドイツ語、イタリア語、フランス語、ポルトガル語、オランダ語の多言語データで学習された、最新の16億パラメータ小型言語モデルです。

Stable Code Alpha 3BからのアップグレードであるStable Codeは、コード補完に特化し、効率性と多言語サポートにおいて先行製品を凌駕しています。非GPUモデルを含む標準的なノートパソコンと互換性があり、FIMや拡張コンテキストサイズなどの機能を備えています。複数のプログラミング言語に対応し、コーディング効率と汎用性において新たなベンチマークを打ち立てます。

Fireworks AI は Stability AIと提携をし、Fireworks.ai のプラットフォーム上で Stability AI の日本語言語モデルおよび画像モデルが利用できるようになりました。現在、Japanese SDXL, Japanese Stable VLM, Japanese Stable LM Gamma 7B Beta 70B が利用可能です。

StableLM Zephyr 3B のリリースをお知らせします。これは、軽量 LLM シリーズの最新版であり、インストラクション・フォローや Q＆A タイプのタスク向けに調整された新しいチャットモデルです。このモデルは、既存の StableLM 3B-4e1t モデルを拡張したもので、HuggingFace の Zephyr 7B モデルにインスパイアされたものです。StableLM Zephyr の30億パラメータにより、このモデルは、単純なクエリからエッジデバイス上の複雑なインストラクションコンテキストまで、幅広いテキスト生成ニーズに効率よく対応します。

Stability AI Japanは、オープンな日本語大規模言語モデルの中で最高性能のものを含む「Japanese Stable LM Beta (JSLM Beta)」シリーズをリリースしました。 各モデルはLlama-2をベースとしており、追加の学習を行うことで日本語の能力や日本に関する知識等を追加し、日本における用途に特化させています。特に、最大サイズの指示応答言語モデルであるJSLM Beta 70Bは、700億パラメータの商用利用可能な日本語言語モデルです。