Stability AI、言語モデルシリーズ「StableLM」の第1弾をリリース
“A Stochastic Parrot, flat design, vector art” — Stable Diffusion XL.
Stability AIは、新しいオープンソースの言語モデル StableLMをリリースしました。アルファ版は30億パラメータと70億パラメータのモデルが用意されており、今後150億パラメータから650億パラメータのモデルも用意される予定です。開発者は、CC BY-SA-4.0ライセンスの条件に従って、商用または研究目的で、私たちのStableLM ベースモデルを自由に検査、使用、適応することができます。
2022年、Stability AIは、プロプライエタリなAIに代わる透明でオープンで拡張性のある画期的な画像モデルである Stable Diffusionを一般公開しました。StableLM モデル一式のリリースにより、Stability AI は、基盤AI 技術をすべての人が利用できるようにすることを続けています。StableLMモデルは、テキストやコードを生成でき、様々なアプリケーションに活用できます。小型で効率的なモデルが、適切なトレーニングによっていかに高い性能を発揮できるかを示しています。
StableLMのリリースは、非営利の研究ハブである EleutherAI と共同で初期の言語モデルをオープンソース化した経験を基盤としています。これらの言語モデルには、GPT-J、GPT-NeoX、Pythiasuite が含まれ、これらは以下の条件で学習されました。 パイルオープンソースのデータセットです。最近のオープンソース言語モデルの多くはこれらの取り組みを基にして開発されており、 Cerebras-GPT や Dolly-2 などがあります。
StableLM は、The Pileをベースに構築された新しい実験用データセットで学習しますが、その規模は The Pile の3倍で、1.5兆トークンのコンテンツがあります。このデータセットの詳細については、追って公開する予定です。このデータセットの豊富さにより、StableLM は、30億から70億のパラメータという小さなサイズにもかかわらず、会話やコーディングのタスクで驚くほど高い性能を発揮します（これに対し、GPT-3のパラメータ数は1750億です）
また、微調整を行った研究用モデルのセットも公開します。当初、これらのファインチューニングされたモデルは、会話型エージェント用のAlpaca、GPT4All、Dolly、ShareGPT、HHの5つのオープンソースデータセットの組み合わせを使用します。これらの微調整されたモデルは研究用としてのみ使用され、スタンフォードのAlpacaライセンスと同様に、非営利のCC BY-NC-SA 4.0ライセンスで公開されています。
70億パラメータを持つ微調整済みモデルによって生成された例をご覧ください。
言語モデルは、デジタル経済のバックボーンを形成するものであり、その設計において誰もが意見を述べることができるようにしたいと考えています。StableLM のようなモデルは、透明性が高く、アクセスしやすく、支持されるAI テクノロジーへの私たちのコミットメントを示すものです。
透明性： 私たちは、透明性を高め、信頼を醸成するために、モデルのオープンソースを採用しています。研究者は、性能を検証し、解釈可能な技術に取り組み、潜在的なリスクを特定し、セーフガードの開発を支援するために「フードの下を覗く」ことができます。官民の組織は、機密データを共有したり、AI 機能の制御を放棄することなく、オープンソースモデルを独自のアプリケーションに適応（「微調整」）することができます。
アクセシビリティ：私たちは、身近なデバイスでの使用を想定し、一般のユーザーが自分のデバイスでモデルを実行できるように設計しています。これらのモデルを使用することで、開発者は、1社または2社の独占的なサービスに依存するのではなく、広く入手可能なハードウェアと互換性のある独立したアプリケーションを構築できます。このように、AIの経済的利益が広範なユーザーと開発者のコミュニティに共有されます。私たちのモデルへのオープンで細かいアクセスが可能であることにより、幅広い研究・学術コミュニティが、クローズドモデルで可能な以上の解釈可能性と安全性の技術を開発することができます。
協力的： 私たちは、ユーザーを置き換えるのではなく、ユーザーをサポートするモデルを構築します。私たちは、効率的で、専門的で、実用的なAI の性能に重点を置いており、神のような知性を追求するものではありません。私たちは、日常的な人々や日常的な企業がAI を使って創造性を引き出し、生産性を向上させ、新しい経済機会を開拓できるようなツールを開発しています。
モデルは現在 GitHub リポジトリで利用可能です。近い将来、完全な技術レポートを発表する予定です。また、StableLM suite を展開するにあたり、開発者や研究者との継続的なコラボレーションを期待しています。さらに、クラウドソーシング型のRLHFプログラムを開始します。また、 Open Assistant などのコミュニティ活動と連携し、AIアシスタント向けのオープンソースデータセットを作成していきます。
近々、より多くのモデルをリリースする予定で、チームを増やしています。この技術へのアクセスを民主化することに情熱を持ち、LLMの経験をお持ちの方は、 こちらからお問い合わせください。
