Stable Diffusion v2.1 と DreamStudio のアップデート
Stable Diffusion v2.1 リリース
Stable Diffusion の最新バージョンである、 Version 2.1をリリースしました。LAIONが開発した新しいテキストエンコーダー(OpenCLIP)を使用したバージョン2モデルのラインアップは、バージョン1よりもさらに深い表現が可能になっています。
SD v2のリリースから数日後には、プロンプトの新手法を学んだ人々によって素晴らしい成果が得られつつあります。2.1では新しいプロンプトのスタイルをサポートし、古いプロンプトの多くも復活しているのをきっと発見していただけると思います。
SD 2のトレーニングでは、より多様で幅広いデータセットをモデルに与え、LAIONのNSFWフィルタを使用してアダルトコンテンツをフィルタリングすることに努めました。このデータセットでは、建築、インテリア、野生動物、風景などのシーンで、画質が大きく向上しました。しかし、このフィルターによってデータセットに含まれる人物の数が劇的に減少したため、人物を生成して同様の結果を得るためには、より多くの人が努力しなければなりませんでした。
ユーザーの皆さまの声に耳を傾け、フィルタを調整しました。アダルトコンテンツを除去する機能はそのままに、よりアグレッシブな設定にすることで、誤検出の数を減らしました。この設定をもとにSD2.0モデルの微調整を行い、このモデルの良さを最大限に引き出すことができました。美しい建築物や自然の風景はもちろんのこと、人物やポップカルチャーの画像も簡単に表現できます。また、SD 2.0と比較して、解剖学や手の表現が向上し、さまざまなアートスタイルに対応できるようになりました。
また、このモデルは、非標準の解像度をレンダリングする能力も備えています。例えば、美しい景色や壮大なワイドスクリーン画像を提供する極端なアスペクト比での作業など、あらゆる種類の優れた新しいことを可能にします。
DreamStudioのアップデート
2.0で好評だった「ネガティブプロンプト」が、2.1ではさらに良い効果を発揮していることに、たくさんの方が気づかれています。
ネガティブプロンプトは、プロンプトの反対で、ユーザーが生成してはいけないものをモデルに指示することができます。否定的なプロンプトは、例えば潰れた手や多すぎる指、ピンぼけやぼやけた画像など、不要な細部を排除することが多いです。
DreamStudioでは、プロンプトに「|<ネガティブプロンプト>:-1.0」を追加することで、ネガティブプロンプトを簡単に試すことが出来ます例えば、「|醜い、醜い:-1.0、指が多すぎる:-1.0」と追記することで、指が多すぎるという問題が解決します。
プロンプトに重み付けをすることで、特定の色、オブジェクト、プロパティなど、構図に含まれる特定の要素の増減をモデルに促すことができます。標準的なプロンプトからスタートし、プロンプトの重み付けで構成要素を増減させながら画像全体を洗練させていくことで、ユーザーは画像合成をよりコントロールできるようになります。
オープンソース
私たちは、オープンこそがAIの未来であると考え、Stable Diffusionの現在および将来のバージョンをオープンで開発することにコミットしています。新年には、生成AIがますます強力になるため、より多くのモデルやリリースがどんどん出てきて、驚くような新機能が登場することを期待しています。
モデルの詳細: Stability AI GitHub.
進行中のプロジェクト: Stable Diffusion Prompt Book online here.
映画的なSFコンセプトアートの視覚的忠実性とスタイルを強化するために、ネガティブプロンプトを使用しています。