Stable Diffusion v2.1 と DreamStudio のアップデート

Stable DIffusion v2.1-768
Credit: KaliYuga_ai

Stable Diffusion v2.1 リリース

Stable Diffusion の最新バージョンである、 Version 2.1をリリースしました。LAIONが開発した新しいテキストエンコーダー（OpenCLIP）を使用したバージョン2モデルのラインアップは、バージョン1よりもさらに深い表現が可能になっています。

SD v2のリリースから数日後には、プロンプトの新手法を学んだ人々によって素晴らしい成果が得られつつあります。2.1では新しいプロンプトのスタイルをサポートし、古いプロンプトの多くも復活しているのをきっと発見していただけると思います。

Prompt: a portrait of a beautiful blonde woman, fine - art photography, soft portrait shot 8 k, mid length, ultrarealistic uhd faces, unsplash, kodak ultra max 800, 85 mm, intricate, casual pose, centered symmetrical composition, stunning photos, masterpiece, grainy, centered composition : 2 | blender, cropped, lowres, poorly drawn face, out of frame, poorly drawn hands, blurry, bad art, blurred, text, watermark, disfigured, deformed, closed eyes : -2 / Stable Diffusion v2.1-768

SD 2のトレーニングでは、より多様で幅広いデータセットをモデルに与え、LAIONのNSFWフィルタを使用してアダルトコンテンツをフィルタリングすることに努めました。このデータセットでは、建築、インテリア、野生動物、風景などのシーンで、画質が大きく向上しました。しかし、このフィルターによってデータセットに含まれる人物の数が劇的に減少したため、人物を生成して同様の結果を得るためには、より多くの人が努力しなければなりませんでした。

Prompt: A Hyperrealistic photograph of ancient Tokyo/London/Paris architectural ruins in a flooded apocalypse landscape of dead skyscrapers, lens flares, cinematic, hdri, matte painting, concept art, celestial, soft render, highly detailed, cgsociety, octane render, trending on artstation, architectural HD, HQ, 4k, 8k / Stable Diffusion v2.1-768

ユーザーの皆さまの声に耳を傾け、フィルタを調整しました。アダルトコンテンツを除去する機能はそのままに、よりアグレッシブな設定にすることで、誤検出の数を減らしました。この設定をもとにSD2.0モデルの微調整を行い、このモデルの良さを最大限に引き出すことができました。美しい建築物や自然の風景はもちろんのこと、人物やポップカルチャーの画像も簡単に表現できます。また、SD 2.0と比較して、解剖学や手の表現が向上し、さまざまなアートスタイルに対応できるようになりました。

また、このモデルは、非標準の解像度をレンダリングする能力も備えています。例えば、美しい景色や壮大なワイドスクリーン画像を提供する極端なアスペクト比での作業など、あらゆる種類の優れた新しいことを可能にします。

*Prompt: A valley in the Alps at sunset, epic vista, beautiful landscape, 4k, 8k / Stable Diffusion v2.1-768 CLIP off*

Prompt: A Hyperrealistic photograph of ancient Malaysian architectural ruins in Borneo's East Malaysia, lens flares, cinematic, hdri, matte painting, concept art, celestial, soft render, highly detailed, cgsociety, octane render, trending on artstation, architectural HD, HQ, 4k, 8k

*Prompt: A view underwater of colorful schools of fish swimming by a coral reef, professional, 4k, 8k / SD v2.1-768 CLIP off*

DreamStudioのアップデート

2.0で好評だった「ネガティブプロンプト」が、2.1ではさらに良い効果を発揮していることに、たくさんの方が気づかれています。

ネガティブプロンプトは、プロンプトの反対で、ユーザーが生成してはいけないものをモデルに指示することができます。否定的なプロンプトは、例えば潰れた手や多すぎる指、ピンぼけやぼやけた画像など、不要な細部を排除することが多いです。

DreamStudioでは、プロンプトに「｜＜ネガティブプロンプト＞：-1.0」を追加することで、ネガティブプロンプトを簡単に試すことが出来ます例えば、「｜醜い、醜い:-1.0、指が多すぎる:-1.0」と追記することで、指が多すぎるという問題が解決します。

プロンプトに重み付けをすることで、特定の色、オブジェクト、プロパティなど、構図に含まれる特定の要素の増減をモデルに促すことができます。標準的なプロンプトからスタートし、プロンプトの重み付けで構成要素を増減させながら画像全体を洗練させていくことで、ユーザーは画像合成をよりコントロールできるようになります。