Stable Diffusionとは?Git HubからStable Diffusionを読み解く

GitHub - CompVis/stable-diffusion: A latent text-to-image diffusion model

A latent text-to-image diffusion model. Contribute to CompVis/stable-diffusion development by creating an account on GitHub.

github.com

Stable Diffusionは、Stability AIとRunwayとのコラボレーションによって実現しました。以下の先行研究に基づいています。

High-Resolution Image Synthesis with Latent Diffusion Models Robin Rombach*、Andreas Blattmann*、Dominik Lorenz、Patrick Esser、Björn Ommer CVPR ’22 Oral | GitHub | arXiv | Project page

Stable Diffusionは、潜在的なテキストから画像を生成するlatent text-to-image diffusionモデルです。Stability AIからのコンピュータの寄付と、LAIONの一部のデータベースから512×512の画像を使用してモデルを訓練することができました。GoogleのImagenと同様に、このモデルは凍結されたCLIP ViT-L/14テキストエンコーダ(open aiによって作成された画像と言語を紐づけて学習させたエンコーダ。精度高く数値ベクトルに変換。)を使用してモデルをテキストプロンプトで条件付けします。860MのUNetと123Mのテキストエンコーダを持つこのモデルは比較的軽量であり、少なくとも10GBのVRAMを備えたGPUで動作します。以下のセクションとモデルカードを参照してください。

Requirements

conda env create -f environment.yaml
conda activate ldm

conda install pytorch torchvision -c pytorch
pip install transformers==4.19.2 diffusers invisible-watermark
pip install -e .

これらのコマンドは、Latent Diffusionモデルを実行するために必要なパッケージをインストールするためのものです。具体的には、PyTorch、Transformers、Diffusers、Invisible-Watermarkなどが含まれています。

最初のコマンドは、環境ファイルenvironment.yamlを使用して名前が「ldm」のconda環境を作成します。2番目のコマンドは、既存の環境を更新するために使用されます。

最後のコマンドは、プロジェクトのルートディレクトリで実行する必要があります。これにより、プロジェクトがpipでインストールされ、編集モードで実行されます。このコマンドは、開発者自身が開発したモジュールをインストールするために使用されます。

Stable Diffusion v1

Stable Diffusion v1は、下サンプリング率8のオートエンコーダーを使用し、860MのUNetとCLIP ViT-L/14テキストエンコーダーを持つ特定のモデルアーキテクチャの構成を指します。このモデルは、256×256の画像で事前にトレーニングされ、その後512×512の画像で微調整されました。

注意：Stable Diffusion v1は一般的なテキストから画像への拡散モデルであり、そのため、トレーニングデータに存在する偏見や誤解が反映されます。トレーニング手順やデータ、およびモデルの想定される使用方法に関する詳細は、対応するモデルカードに記載されています。

The wightは、Hugging FaceのCompVis組織でライセンス付きで提供されています。ライセンスには、モデルカードに基づいて誤用や害を防ぐための特定の使用に関する制限が含まれていますが、その他は寛容です。ライセンスの条項に従って商用利用することができますが、ウェイトには既知の制限や偏見が存在するため、追加の安全性の仕組みや考慮を必要とするサービスや製品に提供することはお勧めできません。一般的なテキストから画像へのモデルの安全で倫理的な展開に関する研究は進行中の取り組みです。ウェイトは研究資産であり、それに応じて扱われるべきです。

CreativeML OpenRAIL Mライセンスは、責任あるAIライセンスの分野でBigScienceとRAILイニシアチブが共同で進めている作業に基づいて適応されたOpen RAIL Mライセンスです。当社のライセンスは、BLOOM Open RAILライセンスに関する記事も参照してください。

モデルについて

mkdir -p models/ldm/stable-diffusion-v1/
ln -s <path/to/model.ckpt> models/ldm/stable-diffusion-v1/model.ckpt 

python scripts/txt2img.py --prompt "a photograph of an astronaut riding a horse" --plms 

usage: txt2img.py [-h] [--prompt [PROMPT]] [--outdir [OUTDIR]] [--skip_grid] [--skip_save] [--ddim_steps DDIM_STEPS] [--plms] [--laion400m] [--fixed_code] [--ddim_eta DDIM_ETA]
                  [--n_iter N_ITER] [--H H] [--W W] [--C C] [--f F] [--n_samples N_SAMPLES] [--n_rows N_ROWS] [--scale SCALE] [--from-file FROM_FILE] [--config CONFIG] [--ckpt CKPT]
                  [--seed SEED] [--precision {full,autocast}]

optional arguments:
  -h, --help            show this help message and exit
  --prompt [PROMPT]     the prompt to render
  --outdir [OUTDIR]     dir to write results to
  --skip_grid           do not save a grid, only individual samples. Helpful when evaluating lots of samples
  --skip_save           do not save individual samples. For speed measurements.
  --ddim_steps DDIM_STEPS
                        number of ddim sampling steps
  --plms                use plms sampling
  --laion400m           uses the LAION400M model
  --fixed_code          if enabled, uses the same starting code across samples
  --ddim_eta DDIM_ETA   ddim eta (eta=0.0 corresponds to deterministic sampling
  --n_iter N_ITER       sample this often
  --H H                 image height, in pixel space
  --W W                 image width, in pixel space
  --C C                 latent channels
  --f F                 downsampling factor
  --n_samples N_SAMPLES
                        how many samples to produce for each given prompt. A.k.a. batch size
  --n_rows N_ROWS       rows in the grid (default: n_samples)
  --scale SCALE         unconditional guidance scale: eps = eps(x, empty) + scale * (eps(x, cond) - eps(x, empty))
  --from-file FROM_FILE
                        if specified, load prompts from this file
  --config CONFIG       path to config which constructs model
  --ckpt CKPT           path to checkpoint of model
  --seed SEED           the seed (for reproducible sampling)
  --precision {full,autocast}
                        evaluate at this precision

# make sure you're logged in with `huggingface-cli login`
from torch import autocast
from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained(
	"CompVis/stable-diffusion-v1-4", 
	use_auth_token=True
).to("cuda")

prompt = "a photo of an astronaut riding a horse on mars"
with autocast("cuda"):
    image = pipe(prompt)["sample"][0]  
    
image.save("astronaut_rides_horse.png")

python scripts/img2img.py --prompt "A fantasy landscape, trending on artstation" --init-img <path-to-img.jpg> --strength 0.8

予備知識

Hugging faceとは

transformer

Transformerアーキテクチャは、自然言語処理タスクにおいて高い性能を発揮するニューラルネットワークの一つです。元々は言語翻訳タスクのために提案されたもので、Attention機構を中心に構成されています。Transformerは、従来のRNN（Recurrent Neural Network）を用いたニューラルネットワークと比較して、長期的な文脈を扱いやすいという利点があります。

Transformerは、エンコーダーとデコーダーという2つの部分で構成されています。エンコーダーは、入力された文の各単語を数値化し、それらの単語間の関係性を表すベクトルを生成します。デコーダーは、エンコーダーが出力したベクトルをもとに、翻訳結果の文を生成します。

Transformerでは、Attention機構を使用して、入力された文全体の単語を、それぞれの単語がどの程度重要かを判断することができます。このAttention機構により、長期的な文脈を考慮した翻訳結果を得ることができます。また、エンコーダーとデコーダーが直接つながっているため、デコーダーが生成した単語が、エンコーダーが出力したベクトルにどのように影響を与えるかを効率的に計算することができます。

以下の表は、Transformerの構成要素とそれらの役割を簡単にまとめたものです。

以下にRNNとTransformerの主な違いを表にまとめました。

uNet

UNetは、畳み込みニューラルネットワークの一種で、画像生成に使用されるエンコーダとデコーダから構成されるアーキテクチャです。エンコーダは入力画像を低次元の特徴空間に変換し、デコーダはその特徴空間を使用して、元の画像に近い画像を生成します。Stable Diffusionの場合、860MのUNetは、512×512サイズの画像を生成するために使用されます。

テキストエンコーダ

LAION

LAION は、 Large-scale Artificial Intelligence Open Network の頭字語です。
大規模な機械学習モデル、データセット、および関連コードを一般に提供する非営利団体です。
LAION はLAION-5Bと呼ばれるデータセットをリリースしました。このデータセットには、AI トレーニング用に 50 億を超える画像とテキストのペアが含まれています。
LAION は、オープンな公教育を奨励し、機械学習の研究を促進することを目指しています

StabilityAI

Stability AIは、カリフォルニア州ベイエリアに拠点を置く、AIの安定性と信頼性に特化したスタートアップ企業です。同社は、機械学習やディープラーニングにおいて、モデルの品質と信頼性を高めるためのさまざまなツールやソリューションを提供しています。Stable Diffusion v2など、自社の研究開発成果をオープンソースで公開することも行っています。また、同社は、安定性に関する専門的なコンサルティングや、モデルの評価やバグ検出、品質保証などのサービスも提供しています。