結論
Stable Diffusion(ステーブル・ディフュージョン)とは、文章から画像を作る「潜在拡散モデル」の名前です。2022年8月に Stability AI が重みを公開し、2026年11月15日時点の公式の最新の系列は Stable Diffusion 3.5 です。使い方は、Stability AI の API などのサービスで使う方法と、重みを取得して自分の PC で動かす方法の2つに分かれます。
この記事でわかること
- できること(txt2img・img2img・inpainting など)と、1.x から 3.5 までのモデルの種類と発表時期
- Web・API・ローカルの使い方の違い、API の料金の計算、ローカルで動かす環境の目安(公式の記載だけ)
- プロンプト・ネガティブプロンプト・CFG・steps・seed・strength の意味と、NumPy の小さな模型で効き方を確かめた実行結果
この記事で実際に動かしたもの:画像の大きさと潜在の大きさの計算、重みの大きさの計算、API の料金の計算、そして「ノイズを足して戻す」流れと seed・CFG・steps・ネガティブプロンプト・strength の働きを、8×8 の小さな絵で再現した NumPy の模型です。Stable Diffusion 本体での画像の生成は行っていません。
文章から画像ができるまでの流れを、先に図で示します。
flowchart TD
A[プロンプト<br>文章] --> B[文字エンコーダー<br>文章を数値へ]
S[seed<br>乱数の種] --> C[潜在のノイズ<br>512x512なら4x64x64]
B --> D[ノイズ除去を<br>steps 回くり返す<br>CFG で指示の強さ]
C --> D
D --> E[VAE デコーダー<br>潜在を画像へ]
E --> F[画像]
よく調べられることの答えを先にまとめます。
| 知りたいこと | 答え | 詳しい節 |
|---|---|---|
| Stable Diffusion とは | 文章から画像を作る潜在拡散モデル。重みが公開されている | Stable Diffusionとは |
| 何ができるか | 文章から画像、画像から画像、一部の描き直し、拡大など | できること |
| モデルの種類 | 1.x・2.x・XL・3・3.5。最新の系列は 3.5(Large・Large Turbo・Medium) | モデルの種類と系譜 |
| Stable Diffusion の使い方 | API などのサービスで使うか、重みを取得してローカルで動かす | 使い方の種類 |
| 無料で使えるか | API は新規に25クレジット。ローカルはライセンスの条件の範囲で無料 | API の料金 |
| 必要な PC | 公式の記載では SDXL は 8GB、3.5 Medium は 9.9GB の VRAM が目安 | ローカルで動かす環境の目安 |
| CFG・steps・seed の意味 | 指示に従う強さ・ノイズを除く回数・乱数の種 | 用語 |
| 商用利用 | ライセンスはモデルごとに違う。提供元の最新の条件を確かめる | ライセンスと利用条件 |
確認環境:製品とモデルの説明は、Stability AI の公式ニュース(各モデルの発表)、Stability AI Community License Agreement、利用ポリシー(Acceptable Use Policy)、API の料金のページ、Hugging Face にある Stability AI 公式のモデルカード、公式の論文(arXiv 2112.10752)、CompVis と Stability AI の GitHub のリポジトリ、Hugging Face の Diffusers のドキュメント、ComfyUI と AUTOMATIC1111 の GitHub の説明を読んで書きました。Stability AI のサービスへのログイン・アカウントの作成・API の呼び出し・モデルの重みの取得・画像の生成は行っていません。サービスの画面の名前は書いていません。計算と模型は、Ubuntu 24.04 の Python 3.13.18 と NumPy 2.5.3 で、1スレッド・数秒で動く大きさで実行した出力です(確認日 2026年11月15日)。
本記事の内容は、ご自由にお使いください。
ご利用の際は、出典として本ページへのリンクを記載いただけますようお願いします。
(記載例)出典:株式会社RJC「Stable Diffusionとは|使い方とモデルの種類・seedとCFGを実演」
Stable Diffusionとは(文章から画像を作る潜在拡散モデル)
この節では、Stable Diffusion が何で、ほかの画像生成のしくみと比べてどこが特徴なのかが分かります。
Stable Diffusion は、ノイズだらけの状態から少しずつノイズを取り除いて画像を作る「拡散モデル」を、画像そのものではなく圧縮した「潜在空間」で動かすモデルです。もとになったのは、Robin Rombach らの論文「High-Resolution Image Synthesis with Latent Diffusion Models」(arXiv 投稿 2021年12月20日、CVPR 2022)です。論文は、拡散モデルを「学習済みの強力なオートエンコーダーの潜在空間で」動かすことで計算量を減らし、cross-attention の層で文章などの条件を受け取れるようにした、と説明しています。
CompVis の公式リポジトリは、最初のモデルを「latent text-to-image diffusion model(潜在空間で動く、文章から画像を作る拡散モデル)」と説明し、LAION-5B の一部の 512×512 の画像で学習したと書いています。Stability AI の公式ニュースによると、重みの公開は2022年8月22日で、ライセンスは CreativeML OpenRAIL-M でした。
1拡散モデル
学習では絵にノイズを足していき、生成ではその逆に、ノイズから少しずつ絵を取り出す。仕組みの理論は別の記事で扱う。
2潜在空間で動く
VAE という部品で画像を縦横 1/8 に縮めた「潜在」の上でノイズを除く。計算する値の数が約48分の1になる(次の計算)。
3重みが公開されている
モデルの重みが公開され、ライセンスの条件の範囲で、自分の PC やサーバーで動かせる。
潜在空間でどれだけ小さくなるかを計算しました。CompVis のリポジトリは、v1 の設定を「縮小の倍率8のオートエンコーダー」と書いています。Diffusers の例では、潜在は4チャンネルです。
== 1. 画像と潜在(latent)の大きさ ==
画像サイズ | 画素の値の数(RGB) | 潜在の形 | 潜在の値の数 | 縮む倍率
512x512 | 786,432 | 4x64x64 | 16,384 | 48倍
768x768 | 1,769,472 | 4x96x96 | 36,864 | 48倍
1024x1024 | 3,145,728 | 4x128x128 | 65,536 | 48倍
1216x832 | 3,035,136 | 4x104x152 | 63,232 | 48倍
縦横がそれぞれ 1/8 で面積は 1/64、色の3チャンネルが潜在の4チャンネルになるため、どの大きさでも 64÷4×3=48倍 小さくなります。この小ささが、家庭用の GPU でも動かせる理由の1つです。拡散モデルそのものの仕組み(ノイズの足し方と学習)は、「拡散モデルとは|ノイズを足して戻す仕組みを2次元で自作・画像生成AIの仕組み」で扱っています。この記事は、使い方と用語に絞ります。
読み方と表記
読みは「ステーブル・ディフュージョン」で、略して「SD」と書かれることがよくあります。SDXL は Stable Diffusion XL、SD3.5 は Stable Diffusion 3.5 の略です。「Stable Diffusion web UI」は、Stable Diffusion を動かすための別のアプリの名前で、モデルそのものではありません。
Stable Diffusionでできること(txt2img・img2img・inpainting)
この節では、Stable Diffusion で作れるものと、それぞれの呼び方が分かります。
基本は「文章から画像(txt2img)」と「画像から画像(img2img)」の2つで、そこから一部の描き直しや拡大に広がります。Stable Diffusion 2.0 の公式ニュースは、文章から画像を作るモデルに加えて、4倍に拡大するモデル、奥行きを推定して使う depth2img、文章で一部を差し替える inpainting のモデルを同時に公開したと書いています。
| 呼び方 | 入力 | できること |
|---|---|---|
| txt2img | 文章 | 文章に合う画像を新しく作る |
| img2img | 画像+文章 | 元の画像の構図を残して、雰囲気や画風を変える |
| inpainting | 画像+範囲+文章 | 選んだ範囲だけを描き直す |
| outpainting | 画像+文章 | 画像の外側を描き足して広げる(アプリの機能として使う) |
| アップスケール | 画像 | 解像度を上げる。2.0 では4倍のモデルが公開された |
| depth2img | 画像+文章 | 元の画像の奥行きを保って別の絵にする(2.0 で公開) |
img2img では、元の画像にどれだけノイズを足してから描き直すかを strength(アプリによっては denoising strength)で決めます。CompVis のリポジトリは strength を「0.0〜1.0 の値で、入力の画像に足すノイズの量を決める」と説明しています。どの値で元の絵がどこまで残るかは、あとの節で模型を動かして確かめます。
反対に、苦手なこともモデルカードに書かれています。SDXL 1.0 の公式のモデルカードは、限界として「完全な写実には届かない」「読める文字は描けない」「物の上に物を置くような組み合わせの指示が難しい」「顔や人物が正しく描かれないことがある」を挙げています。SD 3.5 Large のモデルカードは、人や出来事を事実どおりに表すようには学習していないため、そうした用途は対象外としています。
Stable Diffusionのモデルの種類と系譜(1.x・2.x・XL・3・3.5)
この節では、Stable Diffusion のモデルの名前と発表時期、それぞれの違いが、公式の発表の範囲で分かります。
名前は 1.x → 2.x → XL → 3 → 3.5 の順に出ています。標準の解像度は 512 → 768 → 1024 と大きくなり、3 からは仕組みが U-Net から Transformer(MMDiT)へ変わりました。
| 発表 | モデル | 公式の説明の要点 | ライセンス(公開時) |
|---|---|---|---|
| 2022年8月22日 | Stable Diffusion(1.x) | U-Net 860M+文字エンコーダー 123M。CLIP ViT-L/14 で文章を読む。512×512 の画像で学習 | CreativeML OpenRAIL-M |
| 2022年11月24日 | Stable Diffusion 2.0 | 文字エンコーダーを OpenCLIP に。標準 512×512 と 768×768。拡大・depth2img・inpainting のモデル | 公式ニュースを参照 |
| 2022年12月7日 | Stable Diffusion 2.1 | 学習データを増やし、フィルターをゆるめた。手や体の形、ネガティブプロンプトの効きが良くなった | 公式ニュースを参照 |
| 2023年7月26日 | SDXL 1.0 | base 3.5B、refiner と合わせて 6.6B。標準 1024×1024。8GB の VRAM の GPU で動く | CreativeML OpenRAIL++-M |
| 2024年2月22日 | Stable Diffusion 3(先行公開) | 800M〜8B。Transformer の拡散と flow matching を組み合わせる | 先行公開の受け付け |
| 2024年6月12日 | SD3 Medium | 2B。Diffusion Transformer の仕組みで文字の描写を改善 | Stability の Community License |
| 2024年10月22日 | SD 3.5 Large・Large Turbo | Large は 8.1B で 1メガピクセル向け。Turbo は 4 steps で作れる蒸留版 | Stability AI Community License |
| 2024年10月29日 | SD 3.5 Medium | 2.5B、MMDiT-X。0.25〜2メガピクセル。VRAM 9.9GB(文字エンコーダーを除く) | Stability AI Community License |
公式ニュースの日付には年が書かれていないものがあり、年はページの中の参照の日付と URL から読み取りました。SD3 Medium の発表のページには、ライセンスの名前が2通り(Stability Community License と Stability Non-Commercial Research Community License)書かれていました。使う前に、Hugging Face のモデルのページに書かれた今のライセンスを確かめるのが確実です。
1.x・2.x・XL(U-Net の系列)
ノイズを除く部品は U-Net
標準 512・768・1024
OpenRAIL 系のライセンス
対応するアプリや追加のモデルが多い
3・3.5(Transformer の系列)
ノイズを除く部品は MMDiT
文字エンコーダーは3つ(CLIP 2つと T5-XXL)
Stability AI Community License
文字の描写と指示への忠実さを改善と説明
2025年以降の公式の動き
2026年11月15日時点で、Stability AI の公式ニュースの一覧に、3.5 より新しい Stable Diffusion の名前は見当たりませんでした。2025年には、3.5 を NVIDIA の GPU 向けに TensorRT で最適化した版(2025年6月12日)、AMD の GPU 向けの版(2025年4月16日)、企業向けの NIM(2025年8月12日)が発表されています。ネット上には「Stable Diffusion 4」などの名前を書いた記事もありますが、公式の発表は見つからなかったため、この記事では扱っていません。
Stable Diffusionの使い方の種類(Web・API・ローカル)
この節では、Stable Diffusion を使う入口の種類と、それぞれ何が要るかが分かります。
入口は「提供元のサービス(API など)で使う」と「重みを取得して自分の環境で動かす」の2つに分かれます。Stability AI の公式サイトのトップには、Self-Hosted(自分の環境に置く)、API、Cloud Service(クラウドの環境に置く)、Brand Studio(企業のチーム向けの制作の場)が並んでいます。
| 入口 | 何を使うか | 要るもの | 向いている場面 |
|---|---|---|---|
| Stability AI の API | Stability AI のサーバーで生成 | アカウント・API キー・クレジット | 自分のシステムに組み込む、GPU を持たない |
| クラウドのサービス | Amazon Bedrock などから Stability AI のモデル | そのクラウドのアカウント | すでに使っているクラウドの中で使う |
| ローカルのアプリ | ComfyUI・Stable Diffusion web UI など | GPU のある PC・重みのファイル | 回数を気にせず試す、設定を細かく変える |
| ライブラリ | Hugging Face の Diffusers(Python) | Python・PyTorch・GPU | プログラムから細かく制御する |
| Brand Studio | Stability AI の企業向けの制作の場 | 提供元との契約 | 企業のチームでの制作 |
以前の解説では DreamStudio という Stability AI の Web のアプリがよく紹介されていましたが、2026年11月15日時点の Stability AI の公式トップには、その名前は出ていませんでした。Stability AI のモデルを使える他社の Web のサービスもありますが、料金と規約はそれぞれの提供元が決めるため、使う前にその提供元の説明を読むのが確実です。
ローカルで使うアプリ(名前と公式の説明)
- ComfyUI:ノード(箱)をつないで生成の流れを組むアプリ。GitHub の説明では Windows・Linux・macOS に対応し、NVIDIA・AMD・Intel・Apple Silicon などの GPU に対応、ライセンスは GPL-3.0。
- Stable Diffusion web UI(AUTOMATIC1111):Gradio で作られたブラウザーの画面。GitHub の説明では、Windows と NVIDIA の GPU の組み合わせを推奨とし、ライセンスは AGPL-3.0。
- Diffusers:Hugging Face の Python のライブラリ。StableDiffusionPipeline などで、数行で生成の流れを呼び出せる。
ComfyUI の入れ方と画面の使い方は、「ComfyUIとは|インストール・使い方・Manager・APIを解説」の記事で扱っています。Diffusers と同じ Hugging Face のライブラリの考え方は、関連記事「Hugging Face transformers入門|pipelineとタスク一覧」で扱っています。
Stable Diffusion APIの料金(クレジットの計算)
この節では、Stability AI の API の料金の決まりと、1枚あたりの費用・無料の分で作れる枚数の計算が分かります。
API は前払いのクレジットで払う仕組みで、公式の料金のページには「1クレジット=0.01米ドル」、新規に25クレジットの無料分があると書かれています。料金は変わることがある、とも書かれています。2026年11月15日時点の表から計算しました。
== 9. API の1枚あたりの費用と、無料の25クレジットで作れる枚数 ==
サービス | クレジット/枚 | 1枚の米ドル | 100枚の米ドル | 25クレジットで
Stable Image Ultra | 8 | 0.080 | 8.00 | 3枚(余り 1)
Stable Image Core | 3 | 0.030 | 3.00 | 8枚(余り 1)
SD 3.5 Large | 6.5 | 0.065 | 6.50 | 3枚(余り 5.5)
SD 3.5 Large Turbo | 4 | 0.040 | 4.00 | 6枚(余り 1)
SD 3.5 Medium | 3.5 | 0.035 | 3.50 | 7枚(余り 0.5)
SD 3.5 Flash | 2.5 | 0.025 | 2.50 | 10枚(余り 0)
10米ドル(=1,000クレジット)で作れる枚数: Stable Image Ultra 125枚, Stable Image Core 333枚, SD 3.5 Large 153枚, SD 3.5 Large Turbo 250枚, SD 3.5 Medium 285枚, SD 3.5 Flash 400枚
無料の25クレジットでは、SD 3.5 Large なら3枚、SD 3.5 Flash なら10枚です。試す回数を増やしたいときは、まず安いモデルで指示文を決め、最後に上のモデルで作る、という順番にすると費用を抑えられます。Stable Image Ultra と Core は、料金の表に並んでいる Stability AI のサービスの名前です。日本円での金額は為替と税で変わるため、この記事では米ドルのまま載せています。
ローカルで動かす環境の目安(VRAM・公式の記載)
この節では、自分の PC で動かすときの GPU のメモリ(VRAM)の目安が、公式に書かれた数字だけで分かります。
公式に書かれた数字は、モデルとページによって次のとおりです。どれも「この数字で動く」という提供元の説明で、画像の大きさ・使うアプリ・設定で必要な量は変わります。
| モデル・アプリ | 公式の記載 | 出どころ |
|---|---|---|
| Stable Diffusion 1.x | 公開時の使用メモリは 6.9GB の VRAM の見込み | Stability AI 公開のお知らせ |
| Stable Diffusion 1.x | 10GB 以上の VRAM の GPU で動く | CompVis のリポジトリ |
| SDXL 1.0 | 8GB の VRAM の家庭用の GPU で動く | Stability AI 公式ニュース |
| SD 3.5 Medium | 9.9GB の VRAM(文字エンコーダーを除く) | Stability AI 公式ニュース |
| SD 3.5 Large | VRAM の数字は書かれていなかった | Stability AI 公式ニュース |
| ComfyUI | 大きなモデルも 4GB の VRAM+8GB のメモリで動かせると説明 | ComfyUI の GitHub |
| Stable Diffusion web UI | 4GB のビデオカードに対応(2GB で動いた報告もある) | AUTOMATIC1111 の GitHub |
数字の感覚をつかむため、重みのファイルだけでどれだけのメモリを使うかを、パラメータの数×1個のバイト数で計算しました。fp16 は1個2バイト、fp32 は4バイトです。生成の途中で使う作業用のメモリは入っていません。
== 2. 重みだけの大きさ(パラメータ数 x 1個のバイト数) ==
SD 1.x(U-Net 860M + 文字エンコーダー 123M) 0.98B fp32 3.7 GiB fp16 1.8 GiB 8bit 0.9 GiB
SDXL 1.0 base 3.50B fp32 13.0 GiB fp16 6.5 GiB 8bit 3.3 GiB
SD 3.5 Medium 2.50B fp32 9.3 GiB fp16 4.7 GiB 8bit 2.3 GiB
SD 3.5 Large 8.10B fp32 30.2 GiB fp16 15.1 GiB 8bit 7.5 GiB
SD 3.5 Large は、fp16 にしても重みだけで約15.1GiB です。3.5 の系列はこれとは別に3つの文字エンコーダー(T5-XXL など)も読み込むため、公式の 3.5 Medium の数字が「文字エンコーダーを除く」と断っているのはこのためです。ComfyUI の「4GB でも動く」という説明は、重みを少しずつ GPU に送る仕組みによるもので、そのぶん時間がかかります。VRAM の調べ方と、モデルの大きさから必要量を出す計算は、関連記事「VRAMとは|確認方法・必要量の目安とLLMの計算式をPythonで解説」で扱っています。
GPU を持っていないとき
手元に GPU がないときは、API で使う、クラウドの GPU を借りる、の2つが入口になります。ComfyUI の GitHub は CPU だけでも動くと書いていますが、普段使いには勧めていません。クラウドの GPU の借り方と制限は、関連記事「Google Colabとは|使い方・GPU・料金・制限とエラーの直し方」で扱っています。
Stable Diffusionの生成の流れ:文章から画像までの部品
この節では、生成の中で働く5つの部品と、設定の値がどの部品に効くのかが分かります。
部品は、文章を区切る tokenizer、文章を数値にする文字エンコーダー、ノイズを除く本体(U-Net か MMDiT)、くり返しの進め方を決める scheduler、潜在を画像に戻す VAE の5つです。Diffusers の Stable Diffusion のパイプラインも、この部品の組み合わせでできています。
- 1tokenizer:文章を区切るプロンプトを単語より細かい単位(トークン)に分ける。CLIP は 77 トークンの枠で読む
- 2文字エンコーダー:数値にする1.x は CLIP ViT-L/14、XL は CLIP 2つ、3.5 は CLIP 2つと T5-XXL
- 3潜在のノイズ:seed で作る乱数の種から、潜在と同じ形のノイズを作る。ここで結果の大枠が決まる
- 4ノイズ除去:steps 回くり返す本体が「残っているノイズ」を予測し、scheduler の決まりで少しずつ引く。CFG はここで効く
- 5VAE:画像に戻す潜在を縦横8倍にのばして、色のある画像にする
ノイズの足し方の予定表は、モデルの設定ファイルに書かれています。Hugging Face にある Stable Diffusion v1.5 の scheduler の設定は、beta_start 0.00085・beta_end 0.012・beta_schedule "scaled_linear"・num_train_timesteps 1000 でした。この値から、各段でもとの絵がどれだけ残るかを計算しました。
== 3. ノイズを足す段数と、元の絵が残る割合 ==
段 t | 元の絵の係数 sqrt(abar) | ノイズの係数 sqrt(1-abar) | 信号対雑音比 SNR
0 | 0.9996 | 0.0292 | 1175.4706
100 | 0.9456 | 0.3252 | 8.4539
250 | 0.8208 | 0.5711 | 2.0655
500 | 0.5257 | 0.8507 | 0.3819
750 | 0.2370 | 0.9715 | 0.0595
999 | 0.0683 | 0.9977 | 0.0047
500段目で、もとの絵の係数(0.53)とノイズの係数(0.85)が逆転し、最後の999段目では、もとの絵は係数0.07しか残りません。生成はこの表を下から上へたどる作業で、steps はそのたどり方を何回に分けるかを決めます。学習の1000段を、生成では間引いてたどります。公式の例の steps は、1.x が50回、3.5 Large が28回です。
Stable Diffusionの用語:プロンプト・ネガティブプロンプト・CFG・steps・seed
この節では、生成の画面やコードに出てくる設定の名前と意味、公式の既定値が分かります。
名前はアプリによって少しずつ違いますが、指している設定は同じです。意味は Diffusers の StableDiffusionPipeline の説明と、CompVis のリポジトリに合わせました。
| 設定 | 別の呼び方 | 意味(公式の説明) | 既定値・例 |
|---|---|---|---|
| プロンプト | prompt | 作る画像を導く文章 | 英語の文が基本 |
| ネガティブプロンプト | negative_prompt | 画像に入れたくないものを導く文章。ガイダンスを使わないときは無視される | blurry, low quality など |
| CFG | guidance_scale、CFG scale | 大きいほど文章に沿うが、画質が下がることがある。1より大きいときに有効 | 1.x の既定 7.5、3.5 Large の例 3.5 |
| steps | num_inference_steps、サンプリングステップ | ノイズを除く回数。多いほど質が上がりやすいが遅くなる | 1.x の既定 50、3.5 Large の例 28、Turbo は 4 |
| seed | generator、シード値 | 乱数の種。同じなら同じ結果を出しやすい | 任意の整数 |
| strength | denoising strength | img2img で元の画像に足すノイズの量(0.0〜1.0) | アプリにより違う |
| サイズ | height・width | 作る画像の縦と横のピクセル数 | 1.x 512、XL 1024 |
CFG は classifier-free guidance の略で、「文章あり」と「文章なし」の2通りでノイズを予測し、その差を CFG の倍率でのばす仕組みです。ネガティブプロンプトは、この「文章なし」の側をネガティブプロンプトの文章に置き換える仕組みだと、AUTOMATIC1111 の説明に書かれています。SD 3.5 Large Turbo のモデルカードの例は guidance_scale を 0.0 にしており、この場合はネガティブプロンプトも効きません。
モデルごとに既定値が違う
1.x の既定(CFG 7.5・50 steps)を 3.5 Large にそのまま使うと、公式の例(CFG 3.5・28 steps)から大きく外れます。モデルを変えたら、まずそのモデルカードの例の値で作り、そこから1つずつ変えるのが確実な進め方です。
seedで結果が決まることをNumPyで実演
この節では、「ノイズを足して戻す」流れと「seed が同じなら結果も同じ」ことを、手元で動く小さな模型で確かめた結果が分かります。
模型では、8×8 のマスに描いた縦線3枚・横線3枚の計6枚を「学習した絵」とし、乱数のノイズから20段で戻しました。本物のモデルが持つノイズの予測の代わりに、6枚との近さから「ノイズを除いた絵」を計算で出す、理想のノイズ除去を使っています。ノイズの予定表は、上の v1.5 の設定と同じ値です。本物の設定(clip_sample は false)と違い、模型では値を -1〜1 に収めています。
import numpy as np
T = 1000
betas = np.linspace(0.00085 ** 0.5, 0.012 ** 0.5, T) ** 2 # scaled_linear
abar = np.cumprod(1 - betas)
def x0_hat(xt, a, X):
# 6枚の絵との近さで重みをつけた平均 = 理想の「ノイズを除いた絵」
d = ((xt[None, :] - np.sqrt(a) * X) ** 2).sum(1) / (2 * (1 - a))
w = np.exp(-(d - d.min())); w /= w.sum()
return w @ X
def sample(seed, X, steps=20):
rng = np.random.default_rng(seed) # seed = 乱数の種
ts = np.linspace(T - 1, 0, steps + 1).round().astype(int)
x = rng.standard_normal(64) # 8x8 の純粋なノイズ
for t, tn in zip(ts[:-1], ts[1:]):
a, an = abar[t], abar[tn]
x0 = np.clip(x0_hat(x, a, X), -1, 1)
e = (x - np.sqrt(a) * x0) / np.sqrt(1 - a) # 残っているノイズ
x = np.sqrt(an) * x0 + np.sqrt(1 - an) * e # 1段戻す(DDIM の形)
return x
seed を変えて動かした結果です。「ずれ」は、出てきた絵と、いちばん近い学習の絵との差の大きさ(RMS)です。
== 4. seed で結果が決まる(純粋なノイズから20段で戻す) ==
seed 1: いちばん近い絵 = 横線1 ずれ(RMS) = 0.0261
seed 2: いちばん近い絵 = 縦線1 ずれ(RMS) = 0.0282
seed 3: いちばん近い絵 = 縦線1 ずれ(RMS) = 0.0310
seed 42: いちばん近い絵 = 縦線5 ずれ(RMS) = 0.0260
seed 42 をもう一度: 1回目との差の最大値 = 0.0
seed 1 と seed 42 の出力(#=明るい):
........ .....##.
######## .....##.
######## .....##.
........ .....##.
........ .....##.
........ .....##.
........ .....##.
........ .....##.
seed 0〜999 の1000回で出た絵: {'横線1': 155, '横線3': 161, '横線5': 166, '縦線1': 181, '縦線3': 175, '縦線5': 162}
- 同じ seed(42)で2回動かすと、差の最大値は 0.0 で、まったく同じ結果になりました。最初のノイズが同じで、その後の計算に乱数を使わないためです。
- seed を変えると、出てくる絵が変わります。1000通りの seed では、6枚がそれぞれ155〜181回ずつ出ました。どの絵になるかは、最初のノイズでほぼ決まっています。
- 本物の Stable Diffusion でも、同じモデル・同じ設定・同じ seed なら、同じ画像を出しやすくなります。
本物で「同じ seed なのに違う」が起きる理由
Diffusers のドキュメントは、GPU と CPU では乱数の作り方が違うこと、再現が大事なら CPU の Generator を使うことを勧めています。そのうえで「同じ seed でも保証はされない」と書き、版や環境の違いは「一定の許容の範囲で」そろえる目標だとしています。模型で差が 0.0 になったのは、同じ PC・同じ版の NumPy で動かしたからです。
steps・CFG・ネガティブプロンプト・strengthの効き方(実行結果)
この節では、同じ模型で steps・CFG・ネガティブプロンプト・strength を変えたときに、結果がどう変わるかが分かります。
steps は少なすぎると絵が仕上がらず、ある回数から先はほとんど変わりませんでした。seed は 42 に固定しています。
== 5. steps(戻す段数)を変える:seed 42、6枚のうち近い絵とのずれ ==
steps 1: 縦線5 ずれ(RMS) = 0.8151
steps 2: 縦線5 ずれ(RMS) = 0.6256
steps 3: 縦線5 ずれ(RMS) = 0.0769
steps 5: 縦線5 ずれ(RMS) = 0.0299
steps 10: 縦線5 ずれ(RMS) = 0.0272
steps 20: 縦線5 ずれ(RMS) = 0.0260
steps 50: 縦線5 ずれ(RMS) = 0.0255
1〜2回ではずれが 0.6〜0.8 と大きく、5回で 0.03、それより後は 0.026 前後でほぼ横ばいです。どの絵になるか(縦線5)は steps で変わらず、仕上がりの細かさだけが変わりました。Diffusers の説明も、steps は「多いほど質が上がりやすいが、そのぶん遅くなる」としています。模型のように、ある回数から先は時間だけが増える、と考えておくと設定を決めやすくなります。
CFG:指示にどれだけ従うか
「縦」という指示を半分ほどしか効かせられない弱いモデルを作り、CFG を変えて200通りの seed で動かしました。
== 6. CFG(指示にどれだけ強く従うか):「縦」を指示、seed 0〜199 の200回 ==
cfg 0.0: 縦の絵になった回数 101/200 ずれ(RMS)の平均 0.0290
cfg 1.0: 縦の絵になった回数 138/200 ずれ(RMS)の平均 0.1342
cfg 1.5: 縦の絵になった回数 157/200 ずれ(RMS)の平均 0.1409
cfg 2.0: 縦の絵になった回数 200/200 ずれ(RMS)の平均 0.0303
cfg 4.0: 縦の絵になった回数 200/200 ずれ(RMS)の平均 0.0288
cfg 7.5: 縦の絵になった回数 200/200 ずれ(RMS)の平均 0.0287
cfg 15.0: 縦の絵になった回数 200/200 ずれ(RMS)の平均 0.0288
CFG 0 では指示が効かず、縦と横が半々(101/200)でした。1.0(弱いモデルそのまま)で138回、2.0 以上で200回すべてが縦になりました。CFG は「文章あり」と「文章なし」の差をのばすので、弱い指示でも強く効かせられます。Diffusers の説明にある「上げすぎると画質が下がる」ことは、6枚しか絵のないこの模型では再現しませんでした。本物のモデルについては Diffusers が「画質が下がることがある」と説明しているため、モデルカードの例の値から少しずつ動かします。
ネガティブプロンプト:入れたくないものを避ける
プロンプトは空のまま、ネガティブプロンプトに「横」を入れた形です。式は「ネガティブの予測+CFG ×(空の予測−ネガティブの予測)」です。
== 7. ネガティブプロンプト:指示は無し、「横」を避ける、seed 0〜199 ==
cfg 0.0: 横の絵が出た回数 200/200
cfg 1.0: 横の絵が出た回数 99/200
cfg 2.0: 横の絵が出た回数 40/200
cfg 4.0: 横の絵が出た回数 10/200
cfg 7.5: 横の絵が出た回数 1/200
CFG 1.0 ではネガティブプロンプトが効かず(99/200)、CFG を上げるほど横の絵が減り、7.5 では200回中1回になりました。ネガティブプロンプトは CFG の式の中で効くので、CFG が1以下だと効かないことが数字で確かめられます。Diffusers の説明の「ガイダンスを使わないときは無視される」と同じ結果です。また 7.5 でも 0 回にはならず、「必ず消えるわけではない」ことも分かります。
strength:img2img で元の絵をどれだけ残すか
元の絵「縦線3」にノイズを足してから戻す img2img を、strength を変えて100通りの seed で動かしました。
== 8. img2img の strength:元の絵「縦線3」から、seed 0〜99 の100回 ==
strength 0.1: 元と同じ絵のまま 100/100 元とのずれ(RMS)の平均 0.0284
strength 0.3: 元と同じ絵のまま 100/100 元とのずれ(RMS)の平均 0.0284
strength 0.5: 元と同じ絵のまま 100/100 元とのずれ(RMS)の平均 0.0284
strength 0.7: 元と同じ絵のまま 78/100 元とのずれ(RMS)の平均 0.2980
strength 0.9: 元と同じ絵のまま 45/100 元とのずれ(RMS)の平均 0.7214
strength 1.0: 元と同じ絵のまま 33/100 元とのずれ(RMS)の平均 0.8708
0.5 までは100回とも元の絵が残り、0.7 で78回、0.9 で45回、1.0 でも33回で、6枚からでたらめに1枚を引いたとき(約17回)より多く残りました。999段目でも元の絵の係数が0.07残るためです。上の予定表のとおり、strength 0.5 は500段目あたりから戻すことにあたり、まだ元の絵の係数が0.53残っています。構図を残したいなら低め、大きく変えたいなら高めという使い分けが、数字で確かめられます。
一度に全部変えず、1つずつ変える
seed を固定すると、違いがその設定から来たと読める(模型の表と同じ考え方)
steps を上げ続けない
模型では5回から先、ずれは 0.03 から 0.026 までしか減らなかった
Stable Diffusionのプロンプトの書き方の型
この節では、プロンプトの組み立て方と、アプリごとに違う書き方の決まりが分かります。
プロンプトは「何を・どんな様子で・どこで・どんな光で・どんな画風で・どう切り取るか」を英語の短い句で並べると、ねらいが伝わります。公式の例は「a photo of an astronaut riding a horse on mars」のように、主題と様子と場所を1文にしたものです。
主題を具体的に書く
「a glass teapot」のように、色・素材・大きさまで書く。「きれい」「おしゃれ」のような人によって違う言葉は、色や光の言葉に置き換える。
様子と場所を足す
「on a wooden table, by a large window」のように、何がどこにあるかを足す。物の上に物を置く指示は苦手とモデルカードにあるため、まずは1つの主題から始める。
光・画風・構図を足す
「soft morning light, watercolor illustration, close-up」のように、光・画風・寄りか引きかを足す。
ネガティブプロンプトを書く
「blurry, low quality, text, watermark」のように、入れたくないものを書く。CFG が1より大きいときだけ効く。
seed を固定して1か所ずつ直す
気に入った結果の seed を控え、プロンプトの1語だけを変えて作り直す。どの言葉が効いたかが分かる。
長さと強調の書き方(アプリの決まり)
CLIP の文字エンコーダーは、77 トークンの枠で文章を読みます(SD 3.5 Large のモデルカードの記載)。AUTOMATIC1111 の Stable Diffusion web UI は、長いプロンプトを75トークンずつに区切って別々に読み、あとでつなぐと説明しています。同じアプリでは、(word) で注目を強め、[word] で弱め、(word:1.4) のように数字で重みを付けられます。((word)) は 1.1×1.1=1.21倍です。この書き方はアプリの機能で、Stability AI の API や Diffusers の標準の書き方ではありません。
指示文の一般的な組み立て方は、関連記事「生成AIプロンプトのコツ8選|例示・役割・出力形式」で扱っています。この記事の見本は、身近な物と風景だけにしています。実在の人物や、すでにあるキャラクター・作品・ロゴに似せる指示は、他者の権利にかかわるため例にしていません。
Stable Diffusionのライセンスと利用条件(提供元の説明)
この節では、モデルごとのライセンスの名前と、Stability AI Community License に書かれている主な条件が、提供元の説明の範囲で分かります。
ライセンスはモデルの世代ごとに違います。1.x は CreativeML OpenRAIL-M、SDXL 1.0 は CreativeML OpenRAIL++-M、3.5 の系列は Stability AI Community License です。この記事は、個別の使い方の可否を判断するものではありません。
Stability AI Community License Agreement(最終更新 2024年7月5日)に書かれている主な内容を、提供元の説明として並べます。
| 項目 | ライセンスの記載の要旨 |
|---|---|
| 無料で使える範囲 | 年間の売上が100万米ドル未満の個人・組織。研究・非商用・個人の趣味・試用とテストも含む |
| 商用の利用 | 製品やサービス(API や組み込みを含む)と社内の業務。商用で使うときは Stability AI への登録が要る |
| 売上が100万米ドル以上 | このライセンスは終わり、別のライセンス(Enterprise)を申し込む。出すかどうかは Stability AI が決める |
| 出力の扱い | 適用される法令が認める範囲で、出力は利用者のものとする |
| 禁じられていること | モデルや出力を使って、ほかの基盤の生成 AI モデルを作ること |
| 配るとき | 契約の写しと Notice のファイルを付け、関係するサイトなどに「Powered by Stability AI」と目立つように示す |
| 守る決まり | 利用ポリシー(Acceptable Use Policy)を守る |
利用ポリシー(2026年9月30日から有効)は、他者の権利を害すること、子どもを害すること、性的に露骨な内容、暴力や憎しみをあおる内容、安全の仕組みを回り込むこと、なりすましや誤った情報で人をだますことなどを禁じています。モデルのライセンスは、モデルのページに書かれた条件そのものを読むのが確実です。
- 1使うモデルのライセンスの名前を確かめる世代ごとに違う。Hugging Face の公式のモデルのページに今の条件が書かれている
- 2提供元の最新の規約と利用ポリシーを読む規約は変わる。使う時点の文面を確かめる
- 3所属先の決まりを確かめる生成 AI の画像を社外に出すときの手続きや、使ってよいサービスの一覧
- 4API に機密情報・個人情報を送らないプロンプトや元の画像に入れる前に、提供元のデータの扱いの説明を読む
- 5追加のモデル(派生モデル)は、その配布元の条件も読む元のライセンスとは別の条件が付いていることがある
- 6モデル名・設定・seed・作った日を残すあとで同じ調子の画像を足すときや、問い合わせに答えるときに使う
Stable Diffusionのつまずき表と、使い方を選ぶ判断表
この節では、使い始めで止まりやすい場面の原因と直し方、どの入口から始めるかの選び方が分かります。
| 症状 | 考えられる原因 | 直し方 |
|---|---|---|
| 同じ seed なのに前と違う画像になる | モデル・設定・アプリの版・GPU か CPU かが違う | 設定をすべて控える。再現が大事なら CPU の Generator(Diffusers の推奨) |
| ネガティブプロンプトが効かない | CFG が1以下、または Turbo の系列で guidance 0 | CFG を1より大きくする。Turbo は仕様として効かない |
| 画質が落ちる・崩れる | CFG が大きすぎる。別のモデルの既定値を使っている | モデルカードの例の値(3.5 Large は 3.5)に戻す |
| ぼやけて仕上がらない | steps が少なすぎる(Turbo 以外) | モデルカードの例の steps に合わせる |
| プロンプトの後ろの言葉が効かない | 77 トークンの枠を超えている | 大事な言葉を前に置き、短い句にする |
| img2img で元の構図が消える | strength が高すぎる | 0.3〜0.5 あたりから試す(模型では 0.5 まで元の絵が残った) |
| 文字が読めない形で出る | SDXL などはモデルカードに「読める文字は描けない」とある | 文字は画像を作ったあとで自分で入れる。3.5 の系列を試す |
| メモリが足りないと出て止まる | モデルと画像の大きさに対して VRAM が足りない | 画像を小さくする、小さいモデル(Medium)にする、API を使う |
| 重みのページが開けても取得できない | 3.5 の系列は条件への同意が要るゲート付き | Hugging Face にログインし、条件を読んで同意する |
どの入口から始めるかの判断表
目的ごとに合う入口を並べます。どれが上ということではなく、作業の形と手元の環境で選びます。
| したいこと・手元の環境 | 合う入口 | 理由 |
|---|---|---|
| GPU がなく、まず数枚試したい | Stability AI の API | 新規に25クレジットの無料分(Flash で10枚) |
| 自分のシステムに組み込みたい | API かクラウドのサービス | GPU のサーバーを自分で持たずに済む |
| 8GB 以上の VRAM の GPU がある | ローカル(ComfyUI など)+SDXL・3.5 Medium | 公式の記載の目安に入る。回数を気にせず試せる |
| 生成の流れを細かく組みたい | ComfyUI | ノードで部品をつなぎ、流れを保存できる |
| Python から制御したい | Diffusers | パイプラインの部品と設定をコードで扱える |
| 仕組みを学びたい | この記事の模型と拡散モデルの記事 | GPU なしで seed・CFG・steps の働きを確かめられる |
ChatGPT で画像を作る方法は「ChatGPTの画像生成は無料でできる?使い方・回数制限・できないときの対処」で扱っています。ニューラルネットワークの基本の計算は、関連記事「ニューラルネットワークとは|仕組み・学習・AttentionをNumPyで実演」で扱っています。
Stable Diffusionのよくある質問
この節では、Stable Diffusion について検索されることの多い疑問に、公式の記載の範囲で短く答えます。
Q. Stable Diffusion は無料ですか。
重みはライセンスの条件の範囲で無料で使えます。3.5 の系列の Community License は、年間の売上が100万米ドル未満の個人・組織に無料で使うことを認めています。API は有料のクレジット制で、新規に25クレジットの無料分があります。ローカルでは GPU のある PC が要ります。
Q. 最新のモデルはどれですか。
2026年11月15日時点の公式の発表では、Stable Diffusion 3.5(Large・Large Turbo・Medium)が最新の系列です。API の料金の表には SD 3.5 Flash も載っています。
Q. 日本語のプロンプトは使えますか。
この記事で読んだ公式の例はすべて英語でした。日本語で思った絵にならないときは、英語の短い句に直すと伝わりやすくなります。
Q. Mac で動きますか。
ComfyUI の GitHub は macOS と Apple Silicon に対応すると書いています。Stable Diffusion web UI も Apple Silicon 向けの案内を wiki に置いています。速さは GPU やメモリで変わります。
Q. スマホで使えますか。
Stability AI の公式トップには、スマホのアプリは載っていませんでした。API を使った他社のサービスがありますが、条件はそれぞれの提供元が決めています。
Q. seed を同じにすれば必ず同じ画像になりますか。
同じモデル・設定・環境なら同じになりやすいですが、Diffusers のドキュメントは「同じ seed でも保証はされない」と書いています。GPU と CPU では乱数の作り方が違うためです。この記事の模型では、同じ PC で差 0.0 でした。
Q. CFG はいくつにすればよいですか。
モデルごとに違います。1.x の既定は 7.5、SD 3.5 Large の例は 3.5、Large Turbo の例は 0.0 です。モデルカードの例の値から始めて、少しずつ動かします。
Q. steps は多いほどきれいですか。
ある回数までは良くなり、その先はほとんど変わらず時間だけが増えます。模型では5回でずれが 0.03 になり、50回でも 0.026 でした。Turbo は 4 steps で作るように作られています。
Q. Stable Diffusion と Stable Diffusion web UI は同じものですか。
別のものです。Stable Diffusion は画像を作るモデル、Stable Diffusion web UI はそのモデルを動かすためのアプリ(AUTOMATIC1111 が公開、AGPL-3.0)です。ComfyUI も同じくモデルを動かすアプリです。
Q. 作った画像は仕事で使えますか。
Community License は、適用される法令が認める範囲で出力は利用者のものとし、商用で使うときは Stability AI への登録を求めています。個別の使い方の可否は、この記事では判断できません。使う前に、提供元の最新の規約と所属先の決まりを確かめることを勧めます。
Q. 拡散モデルと Stable Diffusion の違いは何ですか。
拡散モデルは「ノイズを足して戻す」生成の方式の名前で、Stable Diffusion はその方式を潜在空間で動かす、特定のモデルの名前です。
まとめ
この節では、ここまでの要点を5つにまとめます。
- Stable Diffusion は、文章から画像を作る潜在拡散モデルです。2022年8月に重みが公開され、画像を縦横 1/8 の潜在(値の数は48分の1)にしてからノイズを除きます。
- モデルは 1.x・2.x・XL・3・3.5 の順で、2026年11月15日時点の最新の系列は 3.5(Large 8.1B・Large Turbo・Medium 2.5B)です。
- 使い方は、API などのサービスか、ローカルのアプリ(ComfyUI など)です。API は1クレジット 0.01米ドルで、1枚 2.5〜8クレジット。ローカルの目安は SDXL で 8GB、3.5 Medium で 9.9GB の VRAM(公式の記載)です。
- seed が同じなら結果も同じになりやすく、CFG は指示の強さ、steps は仕上がり、strength は元の絵の残り方を決めます。模型では同じ seed で差 0.0、ネガティブプロンプトは CFG 1 では効かず 7.5 で200回中1回まで減りました。
- ライセンスは世代ごとに違います。3.5 の系列は売上100万米ドル未満なら無料で、商用は登録が要ります。使う前に提供元の最新の条件と所属先の決まりを確かめます。
参考・出典
この節では、この記事で確かめた公式の資料を一覧にします(確認日 2026年11月15日)。
- Robin Rombach ほか「High-Resolution Image Synthesis with Latent Diffusion Models」(arXiv 2112.10752、CVPR 2022):https://arxiv.org/abs/2112.10752
- CompVis「stable-diffusion」(GitHub):https://github.com/CompVis/stable-diffusion
- Stability AI「Stable Diffusion Public Release」(2022年8月22日):https://stability.ai/news/stable-diffusion-public-release
- Stability AI「Stable Diffusion 2.0 Release」(2022年11月24日):https://stability.ai/news/stable-diffusion-v2-release
- Stability AI「Stable Diffusion 2.1」(2022年12月7日):https://stability.ai/news/stablediffusion2-1-release7-dec-2022
- Stability AI「SDXL 1.0」の発表(2023年7月26日):https://stability.ai/news/stable-diffusion-sdxl-1-announcement
- Stability AI「Stable Diffusion 3」の先行公開(2024年2月22日):https://stability.ai/news/stable-diffusion-3
- Stability AI「Stable Diffusion 3 Medium」(2024年6月12日):https://stability.ai/news/stable-diffusion-3-medium
- Stability AI「Introducing Stable Diffusion 3.5」(2024年10月22日、10月29日更新):https://stability.ai/news/introducing-stable-diffusion-3-5
- Stability AI のニュースの一覧:https://stability.ai/news
- Stability AI Community License Agreement(最終更新 2024年7月5日):https://stability.ai/community-license-agreement
- Stability AI Acceptable Use Policy:https://stability.ai/use-policy
- Stability AI の API の料金:https://docs.stability.ai/pricing
- Hugging Face「stabilityai/stable-diffusion-3.5-large」「stable-diffusion-3.5-large-turbo」「stable-diffusion-xl-base-1.0」のモデルカード:https://huggingface.co/stabilityai
- Hugging Face「stable-diffusion-v1-5」の scheduler の設定:https://huggingface.co/stable-diffusion-v1-5/stable-diffusion-v1-5
- Hugging Face Diffusers「Text-to-image(StableDiffusionPipeline)」「Reproducibility」:https://huggingface.co/docs/diffusers/
- ComfyUI(GitHub):https://github.com/comfyanonymous/ComfyUI
- AUTOMATIC1111「stable-diffusion-webui」と wiki の Features:https://github.com/AUTOMATIC1111/stable-diffusion-webui
本記事の内容は、ご自由にお使いください。
ご利用の際は、出典として本ページへのリンクを記載いただけますようお願いします。
(記載例)出典:株式会社RJC「Stable Diffusionとは|使い方とモデルの種類・seedとCFGを実演」
株式会社RJC ― SI事業・SES事業・AI駆動開発。RJCは一緒に成長を楽しめる会社です。
WE ARE HIRING
RJCで一緒に開発しながら、
成長を楽しみませんか?
RJCは、Web・モバイル・AIを活用した開発プロジェクトで、テックリードやPM・PMOも活躍するシステム開発会社です。会社を知る、待遇を確かめる、話を聞いてみる。気になるところ見てみてください!
- 127日年間休日
- 12時間平均残業時間
- 毎日ガチャ遊びココロも大切にする福利厚生。アマギフなどの賞品ラインナップ!
ほかにも、チケットレストラン、書籍読み放題、2年ごとの慰労報奨(休暇 or 金一封)、11期連続の黒字決算。