先日、いらすとやの画像でTextual Inversionを試したが、今回は同じく数枚の画像でスタイルを学習するDreamboothを試してみる。Dreamboothは、元は、GoogleのImagenに対して適用された手法だが、Stable Diffusionに適用できるようにした実装が公開されたので…

AUTOMATIC1111版Stable Diffusion web UIは、起動時にCLIPの学習済みモデルを取得するために、HuggingFaceにアクセスを行う。 初回は、実際に学習済みモデルのダウンロードが必要だが、2回目以降はキャッシュされるために、ローカルストレージのキャッシュが…

Stable Diffusionの追加画像によるスタイル学習の方法として、「Textual Inversion」という方法がある。これは、3~5枚の画像を用いて、スタイルを表す新規の単語の埋め込みベクトルを学習する方法である。 既存のパラメータは一切更新しないで、既存モデルに…

前回、Stable Diffusionをdanbooruデータセットを使用して追加学習することを試した。今回は、自分でデータセットを作成して追加学習することを試す。 データセットには、画像とキャプションが揃っている必要があり、キャプションがない場合はCLIPで疑似ラベ…

前回、danbooruデータセットを使用してStable Diffusionに追加学習を行う手順について記載した。今回は、追加学習したモデルで、生成する画像がどう変わるか確認する。 追加学習の結果 98エポックまで学習を行った。 エポック数とステップ数 エポック数とス…

Stable Diffusionに独自データセットで追加学習できるようになるために、まずは既存のデータセットを使用した学習方法を試した。追加学習の方法には、画像3～5枚を用いてスタイルを学習させるTextual Inversionという方法があるが、ここでは追加学習にデータ…

この議事の内容は古いです。現在この手順では動きません。Stable Diffusionが公開されて一週間もたたないうちに便利なUIがいくつもリリースされている。 その中でも、stable-diffusion-webuiが機能が充実している。 GitHub - hlky/stable-diffusion-webui: S…

拡散モデルを使用した画像生成AIであるStable Diffusionがオープンソースで公開された。 ソースだけでなくモデルの重みも自由に利用できる。商用利用も可能だ。Stable Diffusion Public Release — Stability.Ai早速、ローカルのPCで試してみた。 丁寧な使っ…