今回の目的は、プロンプトを考えずに適当な画像を入力するだけで、それっぽい画像を生成するモデルを作ることです。そのために、画像分類モデルの出力をStable diffusionのUNetが理解できるように学習し、画像自体をプロンプトとして扱えるようにします。 ※自分の記事があまりにも面白すぎて冗長になってしまったので、太字部分だけ読んでもだいたい分かるようにしています。 ばっくぐらうんど...

　なんか学習設定について、よく分からんけどデフォルト！とかよく分からんけどこうしてみたらうまくいった！みたいな感覚で議論されていることが多い気がするので、学習設定についてまとめてみようと思います。機械学習のこと知らん人にも分かるようにするはずの記事でしたが多分そうなってないです。間違いもあると思いますが、私の記事が間違っていたとしても、悪いのは私よりも頭がいい人が分かりやすい説明をしないせい...

　前回学習設定の記事を書きましたが、しょうもないネタ画像を作るのが面白かったので、生成についても書いていきます。WebUIにある機能を中心に書きますが、実装をみないでフィーリングで理解してる部分もあります。 生成過程について 　Stable-Diffusionは拡散モデルというもので、完全なノイズからノイズを除去していって画像を生成するとかいいますね。ざっくりと以下のような図で表されます。...

　これのwebui拡張を実装したので記事にします。 　実装にwebuiのPRを通す必要があって、githubの方が英語（DeepL語）になってしまったので、こっちで使い方をあげておきます。あと色々な拡張と組み合わせることができるはずなので、それも試します。 環境構築 https://github.com/laksjdjf/pfg-webuiを他の拡張と同じようにインストールしてください。そん...

学習用. Contribute to laksjdjf/min-sd-trainer development by creating an account on GitHub.

　みなさんStable Diffusionという画像生成AIをご存じでしょうか。このAIはオープンソースとして公開されており、自分が好きなように学習させることもできます。今回は私のコードの無給テスターを募集追加学習のやり方を紹介していきます！！ Kohyaさんのコードとの違い 長所 顔だけ学習みたいなことできる pfgを学習できる（？） ControlNetを学習できる pfgとLoRAの同...

scale nagative prompt. Contribute to laksjdjf/negative_prompt_scaling_for_webui development by creating an account on GitHub.

　LECOとはモデルから特定の概念を取り除いたり、付与することができるLoRA学習法です。特徴は教師画像が必要ないことで、欠点はモデルがすでに覚えている概念しか扱えないことです。 実装 元論文 Erasing Concepts from Diffusion Models Motivated by recent advancements in text-to-image diffusion,...

　私がStable Diffusionの追加学習に興味を持った当初の理由はmimicをオープンソースですることだったのですが、それがほとんどできるというかそれを越えるようなことができたのでやります。Colabの無料版でもたぶんできます。 追記：Colabのアップデートによってxformersのインストールに失敗するかもしれません。代わりに!pip install xformersとすればたぶ...

　先月複数キャラクターを特徴が混じらないように生成する技術が公開されました。今回はこれの改良（たぶん）手法を提案します。 Colab 　Attention coupleとLatent coupleの両方を試せるようになってます。比較してみてください。この実装では計算時間が半分くらいになることが確認できます。（実装が間違っていたらごめんね） Google Colaboratory colab....

　以前ControlNetを��って何故かディテールをあげられるという記事を出しましたが、ControlNetを使うと生成が重くなるのでできれば避けたいです。今回はコピー機学習法の亜種というか変態バージョンみたいなのを使ってこれをLoRA化させてみます。 コピー機学習法について 　コピー機学習法とは、1枚の画像をひたすら学習して、どんな設定にしようがその画像そのものを生成するまで過学習したモデ...

　KohakuBlueleafさんが公開しているLoRAの強化プロジェクト？LyCORISの中にLoHAというLoRAの拡張版があります。今回はその手法について分析していきます。 元論文 FedPara: Low-Rank Hadamard Product for Communication-Efficient Federated Learning In this work, we...

　調査するぞ調査すると徹底的に調査するぞ！！！ 基本設定 　調査に使う学習コードは疑似的に作成したものになります。画像データ等は使わず、ランダムなテンソルをネットワークに入力します。VAEは使いません。共通設定を以下のようにします。 モデル：Stable-Diffusion-v1.5 バッチサイズ：[1, 2, 3, 4, 6, 8, 10, 12, 14, 16] 画像サイズ：768×768...

　ControlNetを使って画像の線や陰影の強さを調整できるということが分かりました。なぜそんなことができるかという考察と、それ以外のこともできんじゃねということとか、応用すればUNet内の各チャンネルの性質が理解できるようになるのではという話です。多分前置きがあまりにも長いです。 ControlNet1.1からの新しい設定 　ControlNet1.1がでてきましたね。私は新しくでてきた...

wd-1-4-tagger converted to pytorch. Contribute to laksjdjf/wd-v1-4-tagger-pytorch development by creating an account on GitHub.

SDXLの軽量版とかいうのが出てきたのでこれをアニメ化します。 segmind/SSD-1B · Hugging Face We’re on a journey to advance and democratize artificial inte huggingface.co できたモデル はい https://huggingface.co/furusu/SSD-1B-anime モデルについて...

Contribute to laksjdjf/pfg development by creating an account on GitHub.

ABaG for webui. Contribute to laksjdjf/ABaG-webui development by creating an account on GitHub.

　1～8ステップくらいで画像生成ができるようになるLatent Consistency Modelをつくります。まずはLatent Consistency Modelの説明をし、次に蒸留体験記を書いていきます。 性能は微妙ですが、個人的にはうまくいくことが分かっただけで満足です。生成なんてしないしー。 furusu/LCM-Acertainty · Hugging Face We’re on a...

Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models, arxiv 2023 / CVPR 2024 - SHI-Labs/Prompt-Free-Diffusion

　とりあえずメモ インストール 　githubに書いてある通りなんですが、クラウドのA100インスタンスのような化物構成の場合、 pip install ninja pip install flash-attn --no-build-isolation となります。Colabだと30分以上かかりました・・・。 RAMが少ない場合（というか一般的なPC）は、並列スレッド数が大きすぎるとOOMが...

前回の記事では、Stable Diffusionモデルを追加学習するためのWebUI環境「kohya_ss」の導入法について解説しました。 今回は、LoRAのしくみを大まかに説明し、その後にkohya_ssを使ったLoRA学習設定について解説していきます。 ※今回の記事は非常に長いです！ この記事では「各設定の意味」の…

Denoising diffusion probabilistic models (DDPMs) have achieved impressive performance on various image generation tasks, including image super-resolution. By learning to reverse the process of...

これ：https://gist.github.com/kohya-ss/3f774da220df102548093a7abc8538ed - kohya_hiresfix.py

:zap: InstaFlow! One-Step Stable Diffusion with Rectified Flow (ICLR 2024) - gnobitab/InstaFlow

GitHub Gist: instantly share code, notes, and snippets.

　最近出てきたプロンプト生成器 p1atdev/dart-v1-sft · Hugging Face We’re on a journey to advance and democratize artificial inte huggingface.co とWD-Taggerのv3 SmilingWolf/wd-vit-tagger-v3 · Hugging Face We’re on a...

特異値分解を解説する記事なんていくらでもありますが、LoRAに関連付けて話す記事なんてないと思うので、ここで書いてみます。まあ自分が特異値分解を理解するためでもあります。行列の右上カッコつき添え字に行数と列数を書きます。 参考記事： yutomiyatake.github.io LoRA まずLoRAについて、重みの全…

　学習コードに変な機能がいっぱい増えてわけわからなくなっちゃったので作り直すことにしました。せっかくなので記事にしてみます。完全なオレオレ学習コードなので全くゆうざあふれんどりぃでないものになる予定です！ 　方針として、モデルの定義以外は自前で実装します。モデルの定義はhuggingfaceとの連携辺りがめんどくさいのでやりたくないです。 　※Noteに貼り付けているコードはGithubのも...

各サンプラーの意味とかがなんとなく分かりたくて書いたものです。SDEやODEの導出に関する話はでてきません（分からんし）。 拡散過程の定義 サンプラーによって使われている文字の意味が違うので、ここでは文字をあわせていいきたいと思います。そのため論文の式そのままにできないので間違っている可能性があります。 拡散過程は分散…

拡散モデルのdezeroによる実装. Contribute to laksjdjf/dezero-diffusion development by creating an account on GitHub.

　Stable Diffusionは8の倍数であればどんな解像度の画像も生成できます。8の倍数でなくてはならないのは、VAEの出力が必ず8の倍数になるからです。つまりUNet部分は任意の解像度に対応することができます。 　Stable Diffusionのことを学び始めたころは、まだ分類問題くらいしか触れたことがなくて、Pytorchになんども入力のサイズがあってない！と怒られたので、どんな...

Recent works demonstrate a remarkable ability to customize text-to-image diffusion models while only providing a few example images. What happens if you try to customize such models using...

　タイトルの通り比較します。 学習設定 使うのは自前の訓練コード 学習用データセットは768×768画像128枚 Latentは事前に計算しておく（計測対象にはならない） UNetのみを学習対象とする torch2.0を使う diffusersは0.16.1を使う AMPを使用し、型はbfloat16にする AdamW8bitを使う バッチサイズはなるべく大きい値にする WD1-5を対象にす...

Contribute to laksjdjf/Perp-Neg-stablediffusion-webui development by creating an account on GitHub.

　多分今のところネガティブプロンプトの強弱を変えるみたいな設定はないと思うので実装しました。()や[]でできるかもしれないですが、あれはUNetを通る前にやっているはずです。理論（と言えるのかは分からないけど）はgithubの方で見てください。 使い方 　githubの通りですが、中にあるnegative_scaler.pyをwebuiのscriptsディレクトリに入れるだけで���応できます。...

　UNetの構造について書いていきます。またHyperNetworksやLoRAといったモジュールについても説明します。間違っているところがあっても謝りません。最初は大まかにみて徐々に小さいモジュール単位でみていきます。ResNetやVision Transformerのことを全く知らない人が読むことは想定していません。実装はdiffusersやStabilityAIのくそコードなんかよりわ...

Stable-Diffusionのv1系は画像に加わったノイズを予測するモデルですが、v2の一部はvelocityというものを予測しています。この2つは損失関数が違うのでlossで比べられません。経験的にv_predictionモデルの方が3倍くらいlossが大きくなるイメージですが、数学的に確認していきます。 ノイズ…

　深層学習の学習資料ではだいたい全結合型のニューラルネットワークの話から、畳み込みニューラルネットワークへと移っていくのが主流ですが、よく考えてみると畳み込みニューラルネットワークは本当にニューラルネットワークなの？という疑問を抱くようなものがほとんどだと思います。そのような話を分かりやすく解説している記事がありました。 線形層と比較した畳み込み層 - HELLO CYBERNETICS...

ネガティブプロンプトに関する面白そうな論文を見つけたので、ちょっと読んでみますが、その前にネガティブプロンプトの理論的な背景について自分なりの解釈でまとめてみます。 arxiv.org いきなりですが、拡散モデルはスコアベースモデルと解釈できて、ノイズを予測するモデルは推定値がスコアと比例します。 このスコアというのは…