更新履歴
さらにnijijourneyの画像1000枚ほどを目で見てアニメやイラスト風で良いもの選んで学習させました。
以下に何をやったか記録しますが、何が効いているのかわかりません。
以下にハイパーパラメータを記載しますが、その後
v11と
sd-webui-supermerger階層マージ（block_lrに近い絵が良さそうな比率）をしているため一度で仕上がりませんでした。
最後に
blurを-0.05ほど、
LECOで作った
animeを1でLoRAマージして仕上げました。
| ハイパーパラメータ | 値 |
|---|
| GPU | RTX3090 24GB |
| optimizer_type | PagedLion8bit |
| optimizer_args | weight_decay=0.01, betas=.9,.999 |
| block_lr | 0,1e-08,1e-08,1e-08,1e-08,1e-07,1e-07,1e-07,1e-06,1e-06,1e-05,1e-05,1e-05,1e-06,1e-06,1e-07,1e-07,1e-07,1e-08,1e-08,1e-08,1e-08,0 |
| lr_scheduler | cosine |
| lr_warmup_steps | 100 |
| gradient_checkpointing | |
| mixed_precision | bf16 |
| full_bf16 | |
| max_token_length | 225 |
| min_snr_gamma | 5 |
| noise_offset | 0.0357 |
| max_train_epochs | 3 |
| batch_size | 12 |
| enable_bucket | true |
| resolution | [1024,1024] |
前回のnijijourneyの画像を混ぜて12000枚で学習しました。
オプティマイザはLion(4e-06, cosine, weight_decay=0.015, betas=.9,.999)でした。
nijijourneyの画像4500枚ぐらいでフルファインチューニングしました。fp16で壊れないVAEに取り替えました。
学習率1e-07が低すぎたようで絵があまり変化しませんでした。次回は学習率を上げようと思います。
nijijourneyの画像100枚ぐらいでLoRAファインチューニングなどをしました。
モデルの説明
アニメ調に寄せた「
SDXL(stable-diffusion-xl-base-1.0)」モデルです。内容は「
niji-v5」データセットでLoRAファインチューニングしてマージしたモデルです。
使用例
※合計13000枚ぐらい100枚しか学習していないのでPromptに複数書くとnijiの絵じゃなくなります。Negative promptに複数書くのは大丈夫っぽいです。
Prompt:
masterpiece, best quality, high quality, absurdres, 1girl, flowerNegative prompt:
worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurryPNG info:
Steps: 28, Sampler: Euler a, CFG scale: 7, Seed: 1, Size: 1536x1024, Model hash: 791d0c791e, Model: sd_xl_niji_1.0, Clip skip: 2, ENSD: 31337, Token merging ratio: 0.5, Eta: 0.67, Version: v1.5.1
thumbnailPrompt:
thumbnail
Prompt:
thumbnail
Prompt:
thumbnail
Prompt:
thumbnailモデルの作り方
- 「かんたん☆コピー機学習法（きっと初級編）」を参考に、「ぼかし（blur）」のLoRA DreamBoothをして、そのLoRAモデルをSDXLモデルにマイナスでマージします。
- 1で作ったモデルに、niji-v5から背景や髪が詳細に描かれている絵などを100枚選びLoRAファインチューニングして、そのLoRAモデルをSDXLモデルにマージします。
今後のモデルの改善
LoRAモデルとして配布できるようにしたいです。
というのは、512dim(rank)で学習したらLoRAモデルが3GBのファイルサイズになってしまったため、今回はSDXLモデルにマージしています。
感想
うまく調整できず何度もやり直して大変でした。あとで作り方を動画にしたいです。
謝辞
モデル、学習データや学習ツールを作成および配布してくださった方々に心から感謝申し上げます。
ライブラリ
- sd-scripts 4072f723c12822e2fa1b2e076cc1f90b8f4e30c9
- bitsandbytes 0.39.1
- Pytorch 2.0.0+cu117
- xformers 0.0.19
ライセンス
