Lora+ と CosineAnnealingLR と PagedAdamW8bit の組み合わせテスト

20epochで形になるがLossがきれいな低下傾向だったので100epochまで学習させたLoRA

--lr_scheduler_type "CosineAnnealingLR" --lr_scheduler_args "T_max=900" "eta_min=0e-0" --network_args "loraplus_lr_ratio=16"

T_maxをlrが底になるように設定したほうが良いと途中で気づいた

PagedAdamW8bit はVRAM足りるならAdamW8bit で良かったとか

推奨ネガティブ

blurred details,blur,blurred,upscaled image

アップスケールとラマクリーナーで一部ディテールが潰れた画像があるため

Combination Test of Lora+, CosineAnnealingLR, and PagedAdamW8bit

This LoRA model showed promising results after 20 epochs, with a clear downward trend in Loss, so I extended training to 100 epochs.

Parameters:

• LR Scheduler Type: CosineAnnealingLR

• LR Scheduler Args: T_max=900, eta_min=0e-0

• Network Args: loraplus_lr_ratio=16

Observations

• T_max Setting: It's better to set T_max to ensure the learning rate reaches its minimum.

• Optimizer Choice: PagedAdamW8bit was used, but AdamW8bit would have been sufficient if VRAM was available.

Recommended Negative Prompts

• Prompts: blurred details, blur, blurred, upscaled image

• Reason: Some images had details blurred due to upscaling and using the Lama Cleaner.

余談

スペルはzだ

ロータス・エリーゼという名車があるのでスペルミスでちょっと無駄なことをした