Lora+ と CosineAnnealingLR と PagedAdamW8bit の組み合わせテスト20epochで形になるがLossがきれいな低下傾向だったので100epochまで学習させたLoRA<pre><code>--lr_scheduler_type "CosineAnnealingLR" --lr_scheduler_args "T_max=900" "eta_min=0e-0" --network_args "loraplus_lr_ratio=16"</code></pre>T_maxをlrが底になるように設定したほうが良いと途中で気づいたPagedAdamW8bit はVRAM足りるならAdamW8bit で良かったとか推奨ネガティブ<pre><code>blurred details,blur,blurred,upscaled image</code></pre>アップスケールとラマクリーナーで一部ディテールが潰れた画像があるため<h3 id="combination-test-of-lora+-cosineannealinglr-and-pagedadamw8bit-l9ug09l8q">Combination Test of Lora+, CosineAnnealingLR, and PagedAdamW8bit</h3>This LoRA model showed promising results after 20 epochs, with a clear downward trend in Loss, so I extended training to 100 epochs.Parameters:<ul><li>LR Scheduler Type: <code>CosineAnnealingLR</code></li><li>LR Scheduler Args: <code>T_max=900</code>, <code>eta_min=0e-0</code></li><li>Network Args: <code>loraplus_lr_ratio=16</code></li></ul><h3 id="observations-gltietjq0">Observations</h3><ul><li>T_max Setting: It's better to set <code>T_max</code> to ensure the learning rate reaches its minimum.</li><li>Optimizer Choice: PagedAdamW8bit was used, but AdamW8bit would have been sufficient if VRAM was available.</li></ul><h3 id="recommended-negative-prompts-4k4p643uh">Recommended Negative Prompts</h3><ul><li>Prompts: <code>blurred details, blur, blurred, upscaled image</code></li><li>Reason: Some images had details blurred due to upscaling and using the Lama Cleaner.</li></ul>余談スペルはzだロータス・エリーゼという名車があるのでスペルミスでちょっと無駄なことをした

Files with SHA256: 0570462deab9660202b2f3cd31f0ab478324ee7beb8e23024cd402496d94aec6