【生成AI】生成AIで自分用のキャラを生成して遊びたい その７【LoRA】
前回の続き。
17~19日目
引き続き2人キャラ生成テスト。
色々やったけど、とりあえず試行錯誤の結果だけ。
GitHubのReadmeが結局一番参考になった。やはり公式。公式は全てを解決する。
日本語Readmeは助かる。（作者が日本人の方）
結局Regional PrompterとLatent Coupleどっちを使うかをそれぞれ数十回出力しつつ、比べてみた。
…正直よくわからない。
問題の切り分けが難しい。LoRAを複数使うとかなり劣化してしまうことだけは分かるんだけど、
そもそもの目的が複数使うことなので使わないという選択肢が無い。
LoRA自体は反映されているからその反映している部分（正しい部分）と、劣化の原因（間違っている部分）を切り分けるために色々設定を変えるもどうもうまくいかない。
結論として「LoRAを複数使うのは無理」となりそうだけど、色々情報を集めていると普通にLoRA複数使えている人もいるっぽいので、自分の設定がおかしいとは思うんだけどなにがおかしいか分からない沼にはまっている。
一応の結論として、これから使うならRegional Prompterをおすすめ。
Regional Prompterの方が拡張性の面において優秀。直近で更新もされててVerも新しい。不具合の修正もされそう。ドキュメントも結構ある。
設定項目も色々あるので正確な作業がしたい人向け。
Latent Coupleは少し古く、更新が止まっている。（２年前）
領域分けが結構あいまいで、自然さを保ちつつ複数指定ができる。
拡張性は低い。LoRAを使う場合はComposable Loraを使う必要があり、使っている環境によって正常に動作しない可能性がある。
という感じ。
Regional Prompterで出力した現在の限界がこちら。
ぱっと見は良さそうに見えるけど、顔の細部が少し崩れたりする。
服装も色々違うけど、LoRAのウェイトを上げると極端に崩れるので上げることもできず。CFGスケール（プロンプトの命令忠実度）で対応しても無理。
前回の記事のラストのやつみたいなのは出ることもあるけど、
タグのなにかをいじったときに崩れたり、
何枚か出力していると急に崩れたりと不安定な画像が多く出る。
通常より時間もかかるので試行回数も試せないのに不安定なのはいかがなものかと色々調整するが、うーん…という感じであまり進展しなかったので3日分をまとめました。
明日の自分に幸あれ。
20日目
あれから色々試して、ふと閃く。
「LoRA学習は一度に複数のトリガータグ（素材）をそれぞれ学習できるのだから、一つにまとめればよいのでは？」
という小学生並みのひらめきを再度思いつき、試してみる。
前回は素材が１２０～１４０枚程度でやった結果、上半身の色が違ったり服がそもそも違ったりといった現象が起きていたので、
今回は２４０～２５０枚程度の画像を用意した新しいキャラクターで、かつ複雑な服装ではないキャラを使用してみた。
JK陽キャとJK陰キャ。
それぞれ単一学習して出した画像はこんな感じ。
陽キャ。
陰キャ。
余談だけど陰キャの方はなぜか元画像でつけてないのにやたらとピアスした画像が出てきた。
目にクマがある系女子はバンギャ系だと認識されてしまうのかもしれない。
ピアスを外す場合はネガティブタグにear cuff, stud earringsで大丈夫だった。
cuffはクリップみたいな感じで覆うタイプ、studは小さい球みたいのを埋め込むタイプ。
で。
これらの素材を一つのLoRAにまとめて、Regional Prompterで出力。
モードはLatentモード、Use common promptにチェック。
Use common promptは、最初に入力したタグ部分（1個目のBREAK前に書くプロンプト）が、それぞれの要素にコピーされるモード。
要するに、最初に書いたやつをそれぞれのキャラ部分に書かなくていいモードなので、一番使い勝手が良い…と思われる。
サイズは横幅を広めの1280×720＝16:9の比率。他はデフォルト設定。
横長画像なのは、1:1だと1人構図が優先されることが多いため。
これにwide shotなどの「2人が無理なく入れる構図」の指示を入れる。
あと、プロンプトは以下な感じで出力。LoRAはコモンプロンプトに一つだけ記入し、それぞれのキャラ部分にはトリガータグを書き、LoRA指定はしない。
ポジティブ：
(masterpiece:1.4), <lora:lora:0.2>, 2girls, 風景とかライティングの情報, wide shot BREAK
(chara1_trigger_tag), キャラの特徴とか BREAK
(chara2_trigger_tag), キャラの特徴とかネガティブ：
(low quality, worst quality:1.4), bad anatomy, malformed hands, water mark, text, logo, 1girl
LoRAのウェイトは0.2。単体だと１でも大丈夫だけどRegional Prompterで1だとすんごい崩れる。理由は知らん。
内容は、教室で向かい合って座る。二人とも笑顔。
で、出力。
なかなか良いんじゃないでしょうか。
境界線近辺だと色が混ざったりキャラの情報が混ざったりするものの、それ以外はLoRAを守って描画されている印象。
試しに20枚ぐらい出力してみたけど、大きな崩れもなく、速度もLoRA1個なので速い速い。
結論構成来ました。
LoRAを複数使うといったな、あれは嘘だ。
LoRAは一つにまとめましょう。
とりあえず今日はこの辺で…。
引き続きRegional Prompter使うかどうかは明日以降考えます。就寝！