LoRAが作れることで有名なSeaArtさんで作ります。
ちなみにこのページの解説は基本的にキャラクターLoRaの作成方法です。
有料のSVIP限定サービスだったのですが2024年1月からフリーコースに開放されました。
（SVIP限定になってから数か月しかたってないけど）
2024年1月29日のアップデートでLoRaトレーニング画面が大きく変わりました。
はじめに LoRAってなあに
Stable Diffusionで使用する特定のキャラなどを指定するツールです。
人物の顔や服装、背景などを指定するために使われます。
また作画スタイルや画風などを指定することもあります。
人に何かを説明する時でも絵や図表があったほうが理解してもらいやすいように
Stable Diffusionへの依頼を文章だけでなく画像で行うと思うと良いでしょう。
モデルとの違いは私は単純にデータ量の大きさと捉えています。
１つのキャラクター専用のモデルを作る方法もあります。
ただモデルがないとLoRAは使えません。
モデルをさらに活用するためのツールです。
作りたいLoRAの見本画像を準備する
それではLoRA作成準備を始めましょう。
まずは見本画像を用意します。
見本画像を作る３つの方法
見本画像の作り方はは３つの選択肢があります。
- １から作成または実際の写真から作成する
- 写真から画像生成して作成する
- AI画像生成で作る
「１から作成または実際の写真から作成する」方法の利点はオリジナル感が強く出ます。
デメリットとしては人物の場合は写真を修整・成形するソフトが必要です。
写真ってちょろっと修整したほうが実際の見た感じに近くなります。
絵の場合も同様に作画能力が必要です。
「写真から画像生成して作成する」方法の利点は、モデルとの相性を製作工程で確認できることです。
また、修正をAIで行うということなので顔の皴やシミなどを楽に消すことが出来ます。サイズも統一して作成出来ます。
デメリットとしてはAIっぽい画像になりやすいです。
生成時に「顔は変えない」などと記入しないと顔が大幅に変更されてしまいます。
「AI画像生成で作る」方法は、特定のモデルの作成するものを固定化する感じです。
利点としてはモデルとの相性が完璧です。デメリットとしては他の人も同様のものが作成しやすいです。
また、手足が変形したものが出力されやすいので修正が必須になります。
モデルやLoRaによっては生成画像の学習利用を認めてないものがあります。
個人として楽しむ場合はたいして問題はありませんが、公開・商用利用などを考えている場合は注意しましょう。
（大切）要素を限定する
LoRAのテーマを決めます。必ず一つに絞って下さい。
小学1年生に算数を教えるような気持ちで丁寧に、わかりやすい画像を作成する必要があります。
例）
× ハムスターや猫などかわいい動物たち
〇 猫
〇 かわいい猫
もちろん複数の要素を詰め込んだLoRAも存在します。
LoRA作成1年生は欲張らない、これ大事。
（大切）必要枚数
キャラクターLoRA作成の目安として最低9枚用意しましょう。
これはどこかのStable DiffusionでのLoRA作成方法の記事で最低9枚と書かれていたのを参考にしています。絶対とは断言できないのですが、私は9枚で十分に機能するLoRAが出来ました。
違う方向から見た、違うポーズをとった、違う表情など。
とにかく要素は同じで異なるものを9枚用意しましょう。
キャラクターはこういうバリエーションがあるとリアリティが増します
- 目を閉じている
- 口を開けている、舌を出している
- 上を見る、下を見る
- 横から見た、後ろから見た
- 手を挙げている、物を持っている
- 笑っている、怒っている、泣いている
- ジャンプ、ダンス、足の裏を見せる
同じような画像が複数枚あると、それらの画像が抽出されやすくなります。
口を閉じて正面を見ている画像が一番用意しやすいので、そればかりになってないか注意してみて下さい。
ちなみに枚数で必要なスタミナ（コイン）が上下します。
作画スタイルのLoRAを作成する場合は大量の画像が必要です。40枚以上は欲しいところ。
背景の処理
背景は白にして下さい（R255・G255・B255）。
もちろん背景用のLoRAを作成している場合はこの限りではありません。
LoRAの学習では白い部分は学習されません。
単色の壁紙のようなものなら学習にそこまで支障はないとは思いますが
おそらく必要なスタミナ（コイン）量に影響します。
またLoRA作成は要素が少なければ少ないほどいいです。
「似たような背景でしか使わないから」という方は、むしろ背景も一緒に学習させても問題はないようで、やっぱり背景と物の境目はある程度わかりやすくしたほうがよいです。
背景の処理の仕方がよくわからない方はWeb上の背景透過処理ツールを使用するとよいでしょう。
そのまま透過処理画像のままですと背景が黒になります。
JPEG変換ツールを使ってJPEG画像にしてしまいましょう。
JPEGに変換すれば自動的に背景が白（R255・G255・B255）になります。
jpegはCMYKも対応していますが、透過処理時にRGB（ping）になっているかと思います。
背景透過参考サイト https://bgeraser.com/
（大切）画像のサイズ
画像のサイズ・縦横比はすべて同じにして下さい。
＊データセット作成時に同規格に切り抜くことも可能です
縦横比率１：１か３：４または４：３にしてください。
SDXLで作る場合は１：１推奨。
画像のサイズは、SDは512×512ピクセルまたは512×768、768×512
SDXLの場合は1024×1024ピクセルまたは768×768です。
小さくても512ピクセル以上の画像をご用意ください。
ちなみに大きい分にはあまり支障がないようで、私は比率しか守っていません。
データセットを作成する
画像が準備出来たらさっそく作成してみましょう。SeaArtで「トレーニング」をクリック。
「データセットを作成する」を押して新しいデータセットを作成して下さい。
画像を登録時に1枚0.5スタミナ必要です。（小数点以下切り上げ）100枚で50スタミナ。
他にもデータセットの設定を変更保存した時にスタミナが必要なります。
見本画像を登録する
作成した見本画像を登録します。
Training datasetに登録します。（regular datasetは無視してかまいません）
順番はどうせ変更されるので気にしなくていいです。
SDかSDXLかなどを決める
必ずしも最初に決める必要はありませんが、画像サイズに関係します。
SDXLはひとつしかありません。
他は全部SDの設定です。
（大切）タグを設定する
次は画像のタグを設定します。
設定したタグをプロンプトに書きこむと反応するようになります。
見本として私の公開しているLoRA「Spirit of Fire SDXL」を見てみましょう
このLoRAでは作成に使用した見本画像や設定を全部見ることが出来ます。
右上にある「同スタイルでトレーニング」をクリックして下さい。
トレーニングパラメーターが表示されます。
一番下の「全部見る」をクリック
「全部見る」を押すとデータセット画面が表示されます。
右下にある「トリガーワード」がメインとなるタグを入力する場所です。
画像を登録して、トリガーワードを設定して「切り抜き/タグ着けをやり直す」を押して初めてタグが設定されます。
- 切り抜き方式：切り抜き不要
- タグ付けアルゴリズム：Deepbooru（デフォルトのまま）
- タグ付け閾値：0.8または0.3（デフォルトのまま）
でいつもやっています。
画像の比率がバラバラの場合は切り抜き設定と切り抜きサイズを設定して下さい。
トリガーワードはズバリ要素を表すものです。
上の見本の場合は「Spirit of Fire」になっています。
猫やハムスター、女の子など一般的な単語を使うと、
例えばハムスターと指定するとLoRAのハムスターしか生成されなくなります。
何も困らないけど（LoRA外せばいいんで）困る人は色々悩んで設定しましょう。
キャラクター名を入れる場合は単語として認識されないローマ字3文字程度がいいようです。
私は平気で長文入れがちですが・・。
画像をクリックしてタグを確認します。
個別に追加したい場合は上のマスに、全部に追加したい場合は下のマスに記入して追加します。
ちなみにタグを一括で消すコマンドはありません。
ハムスターが熊や柴犬に認識されがちで手動でコツコツ消しています。つらい。
ちなみに画像を追加した場合、タグは「切り抜き/タグ着けをやり直す」から再スタートになります。
辛い。
自動では入らなかったタブを設定しましょう。画像ごとにその画像を説明するタグを設定します。
要素が「ハムスター」の場合はハムスター自体を説明するタグはいりません（ふわふわ・動物など）
ハムスターがどんぐりを持ってたら「having_nuts」
帽子を被っていたら「cap」など、ハムスター以外の要素を記入します。
画像ごとの説明タグはプロンプト提示のページを参考にするといいですよ。
ちなみに「Hamster」しかタグを入れなかったLoRaもそこそこ動きました。
色んな方向から見たハムスターしか入れてないのであんまり支障がありません。
ただし、その場合出てくるハムスターはランダムになります。
意味なくどんぐり持って登場したりする。
説明用の動画です。若干古い。
今はタブ画面でもスペースが使えます。
実際のLoRaページはこちら
タグを見ながらプロンプトを打つとどう作用してるかよくわかります。
Christmas minuet2 SDXLの場合
「minuet」という単語に「擬人化した猫（立っている）」「赤と緑のオッドアイ」「大き目の瞳孔」「ミヌエットという猫の種類の顔つき」が含まれているイメージです。ですので含まれているイメージはタブにに登録しません。
体の動きや顔の向き、装飾品などを個別に設定することで、プロンプトで指定した動きや装飾をしやすくなります。
こういうのをよく設定します。
- 目を閉じている
- 口を開けている、舌を出している
- 上を見る、下を見る
- 横から見た、後ろから見た
- 手を挙げている、物を持っている
- 笑っている、怒っている、泣いている
- ジャンプ、ダンス、足の裏を見せる
逆の意味の単語も必ず設定してください。
例）口を閉じている ⇔ 口を開けている
「口を閉じている画像はこっちで口を開けている画像はこっちを参考にしてね」というLoRaへのメッセージだと思ってください。
パラメータ設定について
左にあるパラメータ設定を見てみましょう。
XLやらアニメ風やらを選ぶと自動で変更されます。
モデルは自動で選択されているものがリアル・イラスト両方に強いです。
お好みで別の物も選択できます。
繰り返し数Ripeatを上げるとLoRaが強力になります。
最大値は50です。絵画スタイルなどを作りたい場合は40～50に設定します。
通常は10～20程度で十分です。
エポック数Epochは学習回数です。
この２つは掛け算の関係になっています。総量で合計ステップ数＝必要スタミナ・コインが決まります。
繰り返し数・エポック数どちらかを高めにすることが多いです。
「モデル効果プレビューのプロンプト」は基本的に女の子を作る設定になっています。好みで変更してください。
高級設定について
高級設定という項目があります。これは要するにLoRAトレーニングの詳細設定です。
前までは繰り返し数なども高級設定に入ってました。
LoRA作成1年生は見なくてもいいです。
一応わかる範囲で解説します。
先ほど設定した繰り返し数やエポック数が表示されます。
バッチサイズはSDXLでは１しか選べません。
どうもグループ分けの項目のようです。SDの時は２に設定しています。
混合精度はトレーニングの高速化とかなんとか。
サンプル画像の設定です。
プレビュー用画像のネガティブプロンプトが表示されます。
お好みで変更してください。
エポック数ごとに保存するかどうかを決めます。
なんとなくで使っていることが多い・・！
高級設定についてSeaArt公式のガイドがHPとDiscord内にあったので日本語訳して転載してます。
トレーニングを開始しよう
それではLoRAの作成（トレーニング）を開始しましょう。
開始したらあとは放置しておいたら勝手に完成します。ウィンドウを閉じてもいい。
名前は後から変えられるので適当につけても大丈夫です。
必要なスタミナ・コイン
データセット画面の右上に「今すぐトレーニング」のボタンがあります。
そこに予想スタミナが表示されます。
大体、合計ステップ数÷２ぐらいの数値です。
体感ですがSDの場合は予想より高く
SDXLの場合は予想より低い数値で完成することが多いです。
トレーニング画面を表示する
トレーニングを開始すると自動でトレーニング画面が開きます。
エポック数分のマスに進行率が表示され100％になるとプレビュー画像が作成されます。
途中でトレーニングを止めることも出来ます。
右上の「トレーニング停止」ボタンを押せば止まります。
実際の消費スタミナが表示され、トレーニングが完了または停止した時点で清算されます。
こんな感じにプレビューが作成されます。
ちなみにこれ「Palworld Nox SDXL -Lunaty」のトレーニング画面です。
「なんで毛皮とお姉さんが出るんだろう・・」
「でも完成したらきっと普通に青白い狐犬みたいなのが出来るはずだ」
と思って放置してましたが、普通に毛皮やお姉さんになりがちなLoRaになりました。
なんと「Palworld Nox SDXL -Lunaty」はPalworld Model Contestで優勝しています。
ありがとう狐のお姉さん。
エポックからLoRAを選択して完成させる
トレーニングが終了しましたら、エポックから好きなものを選択してセーブ・ダウンロードします。
無料会員の場合は投稿しか選べないそうです。
ちなみにトレーニング内容は30日しか保存されません。早めにセーブしましょう。
ログビューを押すとlossなどが表示されます。
体感的には下がってようが上がってようが変化がなかろうが
プレビュー画像の雰囲気が良いものを選ぶといいです。
自分の望んだ勉強をしてくれてるかはわからないのです。
迷うなら全部一回セーブしてしまうと良いでしょう。
実際に使ってみましょう
完成したLoRAを使ってみましょう。
LoRA画面から作成ボタンを押すか、作成画面でLoRAを追加します。
データセット作成時に設定したタブをプロンプトに入力します。
トレーニング時に指定したモデルで作成する
見本としてハムスターLoRAの作成例をご紹介します。
使用したモデルはReV Animatedです。アニメ寄りで良い画像が出力しやすいモデルです。
トレーニングに使用したモデルでもあります。SDモデルです。
LoRAなしでReV Animatedでハムスターを作成するとこんな感じ
後半2枚は「オレンジを見つけて飛び跳ねて喜ぶハムスター」です。
だんだん人に近づいていく・・。
ハムスターLoRA＋ReV Animatedでハムスターを作成するとこんな感じ
一気に普段作成しているハムスターの顔に近く成りました。
ただ、出来が悪いなぁ・・。
これはそもそも元のハムスター画像を他のモデルを使用して作成したからだと思われます。
LoRAでどんなに指定しても、モデルで描けないものは描けません。
ハムスターLoRAはSDXLの２つのモデルから出力したハムスターを修正しまくって作られています。
ちなみにSDXLではLoRAを使わなくてもふわふわな生き物を生成しやすいです。
色んなネズミが出力されてカワイイ。
LoRAを使うと顔が固定されます。
他の類似のモデルで使用してみましょう
DreamShaperというモデルで使ってみましょう。
ファンタジー系が得意なモデルです。
謎の生き物度が増しました。奇形率も高めです。
そもそもReV Animatedさんが優秀すぎるというのもあるのですが、DreamShaperさんとの相性は悪そうです。
ReV AnimatedやDreamShaperでかわいいハムスターを安定して出力したいなら、
それぞれのモデルで生成したハムスターを修正・成形した見本画像を作成するのが一番でしょう。
ちなみに２つのモデルでもかわいいカッコイイハムスターは生成されてますので、よかったら探してみてくださいね。
こんな風にLoRA作成に使用したモデル以外でも作成出来ますが、そのまま作用するとは限りません。
色んなモデルに使ってみると思ってもみない画像が出来て楽しいです。
作ったLoRAを公開する？しない？
トレーニング内容は非公開の状態です。
無料会員の場合はLoRAを投稿しか出来ませんのでLoRAは公開状態になります。
VIP会員は非公開でセーブ・ロードすることが出来ます。
自分でしか使わない場合は非公開のままで大丈夫です。
公開するメリット
- 有料販売が出来る
- LoRAを使用した生成画像をSeaArt内で公開出来るようになる。
- クリエイタープログラムで現金を獲得できる。
クリエイタープログラムはモデルや公開設定などが使われるたびポイントとして計算され、利益が還元されます。
非公開のままのLoRAを使用した画像はSeaArt内で公開表示できません。
必要に応じて公開しましょう。
ちなみにLoRaは一回公開するとタグとLoRa名以外 編集が出来なくなります。
LoRa非公開のまま画像を公開したい場合は投稿機能を使います。
投稿した画像は他の人にはLoRaを使用していないように見えます。
逆に言いますと投稿画像から条件をコピペしても非公開のLoRaが使われていた場合、同じ結果は得にくくなります。
LoRAの数値
LoRAの強さを設定出来ます。0.1単位で変更出来、最大値は２・最小値は-1です。
0.1～１までで運用されている方が多いです。私も0.7ぐらいで使うことが多いです。
最大値２にしたらこうなった
数値が高いほど影響力が強くなりますが、高ければいいというわけでもありません。
モデルの描画に上手くブレンド出来るように数値を微調整しましょう。
複数のLoRAを設定することも出来ます。
またマイナスに設定するとそのLoRAの画像を出力しにくくなります。
SVIP契約の仕方
LoRa作成自体はフリーコースに開放された（戻った？）ので有料契約は不要ですが、まぁスタミナ的に150+20じゃLoRa作れないので検討される方もいると思います。
SeaArtのサブスクを契約する方法やわかりにくい点を解説したページがあります。
ご参考下さい。
作成で時間がかかった所
見本画像の作成に半月ぐらい費やしています。ひたすらハムスターの修正してました。
モデル内におそらく存在してないハムスターの足の裏とか自作してます。
見本画像の出来が大切です。
それ以外は透過処理も実際の作成も1日もかかりません。
いいLoRAを作るコツ まとめ
独断と偏見に満ちたいいLoLAを作成するコツ
- 要素を限定する（２キャラ同時進行させない）
- わかりやすい見本画像にする（背景は白、要素のみを表示、画像サイズを統一する）
- 見本画像をとにかく綺麗にする
- 適切なモデルを選ぶ（基本的にそのモデルで出力できるものが完成します）
がんばって素敵なLoRAを作成して下さいね。
補足
上記はキャラクターLoRA作成時のコツになります。
作画スタイルなどを作成する場合は質より量が必要です。
便利ツール
背景透過ツールは最初は無料で使う人が増えてきたら有料化の流れがほとんどですので、その時その時で探します。前はPicwishを愛用していたのですが有料になりました。
ほとんどのLoRAに関係ない話ですがハムスターは背景透過ツールで透過処理出来ません。
なんででしょうね。全部手動で処理しました。
ちなみにこの２サイトはアップスケールも出来ます。
アップスケールは色んなところで出来るので私はSeaArtで使わない・・。
投稿用の時だけ使ってる・・。
最近グリッドでも投稿できるようにはなったんですが、どう見えてるんでしょうね。
SeaArt内でも背景消せましたね。忘れてました。
参考記事 Stable DiffusionでのLoRAの作り方
細かい設定はStable Diffusionの記事を参考にしています。
LoRA作成記事は有料の場合が多いらしいのでありがたい話です。
コメント