猫でもできるLoRaの作り方 SeaArt

ホーム » 猫でもできるLoRaの作り方 SeaArt

LoRAが作れることで有名なSeaArtさんで作ります。

ちなみにこのページの解説は基本的にキャラクターLoRaの作成方法です。

有料のSVIP限定サービスだったのですが2024年1月からフリーコースに開放されました。

(SVIP限定になってから数か月しかたってないけど)

2024年1月29日のアップデートでLoRaトレーニング画面が大きく変わりました。

スタミナ的にも作りやすく設定しなおされたっぽい?

色々試してまたそのうちご報告したいと思います。

はじめに LoRAってなあに

Stable Diffusionで使用する特定のキャラなどを指定するツールです。

人物の顔や服装、背景などを指定するために使われます。

また作画スタイルや画風などを指定することもあります。

人に何かを説明する時でも絵や図表があったほうが理解してもらいやすいように

Stable Diffusionへの依頼を文章だけでなく画像で行うと思うと良いでしょう。

モデルとの違いは私は単純にデータ量の大きさと捉えています。

1つのキャラクター専用のモデルを作る方法もあります。

ただモデルがないとLoRAは使えません。

モデルをさらに活用するためのツールです。

作りたいLoRAの見本画像を準備する

それではLoRA作成準備を始めましょう。

まずは見本画像を用意します。

実際には見本画像を用意しなくてもSeaArtさんにある画像を選択する方法もあるので、「データセット作成」からはじめるのも一つの手です。

見本画像の準備はわりと大変なのと、トレーニング自体も設定やら色々ありまして、どちらも慣れが必要です。

スタミナが足りなくてコインがいることが多いのでご利用は計画的に。

見本画像を作る3つの方法

見本画像の作り方はは3つの選択肢があります。

  • 1から作成または実際の写真から作成する
  • 写真から画像生成して作成する
  • AI画像生成で作る

1から作成または実際の写真から作成する」方法の利点はオリジナル感が強く出ます

デメリットとしては人物の場合は写真を修整・成形するソフトが必要です。

写真ってちょろっと修整したほうが実際の見た感じに近くなります。

絵の場合も同様に作画能力が必要です。

写真から画像生成して作成する」方法の利点は、モデルとの相性を製作工程で確認できることです。

また、修正をAIで行うということなので顔の皴やシミなどを楽に消すことが出来ます。サイズも統一して作成出来ます。

デメリットとしてはAIっぽい画像になりやすいです。

生成時に「顔は変えない」などと記入しないと顔が大幅に変更されてしまいます。

AI画像生成で作る」方法は、特定のモデルの作成するものを固定化する感じです。

利点としてはモデルとの相性が完璧です。デメリットとしては他の人も同様のものが作成しやすいです。

また、手足が変形したものが出力されやすいので修正が必須になります。

モデルやLoRaによっては生成画像の学習利用を認めてないものがあります。

個人として楽しむ場合はたいして問題はありませんが、公開・商用利用などを考えている場合は注意しましょう。

(大切)要素を限定する

LoRAのテーマを決めます。必ず一つに絞って下さい

小学1年生に算数を教えるような気持ちで丁寧に、わかりやすい画像を作成する必要があります。

例)

× ハムスターや猫などかわいい動物たち

〇 猫

〇 かわいい猫

もちろん複数の要素を詰め込んだLoRAも存在します。

LoRA作成1年生は欲張らない、これ大事。

(大切)必要枚数

キャラクターLoRA作成の目安として最低9枚用意しましょう

これはどこかのStable DiffusionでのLoRA作成方法の記事で最低9枚と書かれていたのを参考にしています。絶対とは断言できないのですが、私は9枚で十分に機能するLoRAが出来ました。

*キャラクターLoRaはSDだと作りにくいみたい?ような気がします。いつもSDXLで作ります。

背景込みで100枚使ってスタイルLoRaの方が上手くいくことが多いです。

違う方向から見た、違うポーズをとった、違う表情など。

とにかく要素は同じで異なるものを9枚用意しましょう。

キャラクターはこういうバリエーションがあるとリアリティが増します

  • 目を閉じている
  • 口を開けている、舌を出している
  • 上を見る、下を見る
  • 横から見た、後ろから見た
  • 手を挙げている、物を持っている
  • 笑っている、怒っている、泣いている
  • ジャンプ、ダンス、足の裏を見せる

同じような画像が複数枚あると、それらの画像が抽出されやすくなります。

口を閉じて正面を見ている画像が一番用意しやすいので、そればかりになってないか注意してみて下さい。

ちなみに枚数で必要なスタミナ(コイン)が上下します。

作画スタイルのLoRAを作成する場合は大量の画像が必要なようです。

ただ、代わりに1枚に対する必要コストがかなり抑えられています。

27枚画像用意して予想スタミナ171でした。(SD)

背景の処理

背景は白にして下さい(R255・G255・B255)

もちろん背景用のLoRAを作成している場合はこの限りではありません。

LoRAの学習では白い部分は学習されません。

単色の壁紙のようなものなら学習にそこまで支障はないとは思いますが

おそらく必要なスタミナ(コイン)量に影響します。

またLoRA作成は要素が少なければ少ないほどいいです。

「似たような背景でしか使わないから」という方は、むしろ背景も一緒に学習させても問題はないようで、やっぱり背景と物の境目はある程度わかりやすくしたほうがよいです。

背景の処理の仕方がよくわからない方はWeb上の背景透過処理ツールを使用するとよいでしょう。

そのまま透過処理画像のままですと背景が黒になります。

JPEG変換ツールを使ってJPEG画像にしてしまいましょう。

JPEGに変換すれば自動的に背景が白(R255・G255・B255)になります。

jpegはCMYKも対応していますが、透過処理時にRGB(ping)になっているかと思います。

背景透過参考サイト https://bgeraser.com/

(大切)画像のサイズ

画像のサイズ・縦横比はすべて同じにしたほうがいいです。

可能なら縦横比率1:1にしてください

バラバラでも行けます。

バラバラで作る場合は高級設定を設定を間違えると失敗しますので

LoRa一年生は画像サイズ・縦横比をすべて同じにするか、高級設定をoffのままにして下さい。

これに関しては高級設定offでバラバラに対応してくれてるのか不明な点が多いです。高級設定の中に縦横比率の指定や、縦横比率がバラバラかどうか選択する場所があります。

画像のサイズや縦横比ですが、Stable Diffusionのモデルは512×512ピクセルまたは768×768ピクセルで学習されていることが多いようですので、なるべくモデルと足並みを揃えます。

とりあえず縦横比率は1:1で行きましょう。

1024×1024ピクセルにして下さい。1024がSeaArtでLoRAを作る最大のサイズのようです。

1024あればSDXL用にも十分ですね。

小さくても512ピクセル以上にはして下さいね

データセットを作成する

画像が準備出来たらさっそく作成してみましょう。SeaArtで「トレーニング」をクリック。

データセットを作成する」を押して新しいデータセットを作成して下さい。

画像を登録時に1枚0.5スタミナ必要です。(小数点以下切り上げ)100枚で50スタミナ。

他にもデータセットの設定を変更保存した時にスタミナが必要なります。

データセットの内容「写実的な人物」「アニメキャラクター」「スタイル」とデータセット名は途中で変更できませんので注意して下さい。

キャラクターLoRaを作る場合、画像を50~100枚ぐらい用意して「スタイル」で制作した方がうまく行く場合があります。今調べてる所なのでまたそのうち記事にする予定です。

見本画像を登録する

作成した見本画像を登録します。

Training datasetに登録します。(regular datasetは無視してかまいません)

順番は好きな画像順にしましょう。

トレーニング中に予測スタミナを超えた時途中で学習を中断してるような気がするからです。

これは私の予想でしかないですが、好きな画像順にしておきましょう。

見本画像は下に色々出てくる候補から選択することも出来ます。

画像検索・単語検索で必要な画像を探します。

ただし背景処理されているものはほぼありません。

または自分の生成画像(アップスケールのみ)も直接呼び出して使うことが出来ます。

(大切)タグを設定する

次は画像のタグを設定します。

(まぁこれ自動で設定されたタグにキャラ名追加だけでそこそこ普通に動きます)

見本画像を入れると自動で画像にタグが設定されています。

まず必要なタグを1つ追加します。

必要なタブはズバリ要素を表すものです。

私の場合は「hamster(ハムスター)」になっています。

猫やハムスター、女の子など一般的な単語を使うと、

例えばハムスターと指定するとLoRAのハムスターしか生成されなくなります。

何も困らないけど(LoRA外せばいいんで)困る人は色々悩んで設定しましょう。

おそらくトリガーワードにも関係すると思いますので、キャラクター名を入れる場合はキャラクター名を忘れないようにしましょう。

単語として認識されないローマ字3文字程度がいいようです。

本来は重要なタグは先頭に配置したいので、私は自動で入るタグを全部消して入れ直したりしています。そこまで気にしなくてもよい気はします。

要素のタブを配置しましたら、画像ごとにその画像を説明するタグを設定します。

要素が「ハムスター」の場合はハムスター自体を説明するタグはいりません(ふわふわ・動物など)

ハムスターがどんぐりを持ってたら「having_nuts」

帽子を被っていたら「cap」など、ハムスター以外の要素を記入します。

画像ごとの説明タグはプロンプト提示のページを参考にするといいですよ。

ちなみに「Hamster」しかタグを入れなかったLoRaもそこそこ動きました。

色んな方向から見たハムスターしか入れてないのであんまり支障がありません。

とりあえず自分の作りたい要素=タグ=「プロンプト」は必ず入れてください

説明用の動画作ってみました。

ミネットのロラ・タグ | Suno
...
ローラのことわかってきた? | Suno
...

実際のLoRaページはこちら

Christmas minuet2 SDXL
...

タグを見ながらプロンプトを打つとどう作用してるかよくわかります。

Christmas minuet2 SDXLの場合

minuet」という単語に「擬人化した猫(立っている)」「赤と緑のオッドアイ」「大き目の瞳孔」「ミヌエットという猫の種類の顔つき」が含まれているイメージです。ですので含まれているイメージはタブにに登録しません。

体の動きや顔の向き、装飾品などを個別に設定することで、プロンプトで指定した動きや装飾をしやすくなります。

こういうのをよく設定します。

  • 目を閉じている
  • 口を開けている、舌を出している
  • 上を見る、下を見る
  • 横から見た、後ろから見た
  • 手を挙げている、物を持っている
  • 笑っている、怒っている、泣いている
  • ジャンプ、ダンス、足の裏を見せる

逆の意味の単語も必ず設定してください

例)口を閉じている ⇔ 口を開けている

「口を閉じている画像はこっちで口を開けている画像はこっちを参考にしてね」というLoRaへのメッセージだと思ってください。

高級設定について

高級設定という項目があります。これは要するにLoRAトレーニングの詳細設定です。

例えば枚数が少ない場合は学習回数を増やすなど、LoRA作成にはものすごく細かい設定が多々あります。

LoRA作成1年生は見ない方がいいです。

私も正直よくわかってません。Stable DiffusionのLoRA作成項目と見比べながら勉強中。

ただ、この中に作成画像サイズの指定項目があります。

その項目がベーシックでは512×512ピクセルになっています。

高級設定をonにするとまずこれが適用されると思います。

Training datasetとregular datasetも詳しくわかるといいですが・・。

regular datasetが正則化画像関連じゃないかと疑っています。

高級設定についてSeaArt公式のガイドがHPとDiscord内にあったので日本語訳して転載してます。

SeaArtさんが公開しているLoRaの作り方説明書の日本語訳|スピナノデザイン
...

高級設定に関してはいじりたくないのですが、気になる部分が何点かあります。

  • offにしておけば自動で最適化されてるのか
  • 初期設定はどういう見本画像に適しているのか

ふわ~と概略はつかめてみた気がするのですが、記事化できるまではもうちょっとかかります。

ごめんね。

トレーニングを開始しよう

それではLoRAの作成(トレーニング)を開始しましょう

開始したらあとは放置しておいたら勝手に完成します。ウィンドウを閉じてもいい。

名前は後から変えられるので適当につけても大丈夫です。

(大切)SDかSDXLかを選択

まず最初にSDかSDXLかを決めます

これは選択によってどちらかしか使えません。大は小を兼ねない。

SDでSDXL用のLoRAを組み込んでも創作実行はキャンセルされます。

どっちを選択するかはぶっちゃけ何のモデルで使いたいかです。

SDXL用のモデルで使いたい場合はSDXLを選択しましょう。高くても。

創作時の選択肢ではSDとSDXLどちらも表示されてしまうので、LoRA名の末尾に「sd」「sdxl」など記入しておくとよいです。

必要なスタミナはSDで200~SDXLで1200~かかることが多いです。

学習モデルの選択

学習モデルは自動的に選択されますが、決まっているモデルがある場合は選択し直して下さい。

このモデルに関してはどこにも記載されませんが、LoRAのページから実行することで自動的に選択したモデルが適用されるようです。

ただ、それが規定なのかわからないのでメモって覚えておいた方が吉。

必要なスタミナまたはコイン

必要なスタミナが表示されます。大体200ぐらいから。

SDXLを選択すると大体5倍ぐらいになる。

スタミナ+コインで必要予測分を超えられるようチェックしておいて下さい

完成時に予測より高くついて足りなかった場合はコインがマイナスになると思います。

昔トレーニングしたまま寝たら翌朝、スタミナコイン共に完全に0になっていたので、使い切りそうになったら自動で学習を終了しているのかもしれません。

見本画像の枚数で必要なスタミナが決まります。

高すぎる場合は見本画像を減らして下さい。最低9枚あればいいです。

必要なスタミナはアニメキャラクターの場合は

9枚でSD 172、SDXL 1200

12枚でSD 229 SDXL 1600

20枚でSD 334 SDXL 2334と予想が出てました。

見本画像の大きさによっても数値が異なってそうです。

LoRAが完成してないパターン

理由はわかりませんが、トレーニングが途中で中断してLoRAが完成しなかったことがありました。

予測の倍以上のコインを用意していたので、スタミナ・コイン不足が原因ではないでしょう。

トレーニングが途中でキャンセルされる場合があることを覚えておきましょう。

キャンセルされた場合はスタミナやコインは消費されません。

SDXLで作成指定したのにSD用のモデルを指定したとかそういうのかもしれません。

実際に使ってみましょう

完成したLoRAを使ってみましょう。

LoRA画面から作成ボタンを押すか、作成画面でLoRAを追加します。

データセット作成時に設定したタブをプロンプトに入力します。

トレーニング時に指定したモデルで作成する

見本としてハムスターLoRAの作成例をご紹介します。

使用したモデルはReV Animatedです。アニメ寄りで良い画像が出力しやすいモデルです。

トレーニングに使用したモデルでもあります。SDモデルです。

LoRAなしでReV Animatedでハムスターを作成するとこんな感じ

後半2枚は「オレンジを見つけて飛び跳ねて喜ぶハムスター」です。

だんだん人に近づいていく・・。

ハムスターLoRA+ReV Animatedでハムスターを作成するとこんな感じ

一気に普段作成しているハムスターの顔に近く成りました。

ただ、出来が悪いなぁ・・。

これはそもそも元のハムスター画像を他のモデルを使用して作成したからだと思われます。

LoRAでどんなに指定しても、モデルで描けないものは描けません。

ハムスターLoRAはSDXLの2つのモデルから出力したハムスターを修正しまくって作られています。

ちなみにSDXLではLoRAを使わなくてもふわふわな生き物を生成しやすいです。

色んなネズミが出力されてカワイイ。

LoRAを使うと顔が固定されます。

他の類似のモデルで使用してみましょう

DreamShaperというモデルで使ってみましょう。

ファンタジー系が得意なモデルです。

謎の生き物度が増しました。奇形率も高めです。

そもそもReV Animatedさんが優秀すぎるというのもあるのですが、DreamShaperさんとの相性は悪そうです。

ReV AnimatedDreamShaperでかわいいハムスターを安定して出力したいなら、

それぞれのモデルで生成したハムスターを修正・成形した見本画像を作成するのが一番でしょう。

ちなみに2つのモデルでもかわいいカッコイイハムスターは生成されてますので、よかったら探してみてくださいね。

こんな風にLoRA作成に使用したモデル以外でも作成出来ますが、そのまま作用するとは限りません。

色んなモデルに使ってみると思ってもみない画像が出来て楽しいです。

作ったLoRAを公開する?しない?

完成したLoRAは非公開の状態です。公開することも可能です。

自分でしか使わない場合は非公開のままで大丈夫です。

公開するメリット

  • 有料販売が出来る
  • LoRAを使用した生成画像をSeaArt内で公開出来るようになる。

そう、非公開のままのLoRAを使用した画像はSeaArt内で公開表示できません

必要に応じて公開しましょう。

ちなみにLoRaは一回公開するとタグとLoRa名以外 編集が出来なくなります。

LoRa非公開のまま画像を公開したい場合は投稿機能を使います

投稿した画像は他の人にはLoRaを使用していないように見えます。

逆に言いますと投稿画像から条件をコピペしても非公開のLoRaが使われていた場合同じ結果は得にくくなります

LoRAの数値

LoRAの強さを設定出来ます。0.1単位で変更出来、最大値は2・最小値は-1です。

0.1~1までで運用されている方が多いです。私も0.7ぐらいで設定しています。

最大値2にしたらこうなった

数値が高いほど影響力が強くなりますが、高ければいいというわけでもありません

モデルの描画に上手くブレンド出来るように数値を微調整しましょう。

複数のLoRAを設定することも出来ます。

またマイナスに設定するとそのLoRAの画像を出力しにくくなります。

SVIP契約の仕方

LoRa作成自体はフリーコースに開放された(戻った?)ので有料契約は不要ですが、まぁスタミナ的に150+20じゃLoRa作れないので検討される方もいると思います。

SeaArtのサブスクを契約する方法やわかりにくい点を解説したページがあります。

ご参考下さい。

作成で時間がかかった所

見本画像の作成に半月ぐらい費やしています。ひたすらハムスターの修正してました。

モデル内におそらく存在してないハムスターの足の裏とか自作してます。

見本画像の出来が大切です。

それ以外は透過処理も実際の作成も1日もかかりません。

ちなみに修正に関してはこちらの記事をご覧ください。

いいLoRAを作るコツ まとめ

独断と偏見に満ちたいいLoLAを作成するコツ

  • 要素を限定する(2キャラ同時進行させない)
  • わかりやすい見本画像にする(背景は白、要素のみを表示、画像サイズを統一する)
  • 見本画像をとにかく綺麗にする
  • 適切なモデルを選ぶ(基本的にそのモデルで出力できるものが完成します)

がんばって素敵なLoRAを作成して下さいね。

補足

上記はキャラクターLoRA作成時のコツになります。

作画スタイルなどを作成する場合は質より量が必要です。

便利ツール

背景透過ツールは最初は無料で使う人が増えてきたら有料化の流れがほとんどですので、その時その時で探します。前はPicwishを愛用していたのですが有料になりました。

AnyMP4 フリー 背景透過 - AI技術で簡単に画像の背景を消す
...
Bg Eraser | Background Eraser Online Free with Magic AI
...

ほとんどのLoRAに関係ない話ですがハムスターは背景透過ツールで透過処理出来ません

なんででしょうね。全部手動で処理しました。

ちなみにこの2サイトはアップスケールも出来ます。

アップスケールは色んなところで出来るので私はSeaArtで使わない・・。

投稿用の時だけ使ってる・・。

最近グリッドでも投稿できるようにはなったんですが、どう見えてるんでしょうね。

SeaArt内でも背景消せましたね。忘れてました。

Seaart.ai | Free AI drawing software for Android, Apple and PC!
...

参考記事 Stable DiffusionでのLoRAの作り方

細かい設定はStable Diffusionの記事を参考にしています。

LoRA作成記事は有料の場合が多いらしいのでありがたい話です。

LoRAを使った学習のやり方まとめ!好きな絵柄・キャラクターのイラストを生成しよう【Stable Diffusion】
...
LoRA追加学習で画風を再現
...
私的LORA作成術-23年夏版|akiraU
...

コメント