LoRAを導入してキャラクターを完全再現！？【AIコスプレイヤー】

Loraとは？

LoRAとは、学習モデルを外部ファイルを使って微調整する仕組みで「Low-rank Adaptation」の略称です。

LoRAでは特定のキャラクターや画風、構図やシチュエーションを学ばせることができます。自分で学習元の画像を用意して新たに追加学習モデルを作ることもできますし、別のユーザーがウェブ上で配布しているモデルを利用することもできます。

LoRAを使った追加学習は、自分でファイルを生成するのは敷居が高いものの、他のユーザーが生成してウェブ上で共有しているファイルを利用するだけなら簡単です。追加ファイルをStableDiffusion WebUIの特定フォルダに格納し、特定のプロンプトを入力することで使用できます。

CIVITAIでRoLAモデルを探す

Civitai: The Home of Open-Source Generative AI

Explore thousands of high-quality Stable Diffusion models, share your AI-generated art, and engage with a vibrant community of creators

civitai.com

CIVITAIにはアカウント登録が必要です。まだの人はCIVITAIにアクセスして登録をしてください。サインインができたら画面上部の「ANIME」や「CHARACTER」などのタグから好きなモデルを探します。検索欄でキャラ名などを入力して検索もできます。今回はチビキャラを作れるLoRA「blindbox」で試してみます。

右上の「Download Latest」をクリックしてダウンロードします。保存先は「stable-diffusion-webui\models\Lora」のフォルダを指定してください。

LoRAを使用する方法

LoRAを使用する際はプロンプトに<lora:ファイル名:数字>と書いて使用します。ファイル名の拡張子は除いでください。数字はLoRAの効果をどれだけ適用するかを表します。大きくするほど効果が強くなります。たとえば、今回のLoRAの場合は以下のようなプロンプトを加えればOKです。数字は使うLoRaによって最適な値が違うのでいろいろと試してみましょう。小数点をつけて細かく指定できます。

たとえば今回指定するLoRaはblindbox_V1Mix.safetensorsという名前のLoRaなのでプロンプトには以下のように書きます。

<lora:blindbox_V1Mix:1>

LoRAを使用したプロンプトの探し方

LoRA配布ページを下にスクロールすると、実際にLoRAを使用して生成した画像がでてきます。今回はこの中で、右上の画像をクリックしてみます。

すると、生成に使ったプロンプトや各種設定、モデル(CheckPoint)の情報が表示されます。

学習に使用されたモデルと同じモデルを使うとLoRAの効果が最大限発揮できます。

別のモデルを使ってもよい結果が得られることがありますが、基本的にはリアル系LoRAにはリアル系モデル、アニメ系LoRAを使うときにはアニメ系モデルと使い分けるとよいでしょう。

Copy Generation Dataからプロンプトやパラメータの情報を一括で取得できます。

これをStableDiffusion WebUIのプロンプト欄に入力して、「↙」ボタンを押すことで設定を反映できます。

自分なりにプロンプトをカスタマイズして、欲しい画像を作ってみてください。