ControlNetで使用する、プリプロセッサとモデルの特徴をそれぞれ紹介します。
ControlNet自体の解説はこちらの記事を参照ください。
ControlNetモデルの特徴
canny
ファイル名：control_canny-fp16.safetensors
特徴：オブジェクトの輪郭線を特徴データとして抽出します。コントラストの高い領域の周囲にシャープなアウトラインを作成します。緻密なアウトラインですが、不要なノイズを拾う可能性もあるので注意が必要です。イラスト系では重宝します。
depth
ファイル名：control_depth-fp16.safetensors
特徴：画像に基づいて深度マップを推定します。空間内の位置関係を適切に制御できる特徴があります。白い領域ほど手前に近く、黒い領域は遠くにあります。
depth_lres
ファイル名：control_depth-fp16.safetensors
特徴：Depthのような深度マップを作成しますが、さまざまな設定をより詳細に制御でき、より正確な深度マップを作成できます。
hed
ファイル名：control_hed-fp16.safetensors
特徴：オブジェクトの周りに滑らかな輪郭を作成します。「Cannyモデル」のような優れたディテールを提供しますが、ノイズが少ないです。画像のスタイル設定と再配色に便利です。
mlsd
ファイル名：control_mlsd-fp16.safetensors
特徴：オブジェクトの直線部分を抽出します。まっすぐな輪郭を持つ建築物や人工物を生成したいときに役立ちます。人物などなめらかな曲線を持つ対象には向きません。
normal_map
ファイル名：control_normal-fp16.safetensors
特徴：画像に基づいて法線マップ（３Dマップ）を作成します。法線マップは、画像に基づく推測にすぎないため、意図しない結果になる可能性があるので注意が必要です。
画像の赤、緑、青の 3 色は、オブジェクトの滑らかさや凹凸を判断するために使用されます。各色は左・右、上・下、手前・奥などの方向に対応しています。
openpose
ファイル名：control_openpose-fp16.safetensors
特徴：ボーン（棒人間）を作成します。表情や体格などは参考にしないで、関節の位置だけを参考にしたいときに使えます。また、複数のボーンを 1 つの画像に合成して複数の被写体を作成する場合も便利です。
openpose_hand
ファイル名：control_openpose-fp16.safetensors
特徴：openposeの改良版で、手の関節データまでしっかりと抽出します。
scribble
ファイル名：control_scribble-fp16.safetensors
特徴：「Create Canvas」オプションとともに使用して、落書きをControlNetに反映させます。
fake_scribble
ファイル名：control_scribble-fp16.safetensors
特徴：画像をトレースして、基本的な落書きのアウトライン画像を作成します。
segmentation
ファイル名：control_seg-fp16.safetensors
特徴：画像を、互いに関連する関連領域またはセグメントに分割します。
コメント