Stable Diffusion AI算圖使用手冊（4-1）：透過LoRA小模型收束角色特性

在看完了僅使用Checkpoint模型在Stable Diffusion WebUI進行算圖的範圍後，我們接著看使用LoRA小模型收束算圖範圍的方式。

文章目錄

• 1. LoRA功能說明與安裝
• 2. 圖解使用流程及範例
• 3. 混用多組LoRA的技巧
• 4. Stable Diffusion AI算圖系列文章目錄

LoRA功能說明與安裝

LoRA是Low-Rank Adaptation（低秩調整）的縮寫，由於其技術與知識部分較為艱深，請容筆者略跳過不談。至於它的主要功能，在於可以搭配現有的Checkpoint模型，並介入AI推論的運算過程，發揮控制生成畫面內容的效果。

在Stable Diffusion的應用範圍中，LoRA可以發揮控制人物特色、服裝、指定角色、改變畫面風格等效果。舉個例子來說，Checkpoint就像是AI畫家的「基本畫功」，而LoRA則是要求AI畫家「照這個風格」產生圖片。

• 延伸閱讀：Stable Diffusion AI算圖使用手冊系列文章目錄

在現階段教學中，筆者先介紹使用現成LoRA的方式，未來有機會或許可以製作訓練LoRA模型的教學。

讀者可以至CivitAI網站尋找現成LoRA模型檔案，並下載存放至「stable-diffusion-webui」資料夾下的「\models\Lora」，並準備解析度為450 x 675的PNG格式圖檔，將圖檔名稱修改與模型相同並放在同一資料夾，如此一來就能在選擇時看到預覽圖片。

▲ 在CivitAI網站首頁右上角區域的篩選器，選擇只顯示LoRA，就可以找到許多有趣的LoRA模型檔案。

▲ 將LoRA小模型檔案下載至「stable-diffusion-webui」資料夾下的「\models\Lora」，並準備解析度為450 x 675的PNG格式圖檔放在同一資料夾。

▲ 如此一來便能在Stable Diffusion WebUI選擇LoRA的介面看到預覽圖片。

圖解使用流程及範例

在這邊筆者先展示如何用LoRA「鎖定」畫像中的人物角色。舉例來說，當我們透過適合的提示詞算出理想的圖片風格後，可以再相同的提示詞後方加上LoRA專屬提示詞，就能有效控制出現的角色。

輸入提示詞時，建議可以參考先前章節的分段原則，在輸入萬用提示詞、畫面特徵之後，點選Show/hide extra networks按鈕，並切換至Lora標籤，如此一來便可以點選圖示快速將LoRA專屬的提示詞貼至輸入欄位（利如：<lora:evangelion1995Style_v1:1>），接著便可以調整LoRA提示詞的權重，並繼續寫入觸發關鍵字、其他附加提示詞。

在下方範例中，筆者使用「GhostMix V1.1」Checkpoint模型，以及「Evangelion (1995) style LoRA」LoRA模型，可以看到使用LoRA與否對畫面造成的影響，範例所使用的提示詞如下。

提示詞範例
正面提示詞
(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.2), (1girl), extreme detailed,colorful, ((solo)),
music stage, rock'n,roll band, singer
<lora:evangelion1995Style_v1:0.8>, (Soryo Asuka Langley)
負面提示詞
(worst quality, low quality:2), monochrome, zombie,overexposure, watermark,text,bad anatomy,bad hand,extra hands,extra fingers,too many fingers,fused fingers,bad arm,distorted arm,extra arms,fused arms,extra legs,missing leg,disembodied leg,extra nipples, detached arm, liquid hand,inverted hand,disembodied limb, small breasts, loli, oversized head,extra body,completely nude, extra navel,easynegative,(hair between eyes),sketch, duplicate, ugly, huge eyes, text, logo, worst face, (bad and mutated hands:1.3), (blurry:2.0), horror, geometry, bad_prompt, (bad hands), (missing fingers), multiple limbs, bad anatomy, (interlocked fingers:1.2), Ugly Fingers, (extra digit and hands and fingers and legs and arms:1.4), ((2girl)), (deformed fingers:1.2), (long fingers:1.2),(bad-artist-anime), bad-artist, bad hand, extra legs ,(ng_deepnegative_v1_75t)

▲ 輸入完提示詞後，點選Show/hide extra networks按鈕並切換至Lora標籤，再點選想要使用的LoRA圖示就能將它加入提示詞欄位。

▲ 正面提示詞參考先前提到的分段原則。紅線標示部分為控制角色的LoRA，給予0.8的權重。綠線標示角色名稱，要輸入這組關鍵字才會觸發LoRA運作。

▲ 範例使用的設定如圖所示，亂數種子為2297387859。

▲ 在沒有輸入提示詞中第3行小模型指示的情況下，產生的角色充滿隨機性，她看起來有點像巡音流歌。

▲ 輸入小模型指示後，能將角色鎖定為《新世紀福音戰士》中的明日香。（我婆真香~~）

混用多組LoRA的技巧

筆者接著示範透過2組不同的LoRA模型，指定圖像中的角色為遊戲《女神異聞錄5》中的醫生武見妙，並指定套用繪師副島成紀的風格。

在範例中，筆者同樣使用「GhostMix V1.1」Checkpoint模型，並搭配「Persona / Catherine (Soejima Shigenori) Style LoRA」、「Tae Takemi | Persona 5」等2組LoRA模型。

提示詞的撰寫概念與先前相同，但需要注意的是，在使用許多LoRA時將權重降低至0.6~0.8會有比較好的效果，使用過高的權重容易造成畫面錯亂，尤其在混用多組LoRA時狀況更顯著。不過根據筆者的經驗，權重的設定會隨搭配、混用不同Checkpoint模型與LoRA模型而有極大的差異，建議讀者以0.8為基準，並以0.1為單位微調增減，反覆嘗試出適合的參數。

提示詞範例
正面提示詞
(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.2), (1girl), extreme detailed,colorful, ((solo)),
steampunk city, china dress, (small breast),
<lora:taeTakemiPersona5_v10:0.8>, (Tae Takemi), necklace, choker, <lora:personaCatherineSoejima_1:0.6>
負面提示詞
(worst quality, low quality:2), monochrome, zombie,overexposure, watermark,text,bad anatomy,bad hand,extra hands,extra fingers,too many fingers,fused fingers,bad arm,distorted arm,extra arms,fused arms,extra legs,missing leg,disembodied leg,extra nipples, detached arm, liquid hand,inverted hand,disembodied limb, small breasts, loli, oversized head,extra body,completely nude, extra navel,easynegative,(hair between eyes),sketch, duplicate, ugly, huge eyes, text, logo, worst face, (bad and mutated hands:1.3), (blurry:2.0), horror, geometry, bad_prompt, (bad hands), (missing fingers), multiple limbs, bad anatomy, (interlocked fingers:1.2), Ugly Fingers, (extra digit and hands and fingers and legs and arms:1.4), ((2girl)), (deformed fingers:1.2), (long fingers:1.2),(bad-artist-anime), bad-artist, bad hand, extra legs ,(ng_deepnegative_v1_75t)

▲ 範例使用的設定如圖所示，亂數種子為4228654550。

▲ 正面提示詞參考先前提到的分段原則。紅線標示部分為控制角色的LoRA，給予0.8的權重。綠線標示角色名稱，要輸入這組關鍵字才會觸發LoRA運作。黃線標示角色服裝特徵。青線標示控制畫風的LoRA，刻意將權重降低至0.6，以免造成圖像錯亂。

▲ 算出的圖像確實將角色鎖定為武見妙，人物也充滿繪師副島成紀的風格。（不過手指還是怪怪的，這是難以避免的老問題）

▲ 如果將2組LoRA的權重都設定為1，產生的圖像就怪怪的。讀者需要自行嘗試混用不同Checkpoint模型與LoRA模型而適合的參數。

讀者也可以自行實驗混用多種不同LoRA，創造出更加準確畫面細節，或是混合出更多元的風格。筆者的心得是這實在太可怕了，一玩就停不下來啦。

（回到Stable Diffusion AI算圖系列文章目錄）