Stable Diffusion AI算圖使用手冊(2-2):如何安裝更多AI模型產生不同畫風

Stable Diffusion AI算圖使用手冊(2-2):如何安裝更多AI模型產生不同畫風

ADVERTISEMENT

參考先前文章完成在本機安裝Stable Diffusion WebUI後,我們接著來安裝更多不同種類的模型,以擴充AI算圖的準確度與多元性。

文章目錄

各種模型與擴充功能的用途

筆者在這邊將針對Stable Diffusion所使用的Checkpoint、VAE、LoRA、擴充功能進行介紹,各種類的模型簡介如下

Stable Diffusion使用的模型
Checkpoint
:Stable Diffusion運算使用的主要神經網路模型,可以想像為「大模型」。其檔案容量通常很大(約2GB以上),使用不同的Checkpoint將大幅影響產生圖像的風格。
VAE:Variational Autoencoder(變分自動編碼器),它是神經網路模型中的一部分,主要用途為補充模型不足之處,可以想像為「小模型、修正檔」。它能改善現有Checkpoint在產生眼睛、文字等小區域的細節品質,而不需使用容量龐大的全新模型。
小模型類:包含Textual Inversion(文字倒轉)、Hypernetwork(超網路)、LoRA(Low-Rank Adaptation,低秩調整)等模型,它們分別能以不同的方式介入算圖的運算過程,能夠有效影響圖像和提示詞的互動行為,可以想像為「小模型、描述檔」。它最的優勢是檔案容量小很多(約200MB以內),可以用於收束圖像的風格或指定角色。
擴充功能:也就是Stable Diffusion的外掛程式,可以提供更多功能,例如透過ControlNet可以指定產品圖像中人物的動作。

讀者可以參考下列圖片範例,瞭解搭配不同模型的效果差異。

Stable Diffusion所使用的各種模型概念示意圖。

左上為使用Stable Diffusion v1-5-pruned-emaonly模型,產生真人風格圖像。右上使用aresMix_v01模型。左下則使用Anything v4.5模型,變成漫畫風格。右下使用OldFish_2348V12模型,帶有不同走向的漫畫畫風。

左上為對照基準圖片,右上為套用evangelion1995Style_v1 LoRA,將角色變為《新世紀福音戰士》風格。左下為套用style-psycho Textual Inversion,轉化成機械風格。右下為套用LuisapOldtarot_v1 Hypernetwork,變成塔羅牌風格。

安裝模型與VAE

若讀者跟著前述教學完成軟體安裝的話,應該會在啟動Stable Diffusion WebUI時自動下載基礎模型,但為了算出更多元的圖片建議讀者可以至下列網站尋寶,找出自己喜歡圖像風格的模型。

模型資源網站
Huggingface:https://huggingface.co/
CivitAI:https://civitai.com/(需註冊帳號才能進行年齡認證)

需要注意的是,支援的模型副檔名為.ckpt或.safetensors,前者具有整合程式碼的功能,而後者則無,所以為了安全考量並避免被植入惡意程式,建議盡量選擇.safetensors類型的模型。

下載的Checkpoint模型需要放置於「stable-diffusion-webui」資料夾下的「\models\Stable-diffusion」,至於VAE則放置於「\models\VAE」。另外讀者也可以準備解析度為450 x 675的PNG格式圖檔,並將檔案名稱修改與模型相同並放在同一資料夾,如此一來就能在選擇時看到預覽圖片。至於其他小模型類的安裝與使用方式,將於後續章節令行討論。

舉例來說,讀者可以到Huggingface網站尋找預先訓練好的現成Checkpoint模型。在Model Card頁面可以看到該模型的說明。

點選進入Files and versions頁面,可以找到該模型的檔案與對應的VAE。由於每個模型提供的檔案狀況都不一樣,所以讀者需要自行透過檔名判斷。

進入VAE資料夾後就能看到對應的VAE模型檔案。

CivitAI網站也有許多現成Checkpoint模型,點選Download即可下載檔案。

將模型下載並存放於「stable-diffusion-webui」資料夾下的「\models\Stable-diffusion」內,此外也可以準備解析度為450 x 675的PNG格式預覽圖放在一起。

如果設定正確,在Stable Diffusion WebUI點選右方鍵頭指示的「Show/hide extra networks」 選項,並點選左方鍵頭指示的Checkpoint標籤,就可以看到已安裝的模型。

VAE則需在Stable Diffusion WebUI上方的Settings標籤中,找到Stable Diffusion分類,然後在「SD VAE」的選項中指定使用的VAE,並點選上方的「Apply setting」以套用設定。

5大推薦模型與下載網址

筆者將模型簡介與下載網址直接整理於下方圖片之說明。

Ares Mix是款繪製真人風格品質不錯的Checkpoint模型,開發者建議需搭配這款VAE使用。

Anything是可以產生漫畫風格的Checkpoint模型,它的優點是不挑提示詞,隨便輸入就能產品不錯的外芙。

Waifu Diffusion也是針對漫畫風格外芙訓練的Checkpoint模型,泛用度也相當高。

Evangelion (1995) style LoRA模型建議能搭Anything、Waifu Diffusion使用,可以將圖片收束為《新世紀福音戰士》的角色,或是產生1990年代的漫畫風格。

[LuisaP] GlitchPixelart是能夠用來產生「畫面當機」、「點陣圖」風格的Hypernetwork模型,使用起來相當有趣。

在安裝完模型之後,下一篇教學就終於要開始算圖啦!大家把安全帶繫好,車速可能會有點快喔!

回到Stable Diffusion AI算圖系列文章目錄

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
軒轅皇龍
1.  軒轅皇龍 (發表於 2023年5月15日 10:56)
想再請問 關於預覽圖的部分,如果模型那邊放的是動物之類的圖,實際上想要的圖是人物的,會有影響嗎?還是只是要圖片的格式形成預覽圖而已?
國寶大師 李文恩
2.  國寶大師 李文恩 (發表於 2023年5月15日 11:08)
※ 引述《軒轅皇龍》的留言:
> 想再請問 關於預覽圖的部分,如果模型那邊放的是動物之類的圖,實際上想要的圖是人物的,會有影響嗎?還是只是要圖片的格式形成預覽圖而已?

Checkpoint模型會影響圖像風格,可以參考一下該模型的說明,看看它適合的應用範圍
(例如文中Stable Diffusion v1-5-pruned-emaonly、aresMix_v01、Anything v4.5、OldFish_2348V12等不同的畫風)

建議可以先嘗試生成幾張圖像,如果品質可以接受就使用該模型
如果覺得圖像怪怪的,可以更換模型試試
發表回應
謹慎發言,尊重彼此。按此展開留言規則