ADVERTISEMENT
參考先前文章完成在本機安裝Stable Diffusion WebUI後,我們接著來安裝更多不同種類的模型,以擴充AI算圖的準確度與多元性。
文章目錄
各種模型與擴充功能的用途
筆者在這邊將針對Stable Diffusion所使用的Checkpoint、VAE、LoRA、擴充功能進行介紹,各種類的模型簡介如下
Stable Diffusion使用的模型
Checkpoint:Stable Diffusion運算使用的主要神經網路模型,可以想像為「大模型」。其檔案容量通常很大(約2GB以上),使用不同的Checkpoint將大幅影響產生圖像的風格。
VAE:Variational Autoencoder(變分自動編碼器),它是神經網路模型中的一部分,主要用途為補充模型不足之處,可以想像為「小模型、修正檔」。它能改善現有Checkpoint在產生眼睛、文字等小區域的細節品質,而不需使用容量龐大的全新模型。
小模型類:包含Textual Inversion(文字倒轉)、Hypernetwork(超網路)、LoRA(Low-Rank Adaptation,低秩調整)等模型,它們分別能以不同的方式介入算圖的運算過程,能夠有效影響圖像和提示詞的互動行為,可以想像為「小模型、描述檔」。它最的優勢是檔案容量小很多(約200MB以內),可以用於收束圖像的風格或指定角色。
擴充功能:也就是Stable Diffusion的外掛程式,可以提供更多功能,例如透過ControlNet可以指定產品圖像中人物的動作。
讀者可以參考下列圖片範例,瞭解搭配不同模型的效果差異。
安裝模型與VAE
若讀者跟著前述教學完成軟體安裝的話,應該會在啟動Stable Diffusion WebUI時自動下載基礎模型,但為了算出更多元的圖片建議讀者可以至下列網站尋寶,找出自己喜歡圖像風格的模型。
模型資源網站
Huggingface:https://huggingface.co/
CivitAI:https://civitai.com/(需註冊帳號才能進行年齡認證)
需要注意的是,支援的模型副檔名為.ckpt或.safetensors,前者具有整合程式碼的功能,而後者則無,所以為了安全考量並避免被植入惡意程式,建議盡量選擇.safetensors類型的模型。
下載的Checkpoint模型需要放置於「stable-diffusion-webui」資料夾下的「\models\Stable-diffusion」,至於VAE則放置於「\models\VAE」。另外讀者也可以準備解析度為450 x 675的PNG格式圖檔,並將檔案名稱修改與模型相同並放在同一資料夾,如此一來就能在選擇時看到預覽圖片。至於其他小模型類的安裝與使用方式,將於後續章節令行討論。
5大推薦模型與下載網址
筆者將模型簡介與下載網址直接整理於下方圖片之說明。
在安裝完模型之後,下一篇教學就終於要開始算圖啦!大家把安全帶繫好,車速可能會有點快喔!
(回到Stable Diffusion AI算圖系列文章目錄)
> 想再請問 關於預覽圖的部分,如果模型那邊放的是動物之類的圖,實際上想要的圖是人物的,會有影響嗎?還是只是要圖片的格式形成預覽圖而已?
Checkpoint模型會影響圖像風格,可以參考一下該模型的說明,看看它適合的應用範圍
(例如文中Stable Diffusion v1-5-pruned-emaonly、aresMix_v01、Anything v4.5、OldFish_2348V12等不同的畫風)
建議可以先嘗試生成幾張圖像,如果品質可以接受就使用該模型
如果覺得圖像怪怪的,可以更換模型試試