Stable Diffusion 外掛、「AI 繪畫細節控制大師」ControlNet 最近迎來重磅更新：只需使用文字提示詞，就能在保持圖像主體特徵的前提下，任意修改圖像細節。
比如給美女從頭髮到衣服都換身造型，表情更親和一點：
抑或是讓模特從甜美鄰家女孩切換到高冷御姐，身體和頭部的朝向、背景都換個花樣兒：
—— 不管細節怎麼修改，原圖的「靈魂」都還在。
除了這種風格，動漫類型的它也能駕馭得恰到好處：
來自推特的 AI 設計網友@sundyme 就稱：「效果比想像得要好！只需要一張參考圖就能完成以上轉變，部分圖片幾乎可以達到定製大型語言模型的效果了。」
咳咳，各位 AI 繪畫圈的朋友們，打起精神來，又有好玩的了。
ControlNet 上更新：保留原圖畫風的修圖功能
以上更新內容，其實指的是一個叫作「reference-only」的前置處理器。
它不需要任何控制模型，直接使用參考圖片就能引導擴散。
作者介紹，這個功能其實類似於「inpaint」功能，但不會讓圖像崩壞。
（Inpaint 是 Stable Diffusion web UI 中的一個局部重繪功能，可以將不滿意、也就是被手工遮罩的地方進行重新繪製。）
一些資深玩家可能都知道一個 trick，就是用 inpaint 來進行圖像擴散。
比如你有一張 512x512 的狗的圖像，然後想用同一隻狗生成另一張 512x512 的圖像。
這時你就可以將 512x512 的狗圖像和 512x512 的空白圖像連接到一張 1024x512 的圖像中，然後使用 inpaint 功能，mask 掉空白的 512x512 部分，漫射出具有相似外觀的狗的形象。
在這個過程中，由於圖像只是簡單粗暴的進行拼接，加上還會出現失真現象，所以效果一般都不盡如人意。
有了「reference-only」就不一樣了：
它可以將 SD（即「Stable Diffusion」）的注意力層直接連結到任何獨立的圖像，方便 SD 直接讀取這些圖像作為參考。
也就是說，現在你想要在保持原圖風格的前提下進行修改，使用提示詞直接在原圖上就能操作。
如官方示例圖將一隻靜立的小狗改成奔跑動作：
你只需要將你的 ControlNet 升級到 1.1.153 版本以上，然後選擇「reference-only」作為前置處理器，上傳狗的圖片，輸入提示詞「a dog running on grassland, best quality……」，SD 就只會用你的這張圖作為參考進行修改了。
網友：ControlNet 迄今最好的一個功能
「reference-only」功能一出，有不少網友就上手體驗了。
有人稱這是 ControlNet 迄今為止最棒的一個功能：
傳一張帶有人物姿勢的動漫圖片，再寫一句看上去跟原圖完全無關的提示。突然之間，你想要的效果就在原圖的基礎上跑出來了。真的很強，甚至說是達到了改變遊戲規則的程度。
還有人稱：
是時候把以前丟棄的廢圖都撿回來重新修復一下了。
當然，認為它也不是那麼完美也有（比如開頭第一張效果圖里美女的耳環不對，二張圖里頭髮也都是殘缺的），但網友還是表示，總歸方向是對了。
以下是三位推特博主嘗試的效果，主要都是動漫風，一起欣賞一下：
有沒有戳中你的心？
參考連結：
-
[1]https://github.com/Mikubill/sd-webui-controlnet/discussions/1236
-
[5]https://twitter.com/aiilustnews/status/1657941855773003776
本文來自：量子位 （ID：QbitAI）
請注意！留言要自負法律責任，相關案例層出不窮，請慎重發文！