修改一張圖，一句話就可以搞定。

輸入一句話，就能把圖片修改好，這是很多畫師夢寐以求的修圖工具！但是話說回來，再優秀的畫師，如果僅憑自己的專業優勢，不借助其他工具，也很難在短時間內完成圖片的修改。

現在AI 正在向圖片製作領域發起挑戰，各大科技公司、大學等開始紛紛涉足。最近一段時間，關心 AI 的人可能都有這樣一種感受：擴散模型被越來越多的人提及，基於擴散模型的各種圖片製作工具被開發出來。

在眾多模型中，Stable Diffusion 可謂是最廣為人知的一個，為其捐贈運算資源的英國開源人工智慧公司 Stability AI 為此還獲得了 1.01 億美元融資，融資完成後，Stability AI 估值將達到 10 億美元。就在最近，還鬧出了 Stable Diffusion 背後團隊互槓的笑話，原因是他們都想當 Stable Diffusion 的所有者。

其實這個模型的技術來源是發表在 CVPR 2022 中的一篇論文《High-Resolution Image Synthesis with Latent Diffusion Models》，署名作者一共五位，分別來自慕尼墨大學、海德堡大學和 AI 影片技術創業公司 Runway。

研究者對 Stable Diffusion 的開發一直在繼續。就在今日，reddit 上一則貼文點讚量已經突破 800+。

大概意思就是：Stable Diffusion 背後團隊之一的 Runway 公司發布了一個由 Stable Diffusion 模型驅動的圖像移除和取代（Erase and Replace）工具，該工具可以修改圖像任何部分。使用者需要做的就是移除該區域並編寫自然語言描述，剩下的交給程式就可以了。

舉例來說，一開始樹葉上是一隻七星瓢蟲，使用者移除（如紫色區域）該動物，然後輸入自然語言描述「正在找食物的蜜蜂」，點擊「取代」按鈕就可以了。

土地裡「長」出不同的植物：

站在柱子上的不同種類的鳥：

不同樣式的林中小屋：

把太空人取代成衛星：

看完上述展示，大概就是「修改一張圖，就一句話就可以完事」的感覺。

此外，Runway 還發佈了「移除和取代」功能背後的模型，感興趣的人可以在 GitHub 上查看。該公司計畫在未來推出更多 Stable Diffusion 檢查點，並在 Runway 的 HPC 集群上進行訓練。

GitHub 地址：https://github.com/runwayml/stable-diffusion#inpainting-with-stable-diffusion

專案首先通過 Huggingface 的 Diffusers 庫來使用修復模型。Diffusers 是在 PyTorch 中用於圖像和音訊產生的 SOTA 擴散模型，並作為擴散模型推理和訓練的模組化工具箱。

相關程式碼如下所示。

同時，為了評估修復模型的性能，專案使用了與論文《High-Resolution Image Synthesis with Latent Diffusion Models》中相同的評估協定。由於 Stable Diffusion 修復模型接受文本輸入，因而只使用一個固定提示，即「photograph of a beautiful empty scene, highest quality settings.」。

評估結果如下所示。