ADVERTISEMENT
drawing the rest of theis now a reality. real time painting with stable diffusion https://t.co/xAZvGwGmYW pic.twitter.com/A6taIHELjc
— kitze 🚀 (@thekitze) April 19, 2023
現在用AI畫畫,連完整草圖都不需要了。你落下一筆,AI都會即時交上「新作業」。
細節、顏色、畫布空白,它都自動補全。
還能透過提示詞來控制產生圖像的內容和風格。
例如加一句「一個穿長外套的男人站在海邊」,AI馬上調整了作畫方向:
最後成稿的作品如下,效果很不錯。
怪不得網友表示,自己驚掉的下巴已經找不到了。
這就是最新紅起來的AI即時作畫專案,Reddit上的熱度超過1.8萬。
有人還表示,這回似乎說明了,相較於取代人類,AI可能更大程度上會幫助人類藝術家創作。
一個腳本搞定
如上效果是靠一個Python腳本完成的。。
透過構建一個畫布和一個圖像產生框,然後把每次落筆後的草圖發送給Automatic 1111的API介面,這樣就能基於Stable Diffusion和ControlNet的能力作畫了。
其中,Automatic 1111是一個基於Stable Diffusion的可便攜部署的離線框架,封裝了UI和一些功能,能透過視覺化介面使用Stable Diffusion。
此外生成圖像方面還使用了ControlNet的scribble模細化效果。
作者提醒說,想要讓這個腳本能正常運行,一定要確保能調用Automatic 1111 webui的API,並且已經安裝啟動了ControlNet擴充。
可以透過修改payload.json檔來獲取不同的prompt、seed和ControlNet模型。
在即時生成的速度上,作者表示現在看到的demo是他加速4倍後的結果,具體情況如何,恐怕還要看大家的顯示卡的等級了。
所以不少網友看後的反應是:
即時?我的顯示卡說,你在做夢。
1080要哭了……
也有網友推算了各個型號顯示卡可能帶來的效果:
我上次使用Automatic1111時,用3080能實現每秒12次迭代;對於預覽圖片來說,也許就不需要這麼多迭代。
所以如果用3080的話,大概可以每1-2秒得到一張圖片預覽(3060可能是3-4秒);如果用4080、4090,不到1秒就能出一張預覽。
儘管硬體上還是有所限制的……但這還是沒影響大家的腦洞。
有人表示,這或許是未來很多藝術家搞創作的方式了。
還有人說,未來已來了。
你覺得呢?
GitHub地址:
資料來源:
請注意!留言要自負法律責任,相關案例層出不窮,請慎重發文!