AI動畫神器 Wonder Studio AI無須動態捕捉一鍵生成CG,輪到動畫師要擔心失業了

AI動畫神器 Wonder Studio AI無須動態捕捉一鍵生成CG,輪到動畫師要擔心失業了

注意看,這個機器人對抗人類的影片,在網上徹底爆紅了。一個拳拳到肉,刺激程度引得群眾圍觀大呼。

好消息是,這個機器人並非真實存在。

文章目錄

 

但另一個不知道是好還是壞的消息是,這樣的特效,是 AI 一鍵合成的。就是說,從人類實拍到右生成特效畫面,人類需要做的,只是用滑鼠把模型拖到畫面。

這個 AI 神器,名叫 Wonder Studio AI。

現在內測名額開始發放,網友們上手一玩,更是停不下來。

比如隨手來一段比波士頓動力還動感流暢的男團熱舞。

AI動畫神器 Wonder Studio AI無須動態捕捉一鍵生成CG,輪到動畫師要擔心失業了

或者在自己在屋裡來段 freestyle。

AI動畫神器 Wonder Studio AI無須動態捕捉一鍵生成CG,輪到動畫師要擔心失業了

↑↑↑ 這個作品的作者還透露,這是一個原本需要三天完成的視覺特效鏡頭,現在只需要 1 分鐘。

也難怪網友們坐不住了。

Wonder Studio特色:無需動捕裝置,一鍵生成 CG 動畫

有關 Wonder Studio,官方的說法是,“一種可自動為 CG 角色製作動畫、打光,並將其合成到真實場景中的 AI 工具”。

按照官網說明,對於使用者來說,在 CG 動畫製作階段,你不再需要複雜的 3D 軟體,也不需要昂貴的動捕硬體。

只需一台用來拍攝的相機,拍好後丟進 Wonder Studio 處理,就足以以假亂真。

具體步驟是這樣的:

首先用相機拍攝一段影片,視訊中,真人演員可以隨意做出任何動作;

AI動畫神器 Wonder Studio AI無須動態捕捉一鍵生成CG,輪到動畫師要擔心失業了

將 MP4 或 MOV 等格式的影片匯入 Wonder Studio,並選定需要處理的視訊段落,拖入中間區域等待處理;

點選菜單欄的 next 按鈕,AI 開始識別和分析視訊中的人物;

AI動畫神器 Wonder Studio AI無須動態捕捉一鍵生成CG,輪到動畫師要擔心失業了

選中右側選項欄中所需要的 CG 模型,拖曳至需要替換的人物區域;

AI動畫神器 Wonder Studio AI無須動態捕捉一鍵生成CG,輪到動畫師要擔心失業了

這時候會跳出一個小框,能夠根據需要調整 HDR 打光、畫質清晰度、影像格式等。

AI動畫神器 Wonder Studio AI無須動態捕捉一鍵生成CG,輪到動畫師要擔心失業了

最後,選擇解算生成,就能完成影像段落中 CG 模型對真人演員的替換。

對於專業人士來說,除了最終成品,Wonder Studio 還能匯出新視訊的不同軌道,包括動作捕捉、攝影機跟蹤和空鏡等等。

面對需要修改的細節,也可以直接上手微調。

傳統的 CG 製作流程,需要移除原有人物、把需要替換的 CG 元素匯入引擎或 Blender 等軟體當中、根據相機解算結果進行合成、匹配燈光、渲染…… 最終把新的 CG 模型放到視訊場景中。

AI動畫神器 Wonder Studio AI無須動態捕捉一鍵生成CG,輪到動畫師要擔心失業了

比較而言,用上 Wonder Studio 後簡化了很多程序,也難怪很多人評論,如果這個工作流跑通,是十分利好小成本影視製作的。

 

 Wonder Studio 的缺點

不過,Wonder Studio 並非十全十美。

主要體現在 CG 模型覆蓋原人物後,CG 角色和背景銜接處處理不算優秀。

比如會出現美顏瘦臉特效開太大,以至於臉部周圍背景扭曲的情況:

AI動畫神器 Wonder Studio AI無須動態捕捉一鍵生成CG,輪到動畫師要擔心失業了

而且,CG 模型的邊緣像素會被拉伸,原人物的衣物等不能做到 100% 消除和被覆蓋:

AI動畫神器 Wonder Studio AI無須動態捕捉一鍵生成CG,輪到動畫師要擔心失業了

開頭展示的爆紅視訊中,其實也有不少穿幫鏡頭。

所以,雖然效果強大操作簡單,目前而言,Wonder Studio 還是不能單獨放到實際項目中使用,否則一眼驚豔,再看露餡。

但其展示的潛能,已經得到內測網友的蓋章肯定。

有內測網友表示,在他的幾次測試中,Wonder Studio 能夠自動化 80% 的視覺特效工作。

「它仍存在一些困難的領域,但它提供的價值主張是,只需要付出很少的努力就能做出相當不錯的東西。而且這只是開始!它還會變得更好!」

AI動畫神器 Wonder Studio AI無須動態捕捉一鍵生成CG,輪到動畫師要擔心失業了

Wonder Studio 背後的公司老闆之一:《一級玩家》男主角

有意思的不止是產品,Wonder Studio 背後的公司,也頗有故事。

它的出品方是一家名叫 Wonder Dynamics 的 AI 初創公司,致力於通過 AI 提高電影製作的效率和品質。

截至目前,公司在種子輪和 A 輪一共募集了 1150 萬美元融資。

Wonder Studio 是他們籌備 3 年後,推出的一款基於 AI 的線上視訊特效處理平台。

公司已經表示,Wonder Studio 後續還將繼續簡化動作捕捉和渲染環節,繼續提高製作效率。而且在公司的設想中,創作者在將來還能在系統自由上傳自己的 3D 模型。

再來看公司創始團隊,不少人是熟面孔。

比如世界聞名的導演斯皮爾伯格,就是這家公司的顧問。

而公司創始人之一,是《一級玩家》男主演泰爾・謝里丹。

(不知道是說男主“做一行愛一行”好呢,還是說他“積極致力於用 AI 搶自己飯碗”好)

AI動畫神器 Wonder Studio AI無須動態捕捉一鍵生成CG,輪到動畫師要擔心失業了

還有消息稱,美國導演組合羅素兄弟正在拍攝的一部電影中,Wonder Studio 已經參與了部分製作環節。電影主角是《怪奇物語》主演 Millie Bobby Brown 和《銀河護衛隊》中星爵的扮演者 Chris Pratt,電影將上線 Netflix。

期待電影之前,更值得關注的一點是,最近這段時間,AI 力量對視覺領域瘋狂下手了。

這就不得不提到近日在科技圈瘋狂刷屏的 Meta 大殺器,Segment Anything Model (SAM)。

該模型驚豔世人的能力,就是能夠識別和分離圖像及視訊中的特定對象。使用 SAM,使用者可以通過點選或輸入文字,來選中需要編輯的任何物體。

AI動畫神器 Wonder Studio AI無須動態捕捉一鍵生成CG,輪到動畫師要擔心失業了

Meta 在介紹 SAM 時寫道:

SAM 已經學會了關於物體的一般概念,並且,它還可以為任何圖像,或影片中的任何物體生成 msak,包括訓練集中不包含的類型。

SAM 足夠通用,且在新的圖像領域無需額外訓練,達到即開即用。

這種零樣本遷移的能力,正是 GPT-4 能力驚人的重要原因之一。因此,國內外不少媒體稱 SAM 的發佈為 CV 領域的 ChatGPT 時刻。

目前,SAM 已經開源,並進一步提供了其 10 億掩碼資料集的完整細節,

Meta 官方的說法是,隨著技術發展,SAM 可以成為 AR、VR 等更通用系統的強大元件。

聯想到今天介紹的 Wonder Studio,接入 SAM 能力後,對原有人類圖像的分割,是不是就不再會出現裙角被遺漏的情況了?

 

內測申請地址:

https://docs.google.com/forms/d/e/1FAIpQLSdLY3_MQuMEqBy-MZCyXHoPe2YK5BUiSQecjCt0eLUQCux4qA/viewform

參考連結:

 

 

Qbitai
作者

量子位(Qbitai)專注於人工智慧及前沿科技領域,提供技術研發趨勢、科技企業動態、新創公司報道等最新資訊,以及機器學習入門資源、電腦科學最新研究論文、開源程式碼和工具的相關報導。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則