配音演員不幹了,能用AI deepfakes來為《辛普森家庭》配音嗎?

配音演員不幹了,能用AI deepfakes來為《辛普森家庭》配音嗎?

ADVERTISEMENT

2015年5月,《辛普森家庭》的配音演員哈利‧希勒(Harry Shearer)宣佈他將離開該劇,他在劇中扮演了許多關鍵角色,包括令人難以置信的同時飾演了Mr Burns(台譯:郭董)和Waylon Smithers(台譯:艾甲甲)。

截止到2015年,這部動畫片已經播出了超過25年,配音演員的片酬從1998年的每集3萬美元漲到了2008年的每集40萬美元。但是,《辛普森家庭》的製片人福斯公司打算削減成本,並威脅說,除非配音演員減薪30%,否則將取消該劇。

大多數人都同意了,但是希勒(他曾經批評過這部劇的品質下降)拒絕簽約——20多年後,他想要掙脫金手銬,贏回自由和時間來追求自己的工作。製片人艾爾‧簡表示,希勒的象徵性角色——包括西蒙·喜金捏 (Principal Skinner)、魯肉王 (Ned Flanders)和阿嘎(Otto Mann)——將會重新塑造。

你永遠也無法阻止《辛普森家庭》。

幾個月後,希勒軟化了態度,簽訂了一份新的協議。這部劇經常拿動畫中配音演員的替代開玩笑,但隨著它走過第4個10年,笑聲背後的象徵性聲音可能是它繼續存在的最大威脅。

扮演史普林菲爾德鎮居民的演員們都快到了退休年齡了——他們大多已經六七十歲了,希勒已經77歲了——他們可能很快就會決定不再演這個角色了。他們當然不需要錢——從新劇集的費用到舊劇集重複的剩餘費用,他們坐擁數千萬美元。

但也許這個節目的製片人實際上不再需要配音演員了。在最近的一集裡,陳趾鹹(Edna Krabappel)——巴特長期受折磨的老師,在2013年配音演員瑪西亞‧華萊士去世後,她的角色就從節目中退休了——用之前幾集的錄音重新回歸,作為最後的告別。

運算能力的進步意味著你可以將這一原理擴展到任何角色。deepfakes技術可以從有限的訓練資料中製作出令人信服的複製品,而節目製作人有30年的聲音可供參考。那麼《辛普森家庭》能否用人工智慧代替配音呢?

「你當然可以為《辛普森家庭》裡的角色以一種可信的方式配音,」加拿大人工智慧研究員和媒體製作人蒂姆·麥克斯麥瑟斯(Tim McSmythurs)表示。他建立了一個可以訓練模仿任何人聲音的語音模型。「這是否同樣具有娛樂性是另一個問題。」

在他的YouTube頻道上,談到人工智慧,McSmythurs重拍了《新娘百分百》中的象徵性場景,由荷馬(Homer)飾演茱莉亞‧羅勃茲;唐納‧川普(Donald Trump)代替孔安(Ralph Wiggum),喬‧拜登(Joe Biden)把洋蔥繫在腰帶上,這是當時的風格。

McSmythurs建立了一個通用的人工智慧模型,可以將任何文本轉換成英語發音。當他想要製造一個新的聲音時,他會使用該特定人員講話的兩三個小時的新數據以及文字記錄進一步調整模型。他說:「模型專注於讓聲音聽起來就是荷馬的聲音,以及不同的講話頻率。」

之後,就是要求模型產生不同的個版本——每個版本都會略有不同——然後根據你的需求選擇最好的一個。它的輸出可以辨認出是荷馬的聲音,但它們聽起來有點平淡,就好像他在讀一些他並不真正理解的東西。「這確實取決於訓練資料,」McSmythurs說。「如果模型沒有接觸到這些廣泛的情感,就不可能從零開始創建它。所以它聽起來不像荷馬本人那樣充滿活力。」

英國初創公司Sonantic已經開發出一種方法,將這種情感範圍引入人工智慧聲音中。他們與配音演員一起工作,獲得廣泛的訓練資料——演員用幾個小時的時間,用不同的情感語調,在不同的台詞中運行。

Sonantic聯合創始人兼首席技術長約翰·佛林(John Flynn)表示:「我們知道諷刺和真誠之間的差別,以及聲音中細微的線索。」「我們延伸了這些自然的點、細微差別和變化。」

佛林說,目前需要的訓練資料量已經大幅的減少,從最早的30-50小時減少到10-20分鐘。位於布里斯班的仿製工作室(Replica Studios)建立了一個模型,透過輸入20個簡短但特有的句子的錄音,可以訓練它重現聲音。Replica聯合創始人兼首席執行長Shreyas Nivas表示:「你擁有的資料越多,你就能獲得越好的性能,但我們可以在幾分鐘內完成一些事情。」

單詞是由音節構成的,音節又是由音素構成的——你的嘴能發出的所有單獨的聲音。理論上,一個訓練模型可以從一個被稱為語音pangram的句子中獲得它所需要的一切,它包含英語的每個音素,儘管在實踐中這取決於你的口音。例如,試著用各種不同的方式來表達:「正如年輕的亞瑟(Arthur)想要的那樣,在尼斯湖水域上的米色色調給包括法國女王在內的所有人留下了深刻的印象,之後她又再次聽到了那首交響曲。」

語音產生技術已經在遊戲中得到了應用——Sonantic正在與《異塵餘生》和《外圍世界》的開發商Obsidian合作,而Replica擁有許多AAA級和獨立遊戲工作室作為客戶。在遊戲中,AI的聲音可以透過更廣泛的對話填充開放世界,而不是侷限於由工作室中的配音演員錄製的角色說話。

Nivas表示,該技術在開發階段特別有用,在開發階段,人工智慧版本的聲音可以作為替身,讓遊戲開發者在讓真人配音之前嘗試各種選擇。

它也可以用來驅動更多的定製化——評論員在像FIFA這樣的遊戲中尖叫你的真實名字可能是一個程式喊出來的,而Replica為賽博龐克開發了一個mod,可以改變主角的名字,並使每個與他們互動的角色都能說出它。結合AI語音產生、語音辨識和GPT-3等文本到語音演算法,玩家可以與非玩家角色對話,即時產生對話。

然而,除非Fox決定將劇本撰寫和動畫也移交給AI,否則《辛普森家庭》之類的劇本就不需要這些功能。事實上,使用人工智慧來重新塑造一個角色可能比僅僅找一個能模仿荷馬的人要麻煩得多。「如果我們的目標只是要完成另外一集,最好的方法就是把演員聚在一起演,他們可以提供更高品質表演,因為他們已經表演該角色數十年了,他們能體現完美的人物特性,」Nivas說,「使用人工智慧配音需要更多迭代和工作,而不僅僅是重新集結演員陣容。」

對於任何想要用AI重新塑造配音演員的聲音的製作人來說,這都是一個法律地雷區。賓夕法尼亞大學(University of Pennsylvania)法學教授珍妮佛‧羅斯曼(Jennifer Rothman)說:「這一領域的法律是棘手的。」

一方面,合約可能會限制錄音室對錄音的處理。除此之外,還有一些勞資談判的問題。羅斯曼說,美國演員工會(SAG-AFTRA)「非常積極地試圖規範配音演員和銀幕演員的重複再利用。」

然而,在沒有任何合約規定的情況下,著作權法開始發揮作用。羅斯曼說:「誰擁有《辛普森家庭》的版權,誰就擁有複製他們已經製作的受版權保護作品的所有權利——包括擁有的演員表演錄音,以及根據版權法製作衍生作品的權利。」

但這與另一套管理公眾權利的法律相衝突,美國各地的法律各不相同。羅斯曼說:「這種宣傳權賦予表演者權利,讓他們有權控制未經授權使用自己的名字、肖像、表演,通常還有聲音。」

倫敦大學瑪麗皇后學院的智慧財產權教授約翰娜‧吉布森說,在假代言索賠中,演員還有潛在的追索權。如果《辛普森家庭》(The Simpsons)使用了一個深度造假的荷馬(Homer)來為巧克力棒做廣告,這可以被視為演員丹‧卡斯特蘭尼塔(Dan Castellaneta)的個人代言。

吉布森說,甚至由同一演員在同一節目中扮演不同角色,法律也可能不同——她用來自Family Guy中Seth Macfarlane 舉例,「Brian」的聲音事實上是他本人的聲音,可能會有更多的保護,而Stewie是專門為動畫創作的聲音。(當然,在這種情況下,麥克法蘭是這部劇的創作者,不太可能被違背他意願的人工智慧取代)。

1993年,《歡樂酒店》的兩位演員——喬治‧溫特和約翰‧雷森伯格——起訴派拉蒙公司在機場的酒吧裡使用他們的機器人版本的角色。演員們辯稱,宣傳權讓他們能夠控制自己的形象,而工作室則辯稱,版權法允許他們根據這部情景喜劇創作衍生作品。該案經過了8年的法庭審理,最終達成和解,和解金額不詳。Rothman表示:「法律並不明確,這意味著如果合約中沒有規定該工作室可以這麼做,那麼如果提起訴訟,這類糾紛將如何收場就不得而知了。」「這是一個尚未解決的問題。解決這些案件的法律框架相當混亂。」

但是配音演員可能還不需要打電話給他們的律師。製作這些語音產生工具的人都不是為了取代演員。Sonantic和Replica都強調他們與演員合作,他們有適當的收益分潤模式,讓配音演員每次在遊戲中使用自己的「聲音」都能賺錢。

Nivas說,隨著這項技術的改進以及它產生的聲音脫離「恐怖谷」,他們可以幫助使內容創作民主化–例如,允許辛普森一家的粉絲合法地將自己喜歡的角色的聲音用於自己的專案,製作混搭和混音,為已經疲累的的動畫劇注入新的活力。

Sonantic公司的首席執行長兼聯合創始人齊娜‧庫雷希(Zeena Qureshi)將目前的語音產生技術比作早期的CGI技術。她說:「它複製了演員的聲音,但不會取代他們。」「CGI不會取代攝影師,也不會取代演員,但它可以幫助他們虛擬化工作。如果有人退休了,他們的聲音還是有用的。」

McSmythurs還與CGI進行了比較,並說,儘管今天AI可以製作一集令人信服的《辛普森家庭》(需要大量的迭代努力),但它可能很難經受住時間的考驗-就像CGI拍攝的電影一樣 -90年代的製作已經過時了。

他認為該技術可用於製作簡短的摘要,例如將已故演員扮演的角色復活以作最後的告別,但他認為AI演員表不會很快成為現實。他說:「配音演員所帶來的不僅僅是聲音,而是在傳遞情感內容。」 「丹‧卡斯泰蘭尼塔(Dan Castellaneta)將這個2D角色賦予溫暖,深度和使我們喜歡他的所有特質。人類在樹立人的特質方面做得很好。」

bigdatadigest
作者

大數據文摘(bigdatadigest)成立於2013年7月,專注數據領域資訊、案例、技術,在多家具有影響力的網站、雜誌設有專欄,致力於打造精準數據分析社群。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則