Google的AI 影片翻譯技術Universal Translator：不但能同步口譯成各種語言，連人物嘴型都能配合

透過科技的幫助，現在我們遇到不熟悉的外語時，已經有很多技術可以輔助我們理解。

最早，像是一些線上翻譯網站，可以幫我們翻譯文字；之後，我們在YouTube上看到可以有即時辨識語音的功能，把語音先轉成文字，然後再翻譯成不同的字幕。

然後又有Google Lens，可以拍照之後就把圖片中的外國文字轉換成你認識的文字，出國的時候遇到看不懂的菜單、海報特別好用。

再來就是ChatGPT的加入，利用AI翻譯更多更長的文字，也變成輕鬆簡單。

現在，Google不但打算要攻下同步口譯這一塊，而且他們打算連說話者的嘴型都要改變。

先前在 2023 I / O 開發者大會上，Google披露了這項他們正在開發的技術，名為 Universal Translator。

顧名思義，該工具旨在將影片不但從一種語言翻譯成另一種語言，同時保留整體基調和氛圍。這意味著該技術不僅可以將影片從一種語言翻譯成另一種語言，還可以模仿說話者的聲音、語氣和面部表情，人物說話的時候，影片會根據目標語言的發音同步改變口型。

如下圖所示，Universal Translator 首先檢測單詞並進行翻譯。然後，它會檢查說話者的語氣以及他們強調的內容。結合這兩個方面後，它會生成目標語言的語音。最後，它會根據 AI 生成的語音的發音同步視訊中說話者的口型。

不過，考慮到此工具可能被濫用來建立假新聞，目前Google並不開放給一般人使用，表示將限制對 Universal Translator 的使用權限。因此，只有Google授權合作夥伴才能將其用於建設性項目，而一般用戶暫時無緣。