ADVERTISEMENT
Google今年推出實驗性對話式AI服務「Bard」,7月更進一步升級支援包括繁體中文在內的40種以上語言,吸引多數台灣用戶體驗Google最新的AI技術應用。在Google Bard團隊中,最關鍵的靈魂人物就是來自台灣的紀懷新(Ed H. Chi)博士。
任職Google超過12年、身為Google DeepMind的傑出科學家,紀懷新親自從美國總部回來台灣解密,分享Google如何持續在多元產品與服務中,透過AI技術應用,幫助使用者帶來更智慧的體驗。
「Google的使命,就是透過大型語言模型(LLM)彙整全球資訊,並以自然的對話方式,供大眾使用,也使人人受惠。」在Google分享聚會中,紀懷新也親自回答3大核心問題,包括Google為何今年加入AI戰局、Bard如何學習並理解、大型語言模型還有哪些挑戰?
ADVERTISEMENT
重點一:為什麼Google在今年才決定加入AI戰局?
由於市場上的生成式AI話題是由ChatGPT而來,使得不少民眾以為,Google是為了迎戰ChatGPT的熱潮,才加緊推出Bard產品。
ADVERTISEMENT
紀懷新解釋,「事實上,Google將AI技術帶入產品和服務中,已超過10年。」意思是,Bard是Google布局10年之久的AI戰略中,其中之一的成果。
Google在發展Bard之前,2011年就已經有Google Brain計畫團隊,嘗試導入AI上的研究及運用。
像是在「Google智慧鏡頭」透過圖片來搜尋其中的文字資訊、結合AR技術顯示路線環境的「Google地圖」、透過AI機器學習技術強化Gmail或Meet工具的「Workspace」,以及Pixel手機的即時翻譯、魔術橡皮擦等,都是AI應用的例證。
ADVERTISEMENT
自2013年至今,紀懷新帶領的機器學習研究團隊,也包含大型語言模型、對話程式語言模型(LaMDA/Bard)、神經網路推薦系統(neural recommendations)、可靠性機器學習(reliable machine learning)等相關研究。
他的團隊也幫助過YouTube推薦演算法、Google新聞、廣告、Google Play商店等一系列Google產品,「這10年來,僅僅我們團隊,就在Google帶來720項改進。」
重點二:Bard如何學習並理解不同語言?
「資料跟資料效率,是發展對話式AI的關鍵。」紀懷新解釋,Bard整套訓練中,必須經過3個不同階段,分別是「預訓練」(Pre-Traing)、「微調」(Fine-Tuning)、「提示/提問」(Prompting)等。
ADVERTISEMENT
他進一步解說,「預訓練」就是學習語言的基礎能力,也是最昂貴的階段;「微調」是專精於特定任務,尤其數據資料效率比較好的預訓練模型,能用更少的資料量學習;「提示/提問」則是提示及小樣本數據資料,能夠在正確的時間喚醒正確的能力。
有趣的是,紀懷新也用德文諺語「Ich verstehe nur Bahnhof」作為案例,若單純用Google翻譯工具,這句話就只會字面上翻譯成英文「I only understand train station」(我只知道火車站)。
由於Bard具備更好的「多語言理解能力」(multilingual understanding),因此,就會進一步解釋這句翻譯是錯誤的,並明確指出這句德文諺語的真正意思「I don't understand anything」(我什麼都不知道),向用戶解說「這句諺語是一種誇飾性的說詞」。
由此可知,語言模型能夠互為集中、學習,進一步理解而提升原有的模型基礎,這樣的結果也吸引多數用戶將Bard成為自己的語言學習家教。
Bard擁有很好的對話基礎,但在此之前的互動也不具備連貫性,話題內容更不夠廣泛,這都是學習的過程。紀懷新坦言,AI聊天機器人的體驗,應該要表現出交換式(Transaction)與互動式(Interaction)兩大特色並存,要有人性化的互動,而不單只是幫忙人類工作而已。
此外,有別於ChatGPT的回答基礎限制在僅能參考2021年前的資料,Google Bard則可利用搜尋引擎的工具,提高更正確、具有時效性的答案。「這就好像我們教大型語言模型LLM,如何繼續搜索、去閱讀這些網絡結果,進而產生相應的動作,最後是經過Google內部的搜索引擎產生出的回應。」紀懷新如此解釋。
值得一提的是,被問到Google訓練AI時,是用TPU,還是輝達(NVIDIA)的GPU呢?紀懷新透露,Google一直100%使用自家的TPU,尤其Google很早就在AI領域投入大量資源,裡頭的數學運算及訓練方法,都是早就發展的成果。
重點三:Bard存在「5大已知的限制」
「大型語言模型目前仍處於早期發展階段。」紀懷新說,儘管Google的對話程式語言模型(LaMDA)可以做到1,370億個參數,讓Bard理解合理性、具體性、趣味性、安全性、真實性,並歸納出數百萬任務,但事實上AI模型仍需不斷微調「更自然方式」的具體內容,才能跳脫早期的Google Assistant單一及不自然。
紀懷新指出,就目前來說,大型語言模型(包含Bard在內)仍存在「5大已知的限制」,像是回答時出現與事實不符合的「幻覺」及偏差:
準確性:Bard的回應可能未必準確,尤其當詢問複雜或講求事實的主題時。
偏差性:Bard的回應可能反映偏見或呈現出訓練資料中的特定觀點。
人格化:Bard的回應可能會讓人以為它有個人意見或感受。
偽陽性/偽陰性:Bard可能對某些適合的提示不予回應,並提供不適合的回應。
惡意提示的刻意攻擊:使用者會不斷尋找對Bard進行壓力測試的方法。
面對這5大問題,紀懷新解釋,這是Google和整個業界正在研究的領域,Google也將隨著時間推移演進,致力改善這些面向。Google也會持續與政府機關、企業、大專院校等多方合作交流,共同研擬相關做法和標準,設法降低風險。
紀懷新也透露,一年多沒回來台灣,此次希望參與學術交流,並與Google台灣同仁交流,希望台灣針對AI領域作出一些貢獻。「大型語言模型會改變我們與AI互動的方式,並為生活帶來明顯改變,我們將持續參與其中。」
- 本文轉載自數位時代
ADVERTISEMENT