黃仁勳與祖克柏首次公開對談說了什麼：Meta為什麼要開源Llama 3.1？每個人都應該有一個AI

7月30日，NVIDIACEO黃仁勳（Jensen Huang）和Meta創始人馬克·祖克柏（Mark Zuckerberg）在美國丹佛舉行的SIGGRAPH 2024電腦圖形大會上，首次公開進行了對話。

黃仁勳和祖克柏就基礎研究如何引領人工智慧領域取得突破性進展，以及生成式人工智慧與開放原始碼軟體如何賦能開發者與創作者進行了深入探討。雙方還進一步交流了生成式人工智慧在建構虛擬世界中的核心作用，以及這一虛擬世界如何成為推動未來人工智慧與機器人技術新浪潮的潛力源泉。

在對話結束後，祖克柏從背後拿出一件皮夾克贈予黃仁勳，而黃仁勳也慷慨回贈，兩人互換皮夾克，台下觀眾報以熱烈掌聲。

基礎研究引領AI突破

祖克柏分享了Meta在生成式AI方面的進展，並深入探討了這些技術如何為公司的營運帶來革新，以及如何助力引入更多前沿的新功能。

祖克柏認為，基礎模型的發展正在加速。“即便基礎模型方面的進展現在停滯不前了（儘管我並不這麼認為），業界也至少需要五年時間來進行產品創新，以探索如何最高效地利用迄今為止所建構的一切。但實際上，我認為基礎模型以及基礎研究的進展正在加速，這使得當前正處於一個極為激動人心的時期。”

他還特別提到了FAIR（Meta的AI研究實驗室），以及PyTorch在電腦視覺、語言模型和即時翻譯方面的開創性應用。

推薦系統是世界上設計出的最大運算系統之一

祖克柏指出，未來的AI將不僅用於內容推薦系統，還將用於即時內容生成和從現有內容中整合新內容，這將徹底改變Instagram和Facebook等平台的資訊流和推薦系統。

祖克柏認為，AI不僅能提升內容推薦的品質，還能通過更廣泛的資料池和更通用的推薦模型，實現更高效的內容分發。

黃仁勳也表示：「我認為很少有人意識到，推薦系統是世界上設計出的最大運算系統之一。」

祖克柏談Llama為什麼要開源：並非全然出於無私

兩位科技領袖還深入探討了生成式人工智慧與開放原始碼軟體如何賦能開發者與創作者。黃仁勳和祖克柏都認為，開放原始碼軟體對於賦能開發者和創作者至關重要。

黃仁勳還稱讚了Meta在開源方面的貢獻，特別是Llama 2.1的開源。黃仁勳表示：「我認為Llama 2可能是去年AI領域最重大的事件。我之所以說它是最大的事件，是因為當它發佈時，它激勵了每一家公司、每一個企業、每一個行業。」

祖克柏提到，Meta的開源並非全然出於無私，是因為開源可以促使其開發產品達到最優狀態。「這不僅僅關乎打造一款軟體，而是需要建構一個圍繞它的生態系統。若我們不開放原始碼，它幾乎就無法被有效利用。我們之所以這麼做，並非因為我們是純粹的利他主義者，我們這樣做是因為堅信這能促使我們正在開發的產品達到最優狀態。」

祖克柏強調，開源與閉源各有其存在的合理性和獨特優勢。然而，他指出：「我們確實會做一些封閉原始碼的項目。我們發佈的並不都是開放原始碼的。但我認為，總的來說，對整個行業來說，如果軟體開源，那將帶來不可估量的巨大價值。」

生成式AI在建構虛擬世界中的核心作用

在討論生成式AI在建構虛擬世界中的作用時，祖克柏表示，Meta一直在努力開發逼真的化身技術和先進的顯示系統，以提升使用者的虛擬現實體驗。

祖克柏強調了Meta在AI領域的持續投入和創新。他回顧了Meta在2018年展示的一些早期手部追蹤技術，以及在VR和MR頭戴裝置上取得的進展，以及這些技術如何使虛擬體驗更加逼真。

祖克柏還提到，這些技術的發展不僅提升了使用者體驗，也為創作者提供了更多可能性，使他們能夠創造出更加豐富和互動的虛擬內容。

虛擬世界與未來技術的新浪潮

在討論的最後，兩位CEO都認為虛擬世界將成為推動未來AI與機器人技術新浪潮的潛力源泉。祖克柏提到了Meta在智慧眼鏡和混合現實頭戴裝置上的願景，以及這些裝置如何成為下一代計算平台。

他表示：「智慧眼鏡會成為下一代運算平台的行動版，混合現實頭戴裝置則更像是你的工作站或遊戲主機。」這些裝置的發展將使人們能夠以更加自然和直觀的方式與虛擬世界互動，從而推動AI和機器人技術的進步。

黃仁勳則從更廣泛的角度看待這一問題，他認為，生成式AI和虛擬世界的結合將為各個領域帶來革命性的變化。他表示：“生成式AI正在每一個領域中進行根本性轉變。”

黃仁勳表示，從氣候技術到生物技術，再到物理科學，生成式AI的應用正在推動科學和技術的發展，為未來的創新提供了無限可能。

黃仁勳和祖克柏的對話節選

祖克柏如何看待Meta在生成式AI方面的進展

黃仁勳：我想問你的第一個問題是，你如何看待Meta目前在生成式AI方面的進展，以及你是如何利用這些技術來最佳化營運或開發新能力的？

祖克柏：在2018年，我們展示了VR和混合現實頭戴裝置的一些早期手部追蹤技術。我想我們已經詳細討論了我們在高保真化身技術方面取得的進步，這些化身可以從消費者的頭戴裝置中驅動，我們正逐步實現這一目標，對此我們感到非常興奮。

此外，我們在顯示系統方面也做了大量工作。我們正在進行的一些未來原型和研究旨在使混合現實頭戴裝置變得更加輕薄。這需要使用先進的光學堆疊技術和內建顯示系統。我們通常首先在這裡展示我們的最新成果，所以今年能來參加感到非常興奮，我們不僅討論了反向工程的內容，還涉及了所有與AI相關的領域。

正如你所說，我們從FAIR，即AI研究中心開始。那時還是Facebook，現在是Meta，在我們成立Reality Labs之前，我們已經在這個領域耕耘了一段時間。

生成式AI技術正在引發一場有趣的革命。我認為它將最終以有趣的方式改變我們所做的每一個產品。我親歷了這一切的發展。你可以看看我們已有的主要產品，比如Facebook和Instagram的動態和推薦系統。我們一直在不斷地發展這些產品，它們已經從最初的與朋友聯絡功能發展到了更多。

未來，大量內容也將通過這些工具被創造出來。其中一部分將是由創作者使用這些工具創作的新內容。我認為，其中一部分內容最終將根據你的需求即時生成，或者是通過整合全球各地的不同資源來創造的。

黃仁勳：然而，我認為很少有人意識到，推薦系統是世界上設計出的最大的計算系統之一。

祖克柏：確實，這是一個全新的方向，不是嗎？

例如，我們曾有一個模型專門用於短影片的排名和推薦，另一個模型則用於長視訊。通過產品開發，我們使得系統能夠線上顯示任何類型的內容。隨著你建立出能夠覆蓋所有內容的通用推薦模型，這些模型會變得越來越精準。

我夢想著有一天，Facebook或Instagram幾乎可以由一個單一的AI模型驅動，這個模型能夠整合不同的內容類型和系統，這些系統在不同的時間尺度上有著各自的目標。有些內容是向你展示今天你可能感興趣的有趣內容，而有些則是長期幫助你擴展社群網路，你可能認識的人或你可能想關注的帳戶。

黃仁勳：多模態模型通常在識別模式和微弱訊號方面表現更出色。人們總是對AI在你公司中的深度應用感到好奇，畢竟你們一直在建構GPU基礎設施，並且運行這些大型推薦系統已經有一段時間了。

現在，生成式AI真正酷的地方在於，當我使用WhatsApp時，我感覺我正在與它合作。當我打字時，它正在即時生成圖像。我回頭修改我的文字，它就會生成不同的圖像。

祖克柏：一方面，我認為它將為我們的工作流程和產品帶來一次重大升級。但另一方面，它還將催生出許多全新的創意。因此，Meta AI是擁有一個能夠幫助處理各種任務的AI助手，這將是極具創造性的。但重要的是，它們非常通用，因此不必侷限於特定用途。隨著時間的推移，它將能夠回答任何問題。當我們從Llama 3類模型過渡到Llama 4類模型及其更高級版本時，這種體驗將不再侷限於簡單的聊天機器人模式。不再是你給出提示，它就回應，然後你再給出提示，它再回應。相反，它將迅速發展，能夠根據你的意圖獨立工作，跨越多個時間框架。

AI Studio：每個人都該有一個AI助手

黃仁勳：因此，今天的AI主要功能是接收輸入並做出回應。但當我們面對一個任務或問題時，我們通常會考慮多個選項，甚至可能建構一個決策樹來考慮每種可能的選擇所帶來的不同結果。這就是我們在進行規劃的過程。未來的AI也將執行類似的操作。當我聽到你闡述關於創作者AI的願景時，我感到非常興奮。這個想法確實令人振奮。請向大家介紹一下創作者AI以及這個AI工作室，它將如何幫助大家實現這一目標。

祖克柏：確實，我們之前提到過，但今天我們正在將這個項目擴展到更廣泛的範圍。我們的願景是，不會只有一個AI模型。有些公司似乎在建構一個中央代理，但我們會提供一個Meta AI助手供大家使用。更重要的是，我們希望賦予所有使用我們產品的人建立自己代理的能力。我們現在開始推廣的項目被稱為AI Studio。

AI Studio是一套工具，最終將幫助每個創作者建構一個AI版本的自己，作為社區可以與之互動的代理或助手。讓我有些意外的是，Meta AI目前一個非常受歡迎的應用場景是人們用它來模擬即將面臨的複雜社群情境。例如，在職場中：我想問我的經理，如何才能獲得晉陞或加薪？或者我與朋友發生了爭執，再或者我和女朋友之間出現了棘手的問題。這樣的對話該如何展開？這個平台提供了一個完全無壓力的環境，你可以在這裡模擬不同的對話場景，觀察對話的進展，並獲得有益的反饋。

然而，許多人並不滿足於只與單一類型的AI代理互動，無論是Meta AI、ChatGPT還是其他流行的選擇，人們渴望創造屬於自己的內容。這就是我們AI Studio的發展方向。

黃仁勳：我認為這非常酷，如果你是一名藝術家並且擁有自己的風格，你可以將這種風格和你所有的作品集，微調成AI模型。現在，你可以向這個模型提出請求，讓它根據你的藝術風格來創作。你甚至可以提供一件藝術品，如一幅畫或一個草圖，作為靈感。我可以為你生成作品。你可以通過我的AI來獲取這樣的服務。未來，每家餐廳、每個網站可能都會有這樣的AI。

祖克柏：是的，我認為在不久的將來，就像現在每個企業都有一個電子郵件地址、網站和社群媒體帳戶一樣，未來每個企業都會有一個AI代理來與客戶互動。

黃仁勳：那我能否使用AI Studio來最佳化我的圖片以及我的圖片集？

祖克柏：是的，我們將會實現這個功能。

黃仁勳：然後我可以把我寫過的所有內容都載入進去，基本上把它當作我的個人助理。每次我回來時，它都會重新載入記憶，記得我們上次對話停在哪里。然後我們可以繼續對話，就像之前從未中斷過一樣。

祖克柏：就像所有產品一樣，它會隨著時間的推移而不斷改進。訓練工具也會變得更好。我相信我們很快就能實現這一目標。這些技術並不遙遠，而且發展速度非常快，這讓人感到非常興奮。有很多新的內容等待我們去創造。

即使基礎模型的進步現在停止了，但我認為這不會發生，我們仍然有大約五年的時間來進行產品創新，讓整個行業學會如何有效地利用已經開發出的所有技術。但實際上，我認為基礎模型和基礎研究的進展正在加速，現在是一個非常激動人心的時期。

黃仁勳：我喜歡你關於這個願景的想法，每個人都應該有一個AI，每個企業都應該在我們的公司有一個AI。我想讓每個工程師和每個軟體開發者都擁有一個或多個AI。我喜歡你的願景的原因是，你也相信每個人和每個公司都應該能夠創造自己的AI。所以，當你開源Llama時，我認為這是非常棒的。順便說一下，Llama 2，我認為Llama 2可能是去年AI領域最重大的事件。

我之所以說它是最大的事件，是因為當它發佈時，它激勵了每一家公司、每一個企業、每一個行業。突然間，每個醫療保健公司都在建立AI。每個公司都在建立AI，無論是大型公司、小型公司還是初創公司都在建立AI。它使得每一個研究人員都能重新啟動AI，因為他們有了一個起點來做事情。

Meta為什麼要開源Llama 3.1

黃仁勳：你開源了PyTorch，它是現在運行AI的主要框架。隨後，你又開源了Llama 3.1並圍繞它建立了一個完整的生態系統。我認為這非常棒，這一切的起源是什麼？

祖克柏：隨著時間的推移，我們已經做了很多開源工作。我認為其中一部分，我們是在其他一些科技公司之後開始建設的，或者像分散式運算基礎設施和資料中心這樣的東西。而且，正因為如此，當我們建造這些東西的時候，它已經不是一個競爭優勢了。所以我們就想，好吧，我們不妨將其開放，然後我們將從圍繞它的生態系統中受益。我們有很多這樣的項目。

我認為最大的影響可能是我們公佈了伺服器設計、網路設計，最終是資料中心設計。通過使這些成為行業標準，供應鏈幾乎完全圍繞它組織起來，這對所有人都有節省成本的好處。因此，通過開源，我們實際上節省了數十億美元。

祖克柏：有一種很大偏見，每個人都只關注行動端，因為封閉的生態系統，蘋果基本上贏了。我知道實際上有更多Android手機，但蘋果基本上佔據了更大的市佔率。並且，所有的利潤都集中在蘋果身上。

在發展上，Android基本上都在追隨蘋果。所以蘋果在這一代中顯然是贏家，但情況並不總是如此。如果你回顧過去，蘋果在封閉系統方面有所作為。但微軟，雖然它不是一個完全開放的公司，但與蘋果相比，Windows運行在所有不同的OEM和不同的軟體、硬體上，形成了一個更加開放的生態系統。

在個人電腦時代，Windows是領先的生態系統，可以看作是開放生態系統。我對下一代的計算抱有希望，那就是我們將會回到開放生態系統佔主導地位的那個時代。再次強調，總是會有封閉的和開放的兩種選擇。我認為兩者都有其合理性，都有其好處。我並不是在這個問題上偏執。我的意思是，我們確實會做一些封閉原始碼的項目。我們發佈的並不都是開放原始碼的。但我認為，對於整個行業正在建構的計算平台，尤其是軟體開源，這將為整個行業帶來巨大的價值。因此，這確實影響了我對AI和Llama，以及我們在AR和VR領域所做工作的看法。我們基本上是在為混合現實建構Horizon OS，類似於Android或Windows的開放作業系統。

黃仁勳：這真是太好了。我認為這是一個很好的世界，有人致力於建構儘可能好的AI。他們建構它並將其作為服務提供給世界。

但如果你想建構自己的AI，你也可以自己建構。所以完全使用AI的能力，你可以提供偉大的服務，令人難以置信的服務，同時保持開放性。

祖克柏：我認為我們的目標是一致的。我們這樣做並不是因為我們很無私，這會使我們正在建構的東西通過一個堅固的生態系統變得更好。

黃仁勳：看看有多少人為PyTorch生態系統做出了貢獻。僅NVIDIA，我們就有幾百人致力於讓PyTorch變得更好、更可擴展和性能更高等等。

祖克柏：是的，當某件事成為行業標準時，其他人會圍繞它進行工作。所以所有的硬體和系統最終都會被最佳化，以便非常高效地運行這個東西，會造福所有人，並且也會很好地與我們正在建構的系統協同工作。我認為這只是這種方法如何變得非常有效的例子之一。所以，我認為開源策略作為商業策略將會是一個好策略。我認為人們仍然沒有完全理解這一點。

黃仁勳：我們非常喜歡它，圍繞它建立了一個生態系統。我們建立了這個基礎。

祖克柏：每次我們推出新產品，你們總是第一個發佈並進行最佳化，使其正常工作。所以，我對此表示感激。

黃仁勳：我也認為Llama真的很重要。我們建構了這個概念，圍繞AI建立了一個AI工廠，以便我們能夠幫助每個人建立和獲取AI。對他們來說，擁有AI非常重要，因為這使得他們公司的機構知識得以編碼和嵌入到AI中。

祖克柏：是的，我認為幫助人們從大型模型中提煉出自己的模型，將是一件非常有價值的新事物。每個人都在同一水平上與之交流。我不認為會有一個模型被每個人使用。

黃仁勳：我們擁有晶片設計的AI，軟體編碼AI，以及理解我們的軟體編碼AI，因為我們使用USD為Omniverse項目編碼。我們還有理解vlog的軟體AI，以及理解我們的bug、知道如何幫助我們分類bug並將它們傳送給正確工程師的軟體AI。每個AI都是從Llama衍生出來的，我們對其進行微調和設定護欄。因此，我認為每個公司將為它們的每一個功能擁有AI，他們很可能為這些功能建構AI。

祖克柏：是我認為未來人們將面臨的一個問題是，他們將多大程度上使用更大的、更複雜的模型，而不是只為他們的特定用途訓練自己的模型。至少我會打賭，我們將看到大量不同模型的出現。

智慧眼鏡將要取代智慧手機

黃仁勳：讓我們談談下一個問題。你知道的，我真的很喜歡你們所做的工作之一，電腦視覺。你將AI帶入虛擬世界的願景真的很有趣。你可能知道，NVIDIA現正致力於通過視訊訓練AI模型，目的是更深入地理解世界模型。我們將這些AI模型與Omniverse平台相連接，以便更精確地模擬和呈現現實世界。這樣，我們就能讓機器人在Omniverse的虛擬世界中順暢地運作。

你提到的雷朋的Meta類應用程式，以及將AI技術融入虛擬世界的創新願景，都非常引人入勝。能否詳細分享一下這方面的資訊。

祖克柏：當我們考慮下一個計算平台時，我們傾向於將其視為混合現實的世界。包括頭戴裝置以及智慧眼鏡。我認為人們更容易接受這個概念，因為今天幾乎每個人都戴眼鏡，而這些眼鏡最終都會升級為智慧眼鏡。世界上有超過十億人，這將會是一個巨大的變革。

VRM是指頭戴裝置，有些人可能覺得它對遊戲或其他用途很有趣，而有些人則不這麼認為。然而，我認為智慧眼鏡和混合現實頭戴裝置都將存在於我們的世界中。我認為智慧眼鏡將類似於手機，是下一個計算平台的一種始終線上的版本。而混合現實頭戴裝置則將像你的工作站或遊戲機，當你需要更深入的沉浸式體驗和更多的計算能力時使用。眼鏡的體積非常小，因此在形態上有許多限制，就像你不能在手機上完成同樣水平的計算一樣。

黃仁勳：它恰好在所有這些重大突破和生成式AI技術出現的時候問世了。

祖克柏：是的，所以對於智慧眼鏡，我們基本上是從兩個方向著手解決這個問題。一方面，我們一直在研發我們認為是理想全息AR眼鏡所需的技術。我們正在進行所有定製矽晶片和顯示堆疊的工作，這些都是為了讓這種技術能夠在眼鏡中得以實現，這並不是一個頭戴裝置，也不像VR或MR頭戴裝置。它們看起來像普通眼鏡，但與你現在戴的眼鏡相比，還有一定的差距。我的意思是，那些眼鏡雖然非常薄，但即使是雷朋和我們生產的，目前也還不能將實現全息AR所需的所有技術都內建進去。不過，在未來幾年里，我們將越來越接近這個目標。我認為我們會更接近實現它。這個產品仍然會相當昂貴，但我想它將開始成為一個實際的產品。

我們解決這個問題的另一個方法是，從設計精美的眼鏡開始，與世界頂尖的眼鏡製造商合作。他們擁有眾多知名品牌，比如雷朋、Oakley、Oliver Peoples等。我們與他們合作開發雷朋眼鏡，目前我們已經進入第二代產品。我們的目標是，首先將智慧眼鏡的設計限製為美觀大方。然後在這樣一款眼鏡中，我們儘可能多地內建技術，儘管我們知道可能無法完全達到理想的技術內建狀態。

但最終，它將是一款看起來非常棒的眼鏡。目前，我們已經內建了相機感測器，所以你可以拍照和錄視訊。我甚至可以直播Instagram，你可以在WhatsApp上進行視訊通話，並將畫面即時傳輸給對方。它還配備有麥克風和揚聲器。你可以用它來聽音樂，非常受歡迎。人們也喜歡用它來接聽電話。但後來我們發現，那個感測器套件恰好是我們與AI交流所需的關鍵。這有點像是意外的收穫。

如果你五年前問我，我們會先實現全像AR還是AI？我可能會說，AI可能會先實現，對吧？我的意思是，這一切就像是虛擬和混合現實技術的進步，以及顯示技術的進步。我們正在持續朝著這個方向取得進展。

幸運的是，由於我們一直在開發各種不同的產品，我們現在處於一個非常好的位置。但我想最終你會看到一系列不同價格和不同技術水平的潛在眼鏡產品。所以，基於我們現在對雷朋眼鏡的觀察，我猜測在300美元價格點上。無顯示AI技術將是一個非常成功的產品，最終可能有數千萬甚至數億人使用。你將擁有一個非常互動的AI，可以與之交流。

黃仁勳：正如你剛才展示的，你擁有視覺語言理解能力。你還具備即時翻譯功能。因此，你可以使用一種語言與我交流。

祖克柏：當我聽到另一種語言時，顯示效果當然也會非常好。但這也會給眼鏡增加一些重量，並使其價格更高。因此，我想對於很多人來說，他們可能更喜歡全息顯示的眼鏡。但同時，也會有許多其他人，他們希望最終能擁有像非常薄的眼鏡一樣的產品，無論是工業應用、工作應用，還是消費者產品。你這麼認為嗎？是的，我的意思是，我在疫情期間一直在思考這個問題，當時每個人都在遠端工作了一段時間。就像你在Zoom上花費了所有的時間。雖然我們現在有了這些技術，但在未來，我們不會離得太遠，就能實現虛擬會議，比如，雖然我不在物理位置上，但我的全息圖可以出現，讓人感覺我們都在同一個地方，就像我們物理上都在場一樣。

黃仁勳：我們可以合作開展某項工作，但我認為這對於AI使用者來說將尤為重要，因為可以與一個不必隨時佩戴的裝置一起生活。

祖克柏：是的，但我想我們最終會實現這一點。在眼鏡設計中，有更薄的框架和更厚的框架，還有各種風格。但我想，我們離擁有全息眼鏡還有一段時間。不過，我認為在一副時尚的、更厚框架的眼鏡中實現這一點並不遙遠。

黃仁勳：我們正經歷一個令人難以置信的時期，整個計算堆疊正在被重新發明，我們思考軟體的方式也在變化。生成式AI這項技術，是我所見過的影響消費者、企業行業和科學速度最快的技術之一。它能夠跨越從氣候技術到生物技術再到物理科學的各個領域。生成式AI正處於這些領域根本轉變的核心。