ADVERTISEMENT
OpenAI 的聊天機器人 ChatGPT 的驚人能力點燃了人們對人工智慧新的興致與投資。但上週末，OpenAI 首席執行長卻發出警告，稱孕育出這款機器人的研究策略已經走到頭了。但未來會從哪個方向取得突破還不清楚。
透過利用現有的機器學習演算法，並將其擴展到以前無法想像的規模，近年來 OpenAI 的人工智慧在語言上取得了一系列令人印象深刻的進展。GPT-4 是這些項目當中最新的一個，為了訓練出這個模型，OpenAI 也許使用了數兆個文本單詞以及數千個強大的電腦晶片。整個訓練過程耗資超過了 1 億美元。
以量取勝的 AI 發展之道或許已經走到盡頭
但該公司首席執行長山姆‧阿特曼（Sam Altman）表示，下一步的進展不會來自讓模型的規模變得更大。上週末他在麻省理工學院舉行的一次活動中告訴現場觀眾： 「我認為我們已經走到了一個時代的盡頭，這些超級龐大的模型已經發展到頭。我們會用其他方式讓它們變得更好。」
ADVERTISEMENT
阿特曼的宣告表明，在開發與部署新的 AI 演算法的競賽中出現了意想不到的轉折。自 OpenAI 去年 11 月推出 ChatGPT 以來，微軟已利用底層技術在其 Bing 搜尋引擎中植入了一個聊天機器人，谷歌也推出了一個叫做 Bard 的聊天機器人參與競爭。很多人都爭先恐後地嘗試用新型聊天機器人來幫助完成工作或個人任務。
與此同時，在投資的加持下，包括 Anthropic、AI21、Cohere 與 Character.AI 在內的眾多初創企業正在投入大量資源來開發規模甚至更大的演算法，好努力趕上 OpenAI 的技術。ChatGPT 的初始版本以略微升級的 GPT-3 版本為基礎，但使用者現在還可以造訪由功能更強大的 GPT-4 提供支援的版本。
阿特曼的說法也許暗示 GPT-4 將是 OpenAI 靠「規模取勝」策略（更大模型、更多資料）的最後一個重大進展。但他沒有指出應該用什麼樣的研究策略或技術來取代「規模取勝」。在描述 GPT-4 的論文裡，OpenAI 確實也指出了自己估計擴大模型規模會出現收益遞減。阿特曼表示，企業能建造的資料中心的數量以及建造速度也存在物理限制。
ADVERTISEMENT
曾在Google從事 AI 工作，現為 Cohere 聯合創始人的 Nick Frosst 表示，阿特曼認為「做大沒法一直奏效」的看法聽起來是對的。他也認為，Transformer（GPT-4 及其競爭對手的核心機器學習模型類型）的改進不只有擴展這一條路。他說：「有很多方法可以讓 transformer 變得更好、更有用，而且很多方法都不需要為模型增加參數」。Frosst 說，新的 AI 模型設計或架構，以及基於人類回饋的進一步最佳化，這些都是許多研究人員在積極探索的有前途的方向之一。
OpenAI 的語言演算法系列影響巨大，每一版都由一個人工神經網路（這種網路的發明受到了神經元協同機制的啟發）組成，經過訓練後，這種神經網路就可以預測給定文本字串後面應該出現什麼樣的文字。
GPT-2 是這系列語言模型的第一個，發佈時間是 2019 年。它的最大形式有 15 億個參數（衡量其原始人工神經元之間可調節連接的數量）。
ADVERTISEMENT
在當時，跟以前的系統相比，這個數量已經非常龐大，這在一定程度上要歸功於 OpenAI 研究人員的發現——擴大規模可以讓模型更具一致性。2020 年，該公司又推出了 GPT-2 的後續版本 GPT-3，後者的規模更大，參數數量高達 1750 億。這套系統可以生成詩歌、電子郵件以及其他文本，其能力的廣泛性有助於說服其他公司和研究機構將他們自己的人工智慧模型推向類似甚至更大的規模。
去年 11 月 ChatGPT 首次亮相後，迷因製造者以及技術專家紛紛開始推測，一旦 GPT-4 出現將會成為令人眩暈的規模與複雜性的典範。然而，當OpenAI 最終發表其最新人工智慧模型時，該公司並沒有透露它的規模有多大——也許是因為規模不再是最重要的。在麻省理工學院的那場活動上，阿特曼被問及訓練 GPT-4 的花費是否要 1 億美元；他的回答是：「不止。」
儘管 OpenAI 對 GPT-4 的規模與內部機制保密，但它的部分智慧很可能已經來自於規模以外的觀察。一種可能性是它用了所謂的強化學習方法，引入人工回饋，用來增強 ChatGPT。這種方法涉及到讓人類判斷模型答案的品質，從而引導 AI 提供更有可能被判斷為高品質的回應回答。
ADVERTISEMENT
GPT-4 的非凡能力讓部分專家感到震驚，並引發了關於人工智慧在改變經濟的同時傳播假資訊、導致裁員的爭論。還有一些 AI 專家，以及包括馬斯克在內的科技企業家與科學家最近寫了一封公開信，呼籲要暫停任何比 GPT-4 更強大的 AI 研發活動 6 個月。
上周在麻省理工學院，阿特曼證實了他的公司目前還沒有開發 GPT-5。 他說：「這封信之前的版本稱 OpenAI 目前正在訓練 GPT-5。我們沒有，而且在一段時間內也不會做這件事。」
ADVERTISEMENT