ADVERTISEMENT
從 ChatGPT 問世以來，大模型和 AI 技術就引起全世界的廣泛關注。一方面，人們驚歎於大模型的湧現能力（Emergent Ability），另一方面又對人工智慧的可控性及未來發展產生擔憂。今年已有包括圖靈獎得主 Geoffrey Hinton、Yoshua Bengio 在內的 AI 領域專家等眾多業內人士多次聯合警告 AI 大模型將引發一系列風險，甚至有人呼籲叫停 GPT-4 後續 AI 大模型的研發。
OpenAI 作為 ChatGPT、GPT-4 等大模型背後的公司，無疑被推上了風口浪尖。OpenAI 的 CEO Sam Altman 近期正在全球巡迴演講，旨在消除人們對人工智慧的「恐懼」，並聽取 OpenAI 產品的開發人員和使用者的意見。
據《Fortune》報導，5 月 Sam Altman 與一些開發人員和初創公司創始人閉門會面，並講述了 OpenAI 的規畫藍圖和面臨的挑戰。這場閉門會的參與者之一 ——Humanloop 的聯合創始人兼 CEO Raza Habib 最近在一篇部落格中提及了 OpenAI 的產品規劃和發展瓶頸。
原部落格現已刪除，但有網友上傳了部落格擷圖，我們來看一下部落格的具體內容：
OpenAI 現在面臨的最大問題是受限於 GPU
目前 OpenAI 面臨非常嚴峻的 GPU 限制，這也延遲了他們一些短期計畫的實施。近來，客戶投訴最多的是關於 API 的可靠性和速度問題。Sam 承認了這個問題，並解釋說客戶抱怨的大部分問題是由於 GPU 短缺造成的。
在處理文本方面，更長的 32k 上下文還不能向更多人推出。現在 OpenAI 還沒有完全克服注意力機制的 O (n^2) 擴充問題，雖然 OpenAI 似乎很快就能實現 100k-1M token 上下文視窗（在今年內）文本處理，但更大的文本處理視窗需要進一步的研究突破。
不僅如此，目前，微調 API 也受到 GPU 供應的限制。OpenAI 尚未使用像 Adapters 或 LoRa 這樣的高效微調方法，因此微調運行和管理起來運算都非常密集。Sam 透漏更好的微調技術將在未來推出，他們甚至可能提供一個社群專門研究模型。
此外，專用容量提供也受到 GPU 供應的限制。OpenAI 還提供專用容量，為客戶提供一個私有的模型副本。要使用此服務，客戶必須願意預先承諾支出 10 萬美元。
OpenAI 的近期規畫藍圖
在交談中，Sam 分享了 OpenAI API 的近期規畫藍圖，主要分兩個階段：
2023 的路線：
- OpenAI 的首要任務是推出更便宜、更快的 GPT-4—— 整體來說，OpenAI 的目標是盡可能地降低智慧成本（the cost of intelligence），因此隨著時間的推移，API 的成本將會降低。
- 更長的上下文視窗 —— 在不久的將來，上下文視窗可能高達 100 萬個 token。
- 微調 API—— 微調 API 將擴充到最新的模型，但其確切形式將由開發人員決定。
- 狀態 API—— 現在呼叫聊天 API 時，你必須反復地透過相同的會話歷史，並一次又一次地為相同的 toke 進行支付。將來版本的 API 可以記住會話歷史記錄。
2024 年路線：
- 多模態 —— 這是作為 GPT-4 版本的一部分進行展示的，但在更多 GPU 上線之前不能擴充到所有人。
外掛程式沒有 PMF，也不會很快出現在 API 中
很多開發人員都對透過 API 存取 ChatGPT 外掛程式感興趣，但 Sam 說他認為這些外掛程式短期內不會發表。除了瀏覽之外，外掛程式的使用表明他們還沒有 PMF。Sam 指出，很多人希望自己的應用程式位於 ChatGPT 之內，但他們真正想要的是應用程式中的 ChatGPT。
除了與類 ChatGPT 競爭外，OpenAI 將避免與其客戶競爭
很多開發者表示，當 OpenAI 發表新產品時，他們對使用 OpenAI API 構建的應用程式感到緊張，因為 OpenAI 最終可能會發表與他們競爭的產品。Sam 表示 OpenAI 不會發表 ChatGPT 之外更多的產品。他說有很多偉大的平臺公司都有一個殺手級的應用程式，ChatGPT 將允許他們透過成為自己產品的客戶來使 API 更好。ChatGPT 的願景是成為一個超級智慧的工作助手，但 OpenAI 不會涉足許多其他 GPT 的用例。
管理是必要的，但開源也是必要的
儘管 Sam 主張對未來的模型進行管理，但他並不認為現有的模型存在危險，並認為對它們進行管理或禁止將是一個巨大的錯誤。他再次強調了開源的重要性，並表示 OpenAI 正在考慮開源 GPT-3。OpenAI 之所以遲遲未能開源的部分原是因為他們覺得沒多少人和公司有能力妥善管理如此大型的語言模型。
擴充定律仍然存在
最近許多文章都聲稱「巨型人工智慧模型的時代已經結束」。Sam 表示這並沒有準確地表達他的意思。
OpenAI 的內部資料顯示，擴充定律仍然成立，而且增大模型的規模將繼續提高性能。然而，模型的規模無法一直按照相同的比例增加，因為在短短幾年內，OpenAI 已經使模型規模增大了數百萬倍，繼續這樣做將不可持續。但這並不意味著 OpenAI 將停止努力使模型變得更大，而是意味著它們可能每年增加一倍或三倍的規模，而不是呈幾個數量級的增長。
擴充模型仍然有效，這一事實對 AGI 的發展具有重要意義。擴充規模的理念是，我們可能已經有構建 AGI 所需的大部分要素，而剩下的大部分工作將採用現有的方法，並將它們擴充到更大的模型和更大的資料集上。如果模型擴充時代已經結束，我們到達 AGI 的時間將會更久。擴充定律仍然適用的事實暗示著我們會用更短的時間實現 AGI。
資料來源：
請注意！留言要自負法律責任，相關案例層出不窮，請慎重發文！