DeepSeek帶動AI 模型「蒸餾」技術熱潮：OpenAI、微軟、Meta 如何應對？

包括 OpenAI、微軟和 Meta 在內的領先人工智慧公司，在全球競相開發更便宜、更易於消費者和企業採用的 AI 模型之際，正紛紛轉向一種名為「蒸餾」的技術。

中國的 DeepSeek 公司利用這項技術，基於競爭對手 Meta 和阿里巴巴發布的開源系統，構建了強大而高效的 AI 模型，此舉引起了廣泛關注。這個突破動搖了人們對矽谷 AI 領導地位的信心，導致華爾街投資者從美國大型科技股中抹去了數十億美元的市值。

「蒸餾」技術：AI 模型輕量化的關鍵

「蒸餾」技術的核心概念是利用一個大型語言模型 (LLM)，也就是所謂的「教師」模型，來指導一個較小的「學生」模型。教師模型負責生成句子中下一個可能的詞，並將其知識和預測快速轉移到學生模型中。透過這種方式，學生模型能夠在保持一定性能的同時，大幅降低模型的大小和計算成本。

雖然「蒸餾」技術已存在多年，但近年來的進展使其在業界備受關注。專家認為，這種技術將越來越有利於新創公司，幫助它們以更經濟高效的方式構建基於 AI 的應用程式。

OpenAI 平台產品負責人 Olivier Godement 表示：「蒸餾非常神奇。它本質上是採用一個非常大的智慧前沿模型，並使用該模型來教導一個較小的模型……在特定任務中非常出色，而且執行起來超級便宜和超級快速。」

「蒸餾」技術的優勢與挑戰

「蒸餾」技術的主要優勢在於降低了 AI 模型的開發和運行成本。像 OpenAI 的 GPT-4、Google 的 Gemini 和 Meta 的 Llama 等大型語言模型需要大量的數據和計算能力來開發和維護，成本可能高達數億美元。而透過「蒸餾」技術，開發人員和企業可以以一小部分的價格訪問這些模型的功能，並在筆記型電腦和智慧型手機等設備上快速運行 AI 模型。

然而，「蒸餾」技術也存在一些挑戰。微軟研究院的 Ahmed Awadallah 指出：「如果你使模型更小，你不可避免地會降低它們的能力。」他表示，一個蒸餾模型可以被設計成非常擅長總結電子郵件，但可能不擅長其他任務。

開發者可以使用 OpenAI 的平台進行蒸餾，從 ChatGPT 等產品背後的大型語言模型中學習。 OpenAI 最大的支持者微軟，在向該公司投資近 140 億美元後，透過商業合作夥伴關係使用 GPT-4 來蒸餾其小型語言模型 Phi 系列。

IBM 研究院的 AI 模型副總裁 David Cox 表示，大多數企業不需要大型模型來運行其產品，而蒸餾模型的功能已經足夠強大，可以滿足客戶服務聊天機器人或在手機等小型設備上運行等用途。

他補充說：「任何時候你可以 [降低成本] 並且它給你了你想要的正確性能，你都幾乎沒有理由不這樣做。」

這對許多領先 AI 公司的商業模式提出了挑戰。即使開發者使用來自 OpenAI 等公司的蒸餾模型，它們的運行成本也遠低於大型模型，創建成本也更低，因此產生的收入也更少。像 OpenAI 這樣的模型製造商通常會降低蒸餾模型的使用費用，因為它們需要的計算負載更少。

然而，OpenAI 的 Godement 認為，大型語言模型仍然是「高智慧和高風險任務」所必需的，在這些任務中，「企業願意為高水準的準確性和可靠性支付更多費用。」他補充說，大型模型也將被需要來發現新的功能，然後可以將這些功能蒸餾到較小的模型中。

儘管如此，該公司仍旨在防止其大型模型被蒸餾來訓練競爭對手。 OpenAI 有團隊監控使用情況，並且可以取消它懷疑正在生成大量數據以導出和訓練競爭對手的用戶的訪問權限，就像它對一些它認為與 DeepSeek 有關聯的帳戶所做的那樣。然而，許多此類行動都是在事後發生的。畢竟在事前很難預防別人利用自家的大模型去進行「蒸餾」訓練。

Contextual AI 是一家為企業構建信息檢索工具的新創公司。Contextual AI 首席執行長 Douwe Kiela 表示：「OpenAI 長期以來一直試圖防止蒸餾技術，但完全避免它非常困難。」

同時，蒸餾技術也是開源模型倡導者的勝利，在開源模型中，技術可以免費提供給開發人員在此基礎上進行構建。 DeepSeek 也已將其最近的模型開源給開發者。

像是 Meta 的首席 AI 科學家 Yann LeCun 表示：「我們將使用 [蒸餾技術] 並立即將其應用於我們的產品中。這就是開源的全部理念。只要這些過程是開放的，你就可以從每個人和他人的進步中獲益。」

蒸餾技術也意味著，模型製造商可以花費數十億美元來提升 AI 系統的功能，但仍然面臨競爭對手經常快速趕上的局面，正如 DeepSeek 最近發布的模型所證明的那樣。這就引發了關於構建大型語言模型的先行者優勢的問題，因為它們的功能可以在幾個月內被複製。

IBM 的 Cox 表示：「在一個事物發展如此迅速的世界裡……你實際上可能會花費大量資金，以艱難的方式去做，然後該領域的其他人就會緊隨其後。因此，這是一個有趣且棘手的商業格局。」