Red Hat 宣布收購 Neural Magic，致力於跨混合雲環境中實現高效能 AI 工作負載

開放原始碼軟體解決方案供應商 Red Hat 近日宣布，已簽署收購 Neural Magic 的最終協議。Neural Magic 為提供能加速生成式 AI 推論工作負載的軟體與演算法業者，其在推論效能工程的專業技術及對開源的承諾與 Red Hat 的願景一致，致力於在跨混合雲環境中的任何一處皆能實現高效能 AI 工作負載，並滿足客戶特殊的應用情境和資料。

儘管生成式 AI 的前景在當今科技領域中已佔據主導地位，然而建置具成本效益且可靠的 LLM 服務，企業需要大量的運算資源、能源，以及專業的營運技能，Red Hat 就是希望能夠藉由 vLLM 的開源創新賦能更多企業更易於使用生成式 AI。vLLM 是由社群驅動的開源專案，專注於開放模型服務，支援所有主要模型系列、先進的推論加速研究及多種硬體後端。結合 Neural Magic 在 vLLM 專案中的領導地位與 Red Hat 的混合雲 AI 技術產品組合，將為企業提供一條開放的途徑，打造能滿足獨特需求的 AI 策略，無論資料位於何處皆可實現。

Red Hat 攜手 Neural Magic 共同驅動混合雲就緒的生成式 AI 大未來

Neural Magic 於 2018 年自麻省理工學院獨立，旨在開發高效能的深度學習推論軟體。Neural Magic 的技術和效能工程專業加上 Red Hat 的 AI 技術產品組合，將驅動 Red Hat 加速實現 AI 未來願景。Red Hat 為突破大規模企業級 AI 的挑戰，運用開源創新進一步推動 AI 變革的力量，包括：

開源授權模型：涵蓋從 1B 到 405B 參數規模，可在跨混合雲環境中靈活部署，無論是位於企業資料中心、多雲架構抑或是邊緣。
微調能力：企業得以在更安全的覆蓋範圍，更輕鬆地依據其私有資料和應用情境自訂 LLM。
推論效能工程專業：可實現更高的營運及基礎架構效率。
豐富的合作夥伴與開源生態系及支援架構：客戶擁有更廣泛的選擇，從 LLM、工具到認證伺服器硬體和基層晶片架構。

借助 vLLM 領導地位強化 Red Hat AI

Neural Magic 憑藉在 vLLM 領域的專業知識，致力於建置企業級推論堆疊，以協助客戶於跨混合雲環境中優化、部署並擴展 LLM 工作負載，且能充分掌控基礎架構選擇、安全原則和模型生命周期。Neural Magic 亦建置 LLM Compressor 進行模型優化研究，其為以先進的稀疏性和量化演算法優化 LLM 的整合式涵式庫，此外也維護經預先優化、可運用 vLLM 即時部署的存放庫。

Red Hat AI 旨在透過強大的技術協助客戶降低 AI 成本及技能門檻，其中包含：

Red Hat Enterprise Linux AI：為基礎模型平台，可賦能 IBM Granite 開源 LLM 系列於 Linux 伺服器部署上更無縫地開發、測試及運行企業應用程式。
Red Hat OpenShift AI：為 AI 平台，可在橫跨地端、公有雲及邊緣的分散式 Kubernetes 環境中，提供快速開發、訓練、服務並監控機器學習模型的工具。
InstructLab：由 Red Hat 和 IBM 共同推出的開源 AI 社群專案，任何人都可藉由 InstructLab 的微調技術協作改善開源授權的 Granite LLM，一同推動生成式 AI 的未來發展。

Red Hat 將藉由 Neural Magic 在 vLLM 技術的領導地位，強化支援 LLM 部署的 AI 能力，賦能跨混合雲環境中隨時隨處部署，並提供現成、高度優化且開放的推論技術堆疊。

此交易需經監管機構審查和其他慣例成交條件而定。