ADVERTISEMENT
開放原始碼軟體解決方案供應商 Red Hat 近日宣布，已簽署收購 Neural Magic 的最終協議。Neural Magic 為提供能加速生成式 AI 推論工作負載的軟體與演算法業者，其在推論效能工程的專業技術及對開源的承諾與 Red Hat 的願景一致，致力於在跨混合雲環境中的任何一處皆能實現高效能 AI 工作負載，並滿足客戶特殊的應用情境和資料。
儘管生成式 AI 的前景在當今科技領域中已佔據主導地位，然而建置具成本效益且可靠的 LLM 服務，企業需要大量的運算資源、能源，以及專業的營運技能，Red Hat 就是希望能夠藉由 vLLM 的開源創新賦能更多企業更易於使用生成式 AI。vLLM 是由社群驅動的開源專案，專注於開放模型服務，支援所有主要模型系列、先進的推論加速研究及多種硬體後端。結合 Neural Magic 在 vLLM 專案中的領導地位與 Red Hat 的混合雲 AI 技術產品組合，將為企業提供一條開放的途徑，打造能滿足獨特需求的 AI 策略，無論資料位於何處皆可實現。
Red Hat 攜手 Neural Magic 共同驅動混合雲就緒的生成式 AI 大未來
Neural Magic 於 2018 年自麻省理工學院獨立，旨在開發高效能的深度學習推論軟體。Neural Magic 的技術和效能工程專業加上 Red Hat 的 AI 技術產品組合，將驅動 Red Hat 加速實現 AI 未來願景。Red Hat 為突破大規模企業級 AI 的挑戰，運用開源創新進一步推動 AI 變革的力量，包括：
ADVERTISEMENT
- 開源授權模型：涵蓋從 1B 到 405B 參數規模，可在跨混合雲環境中靈活部署，無論是位於企業資料中心、多雲架構抑或是邊緣。
- 微調能力：企業得以在更安全的覆蓋範圍，更輕鬆地依據其私有資料和應用情境自訂 LLM。
- 推論效能工程專業：可實現更高的營運及基礎架構效率。
- 豐富的合作夥伴與開源生態系及支援架構：客戶擁有更廣泛的選擇，從 LLM、工具到認證伺服器硬體和基層晶片架構。
借助 vLLM 領導地位強化 Red Hat AI
Neural Magic 憑藉在 vLLM 領域的專業知識，致力於建置企業級推論堆疊，以協助客戶於跨混合雲環境中優化、部署並擴展 LLM 工作負載，且能充分掌控基礎架構選擇、安全原則和模型生命周期。Neural Magic 亦建置 LLM Compressor 進行模型優化研究，其為以先進的稀疏性和量化演算法優化 LLM 的整合式涵式庫，此外也維護經預先優化、可運用 vLLM 即時部署的存放庫。
Red Hat AI 旨在透過強大的技術協助客戶降低 AI 成本及技能門檻，其中包含：
- Red Hat Enterprise Linux AI：為基礎模型平台，可賦能 IBM Granite 開源 LLM 系列於 Linux 伺服器部署上更無縫地開發、測試及運行企業應用程式。
- Red Hat OpenShift AI：為 AI 平台，可在橫跨地端、公有雲及邊緣的分散式 Kubernetes 環境中，提供快速開發、訓練、服務並監控機器學習模型的工具。
- InstructLab：由 Red Hat 和 IBM 共同推出的開源 AI 社群專案，任何人都可藉由 InstructLab 的微調技術協作改善開源授權的 Granite LLM，一同推動生成式 AI 的未來發展。
Red Hat 將藉由 Neural Magic 在 vLLM 技術的領導地位，強化支援 LLM 部署的 AI 能力，賦能跨混合雲環境中隨時隨處部署，並提供現成、高度優化且開放的推論技術堆疊。
ADVERTISEMENT
此交易需經監管機構審查和其他慣例成交條件而定。
ADVERTISEMENT