Red Hat OpenShift AI 擴大混合雲中的預測性及生成式 AI 靈活性

世界領先開放原始碼軟體解決方案供應商 Red Hat 今日公布 Red Hat OpenShift AI 的最新進程。此建構於 Red Hat OpenShift 上的開放式混合人工智慧（AI）與機器學習（ML）平台，可協助企業於混合雲環境中創建並大規模交付支援 AI 的應用程式。

這些更新突顯出 Red Hat 對 AI 之願景，將 Red Hat 對客戶選擇的承諾帶入智慧工作負載領域，包含從基層硬體到建置於平台上的服務與工具，例如用於建立平台的 Jupyter 和 PyTorc。該平台賦能更快速的創新、更高的生產力以及透過更靈活、可擴展且適應性更強的開源平台將 AI 分層到日常業務營運中的能力，且無論是否使用雲端環境，該平台均可支援預測模型及生成模型。

客戶在將 AI 模型從實驗轉移到生產時面臨眾多挑戰，包含硬體成本增加、資料隱私權憂慮及缺乏對軟體即服務（SaaS）為基礎之模型共享資料上的信任。生成式 AI（Gen AI）迅速變化，許多企業正積極建立一個可在地端或雲端運行的可靠 AI 核心平台。

Red Hat 資深副總裁暨產品負責人 Ashesh Badani 表示：「企業導入 AI 不再是『如果』，而是『何時』的問題。企業需要一個更可靠、一致且靈活的 AI 平台來提高生產力、增加收入並推動市場差異化。Red Hat 針對大規模企業 AI 需求所提出的解決方案正是 Red Hat OpenShift AI，其賦能 IT 領導者可在任何地方跨混合雲部署智慧應用程式，同時依據須不斷擴展且微調的操作與模型，支援生產應用程式的實際情況與服務。」

根據產業分析機構 IDC，要成功運用 AI，企業需現代化眾多現有應用程式及資料環境，消除既有系統與儲存平台間的障礙，提升基礎架構的永續性，並謹慎選擇跨雲端、資料中心與邊緣地點部署不同工作負載的位置。對 Red Hat 來說，為支援企業在導入 AI 的過程中取得進展並適應其需求與資源，AI 平台必須具備靈活性。

Red Hat 的 AI 策略旨在實現跨混合雲的靈活性，提供運用客戶資料增強預先訓練或策劃基礎模型的能力，並允許自由選擇各種硬體和軟體加速器。藉由最新 AI/ML 創新存取及以 AI 為中心擴張的合作夥伴生態系所提供支援，Red Hat OpenShift AI 的新功能與增強功能得以實現。該平台的最新版本（Red Hat OpenShift AI 2.9）具備以下亮點：

邊緣模型服務利用單節點 OpenShift 將 AI 模型的部署擴展至遠端位置，其在資源有限、具有間歇性或氣隙（air-gapped）網路存取能力的環境中可提供推論功能。此技術預覽功能為企業提供從核心至雲端再到邊緣的可擴展且一致性操作體驗，同時包含開箱即用的可觀測性。

強化模型服務現已支援可使用多模型伺服器因應預測與生成式 AI 的能力，包括支援 KServe；Kserve 是一種 Kubernetes 自訂資源定義（custom resource definition，CRD），可調度所有類型的模型、vLLM 與文字生成推論伺服器（text generation inference server，TGIS）服務，LLM 與 Caikit-nlp-tgis 執行時的引擎，用於處理自然語言處理（natural language processing，NLP）模型及任務。

強化模型服務允許使用者在單一平台上針對多個應用情境，執行預測與生成式 AI，從而降低成本與簡化作業。開箱即用模型可為 LLM 提供服務，並簡化相關使用者的工作流程。

透過 Ray 分散工作負載，採用 CodeFlare 與 RayKube，藉由多個叢集節點實現更快速、更有效率的資料處理與模型訓練。

Ray 為用於加速 AI 工作負載的架構，而 KubeRay 則協助管理 Kubernetes 上的工作負載，CodeFlare 是 Red Hat OpenShift AI 分散式工作負載功能的核心，可提供使用者友善的架構，有助簡化任務調度與監控。中央佇列與管理功能可實現最佳節點利用率，並將 GPU 等資源分配給正確的使用者與工作負載。

透過專案工作空間與附加工作台映像檔改善模型開發，資料科學家可靈活運用 IDE 及工具組，包括目前作為技術預覽提供的 VS Code、Rstudio 與針對各種應用情境及模型類的強化型 CUDA。

模型監控視覺化，可監控績效與營運成效數據，並提升 AI 模型執行的可觀測性。

管理者可藉由新的加速器設定檔配置不同類型的硬體加速器，並用於模型開發及模型服務工作流程，這為特定工作負載提供合適加速器類型的簡單、自助式使用者存取。

Red Hat OpenShift AI 除了支援 IBM watsonx.ai 外，各產業的企業也導入 Red Hat OpenShift AI 以推動更多 AI 創新與成長，其中包括 AGESIC 以及 Ortec Finance。

▲ Red Hat 於開放原始碼技術高峰會議 Red Hat Summit 2024 揭露三大產品全新進程，賦能企業推動 AI 創新。圖為 Red Hat 總裁暨執行長 Matt Hicks。

雲端是混合的，人工智慧亦然

30 多年來，開源技術實現了快速創新，同時大幅降低 IT 成本並減少創新障礙。至 2000 年代初期提供開放的企業級 Linux 平台 Red Hat Enterprise Linux（RHEL），到以 Red Hat OpenShift 驅動容器與 Kubernetes 作為開放式混合雲及雲端原生運算的基礎，Red Hat 在此領域中幾乎持續位於領先地位。

Red Hat 持續推動跨開放式混合雲 AI/ML 策略，無論是在資料中心、多重公有雲抑或是邊緣，賦能 AI 工作負載可在資料所在地運行。Red Hat 對 AI 之願景不僅侷限於工作負載，更將模型訓練與調整引向同一條道路，以進一步解決資料主權、合規性及營運完整性的限制。無論在何處運行，Red Hat 平台跨環境提供一致性之於保持 AI 創新的流動至關重要。