英特爾透過 Gaudi 3、AI 開放系統策略與贏得新客戶推動企業 AI

在英特爾 Vision 2024 客戶暨合作夥伴大會上，英特爾推出了 Intel Gaudi 3 加速器，為企業生成式 AI 帶來效能、開放性和選擇，並揭露新的開放式可擴充系統、下一代產品和策略合作，以加速生成式 AI 的採用。去年僅有 10% 的企業成功將生成式 AI 專案投入生產，英特爾的最新產品將解決企業在擴展 AI 計畫時所面臨的挑戰。

英特爾執行長 Pat Gelsinger 表示：「創新正在以前所未有的速度發展，且都需要晶片的助力，每家公司亦正迅速地轉型為 AI 公司。英特爾在企業的各層面實現『AI 無所不在』，從 PC、資料中心到邊緣應用。我們最新的 Gaudi、Xeon 和 Core Ultra 平台提供一套全面且彈性的解決方案，以滿足客戶與合作夥伴不斷改變的需求，並充分利用未來的龐大機會將其盈利化。」

企業正在尋求將生成式 AI 從小規模試驗擴展到生產。透過基於高效能、能源效率、成本效益的處理器如 Intel Gaudi 3 AI 加速器，打造可用的解決方案，不僅可以解決複雜性、碎片化等問題，還符合資料安全性和法規要求。

推出用於 AI 訓練和推理的 Gaudi 3

Intel Gaudi 3 AI 加速器將透過乙太網路通用標準，連接數萬個加速器，為 AI 系統提供支援。與前一代產品相比，Intel Gaudi 3 將 BF16 的 AI 運算能力提高 4 倍，並將記憶體頻寬提高 1.5 倍。Intel Gaudi 3 AI 加速器將為尋求大規模布署生成式 AI 的全球企業，帶來 AI 訓練和推理方面的重大躍進。

在具有 70 億和 130 億參數的 Llama2 模型及 1750 億參數的 GPT-3 模型上，預計 Intel Gaudi 3 的平均訓練時間將比 Nvidia H100 縮短 50%。此外，在 Llama 70 億、700 億參數以及 Falcon 1800 億參數模型中，Intel Gaudi 3 加速器的推理處理量，預計將比 H100 平均高出 50%，推理效能平均高出 40%。

Intel Gaudi 3 提供開放、基於社群的軟體和符合業界標準的乙太網路，讓企業能從單一節點彈性延伸到數千個節點的叢集、超級叢集和巨型叢集，支援最大規模的推理、微調和訓練。

Intel Gaudi 3 將於 2024 年第二季開始提供給 OEM 廠商，包括戴爾科技、慧與科技、聯想和美超微等。

英特爾 AI 解決方案為客戶創造價值

英特爾闡述針對開放、可擴充 AI 系統的策略，包括硬體、軟體、框架和工具。英特爾的方法為 AI 參與者建立廣大且開放的生態系，以提供符合企業特定生成式 AI 需求的解決方案，包括設備製造商、資料庫提供者、系統整合商、軟體和服務提供者等，並且讓企業得以運用熟悉並信任的生態系合作夥伴與解決方案。

在廣大的動能下，英特爾與各產業的企業客戶和合作夥伴共同為全新、創新的生成式 AI 應用布署 Intel Gaudi 加速器解決方案：

NAVER：開發強大的大型語言模型（LLM），在全球布署從雲端到裝置上的先進 AI 服務。NAVER 已確認 Intel Gaudi 在執行大型 Transformer 模型運算作業方面的基礎能力，並且具有出色的每瓦效能。
Bosch：探索更多智慧製造的機會，包括基礎模型、產生製造異常的合成資料集，為自動光學檢查等應用提供強大、均勻分佈的訓練集。
IBM：將第 5 代 Intel Xeon 處理器用於其 watsonx.data 資料儲存，並與英特爾密切合作，驗證適用於 Intel Gaudi 加速器的 watsonx 平台。
Ola/Krutrim：預訓練和微調第一個具有 10 種語言生成能力的印度基礎模型，提供相較於市場解決方案，業界領先的性價比。Krutrim 目前正在 Intel Gaudi 叢集上，預先訓練一個更大的基礎模型。
Advent International 投資的公司 NielsenIQ：透過在全球最大的消費者購買行為資料庫訓練特定領域的 LLM，增強生成式 AI 能力並強化客戶服務產品，同時遵守嚴格的隱私標準。
Seekr：值得信賴的AI領域領導者，在 Intel Tiber 開發者雲端中，運用 Intel Gaudi 2、Intel 資料中心 GPU Max Series 和 Intel Xeon 處理器運行生產工作負載，以支援 LLM 開發和生產布署。
IFF：全球領先的食品、飲料、香味和生物科學公司，將利用生成式 AI 和數位分身技術，建立整合的數位生物學工作流程，以實現先進的酵素設計和發酵過程最佳化。
CtrlS Group：與其合作為印度客戶打造 AI 超級電腦，並透過額外的 Gaudi 叢集，擴展印度的 CtrlS 雲端服務。
Bharti Airtel：透過英特爾的先進技術，Airtel 計畫運用豐富的電信數據，提升 AI 能力與客戶體驗。這些布署符合 Airtel 致力持續技術創新、並在快速發展的數據領域中推動新收入來源的承諾。
Landing AI：經過微調的特定領域大型視覺模型，用於細胞分割和癌症檢測。
Roboflow：為端對端電腦視覺平台，運行 YOLOv5、YOLOv8、CLIP、SAM 和 ViT 模型的生產工作負載。
Infosys：全球領先的下世代數據服務與諮詢公司，宣布展開策略合作，運用英特爾技術，包含第 4 代和第 5 代 Intel Xeon 處理器、Intel Gaudi 2 AI 加速器、AI PC，為 Infosys Topaz 提供一套 AI 服務、解決方案和平台，利用生成式 AI 加速企業價值。

英特爾也宣布與 Google Cloud、Thales 和 Cohesity 合作，在其雲端執行案例中利用英特爾的機密運算功能，包括Intel Trust Domain Extensions（Intel TDX）、Intel Software Guard Extensions（Intel SGX）和英特爾的認證服務。客戶可以在受信任的執行環境（TEE）中運行AI模型和演算法，並利用英特爾的信任服務，獨立驗證 TEE 的可信任度。

生態系齊心協力開發企業 AI 開放平台

英特爾攜手 Anyscale、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、SAS、VMware、Yellowbrick 和 Zilliz 等合作夥伴，宣布為企業 AI 創建開放平台。這項業界合作計畫旨在開發開放、多供應商的生成式 AI 系統，透過檢索增強生成（RAG）實現一流的布署便利性、最佳效能和價值。RAG 使企業在標準雲端基礎上運行大量現有的專屬資料來源，並透過開放的 LLM 功能增強，進而加速企業中的生成式AI應用。

在最初階段，英特爾將在以安全的 Xeon 和 Gaudi 為基礎的解決方案上，釋出生成式 AI 流程（pipeline）的參考建置，發布技術概念框架，並繼續在 IntelTiber 開發者雲端中增加基礎設施容量，以供生態系統開發、驗證 RAG 以及未來流程。英特爾鼓勵生態系統擴大參與此開放式計畫，以促進企業採用解決方案並加速業務成效。

英特爾延伸AI藍圖和開放生態系方法

除了 Intel Gaudi 3 加速器之外，英特爾也針對企業 AI 領域的下一代產品和服務發布最新消息。

全新 Intel Xeon 6 處理器：Intel Xeon 處理器提供高效能解決方案以運作目前的生成式 AI 解決方案，包括使用專有資料產生特定業務結果的 RAG。英特爾為資料中心、雲端和邊緣的下一代處理器推出新產品 Intel Xeon 6。採用新型效率核心（E-core）的 Intel Xeon 6 處理器可提供卓越效率，將於本季推出，而 Intel Xeon 6 效能核心（P-core）將提供更高的 AI 效能，並於 E-core 處理器後不久推出。

具有 E-cores 的 Intel Xeon 6 處理器（先前代號 Sierra Forest）：
- 與第 2 代 Intel Xeon 處理器相比，每瓦效能提高 2.4 倍，機架密度提高 2.7 倍。
- 客戶可用接近 3 比 1 的比例將舊系統更換成新系統，大幅降低能源消耗，有助於實現永續發展目標。
具有 P-cores 的 Intel Xeon 6 處理器（先前代號 Granite Rapids）：
- 納入 MXFP4 資料格式的軟體支援，與使用 FP16 的第 4 代 Xeon 處理器相比，可將下一個標記延遲最多降低 6.5 倍，並且能夠運行 700 億參數的 Llama-2 模型。

客戶端、邊緣和連接：

英特爾宣布來自客戶端的最新動能，以及邊緣和連結方面的藍圖更新，包括：

Intel Core Ultra 處理器正在為生產力、安全性和內容創作提供新功能，為企業 PC 換機潮提供巨大誘因。英特爾預計，AI PC 在 2024 年的出貨量將達 4,000 萬台，並擁有超過 230 種、從超輕薄 PC 到手持遊戲裝置的設計。
下一代 Intel Core Ultra 用戶端處理器系列（代號 Lunar Lake）將於 2024 年推出，下一代 AI PC 平台操作的每秒兆次運算（TOPS）將超過 100、神經處理單元（NPU）TOPS 將超過 45。
英特爾宣布 Intel Core Ultra、Intel Core、Intel Atom 處理器和Intel Arc 繪圖處理單元（GPU）系列產品，都將推出新型邊緣晶片，目標重點市場含零售、工業製造和醫療保健。所有英特爾邊緣 AI 產品組合新品將於本季上市，並將於今年獲得 Intel Tiber Edge 平台的支援。
英特爾與超級乙太網聯盟（UEC）合作，引領 AI 結構的開放式乙太網絡，並推出一系列針對 AI 最佳化的乙太網路解決方案。這些創新旨在改造大規模 AI 結構的縱向、橫向擴展，能夠訓練和推理日益龐大的模型，每一代的規模都會擴大一個數量級。該產品線包括英特爾 AI NIC、整合納入 XPU 的 AI 連接小晶片、基於 Gaudi 的系統，以及一系列適用英特爾晶圓代工的軟硬體 AI 互連參考設計。