Intel說明Xeon 6處理器與Gaudi 3加速器優勢，雙路處理器給你滿滿192條PCIe Gen 5通道

Intel在資料中心暨AI解決方案媒體說明會中提到多項Xeon 6處理器與Gaudi 3加速器的特色，並帶來實際應用範例。

開放軟、硬體環境強化競爭優勢

Intel亞太暨日本區總經理莊秉翰在說明會開頭便提到執行長Pat Gelsinger退休一事，回顧他致力於讓Intel重新返回技術製造的領導地位（可參考民視新聞片段）。

延伸閱讀：
Intel CEO嗆聲摩爾定律活得很好，18A節點製程Panther Lake處理器下週試產
Intel Vision 24：Intel與合作夥伴共建AI開放平台，搭配RAG技術強化企業私有LLM應用

接著莊秉翰說明，Intel在AI應用領域提供系統先決的完整堆疊方案，透過搭載P-core的Xeon 6處理器和Gaudi 3 AI加速器，以及Intel強大的x86架構與開放生態系，提供企業建構最佳化TCO（總體擁有成本）與最佳電力效率的AI系統。

莊秉翰也提到，搭載P-core的Xeon 6處理器與競爭對手AMD EPYC相比，AI推論效能最高相差5.5倍，高效能運算（HPC）則最高相差2.1倍。至於與NVIDIA H100相比，Gaudi 3 AI加速器的LLaMA 2 70B大語言模型推論吞吐量高出競爭對手19%，而成本效益則約為2倍。

▲ Intel亞太暨日本區總經理莊秉翰於說明會指出Intel在AI應用領域的優勢。

▲ 系統先決的完整堆疊方案包含可擴充性、開放生態系、資安、總體擁有成本等優勢。

▲ Intel提供搭載E-Core或是P-Core的Xeon 6處理器以及，Gaudi 3 AI加速器等多種運算單元滿足不同AI應用需求。

▲ 搭載P-core的Xeon 6處理器在AI推論、高效能運算的效能最高可達AMD EPYC的5.5倍、2.1倍。

▲ Gaudi 3 AI加速器具有加速卡、通用基板、PCIe擴充卡等型式可供選擇。

▲ Gaudi 3 AI加速器的LLaMA 2 70B大語言模型推論吞吐量高出NVIDIA H100 19%，而成本效益則約為2倍。

Xeon 6處理器提供更多PCIe通道

Intel業務暨行銷事業群商用業務總監鄭智成也接著說明Xeon 6處理器的特點，在記憶體部分支援12通道、DDR5-6400，較前代8通道、DDR5-5600的整體頻寬高出70%，此外還支援傳輸速度達8800 MT/s的MRDIMM（Multiplexed Rank DIMM），提升資料吞吐量。

Xeon 6處理器也支援CXL 2.0與Type 1、Type 2、Type 3等不同應用型態。舉例來說，透Flat2LM技術能將容量為768 GB的DDR5-6400記憶體組成的DRAM區域，與由768 GB DDR5-6400記憶體搭配768 GB DDR4-3200記憶體組成的Flat2LM區域合併為總量達2304 GB的記憶體池，雖然在執行線上分析處理（Online Analytical Processing，OLAP）工作負載時會損失3%的效能，但是可以大幅縮減1/3記憶體建置成本，整體效益相當可觀。

鄭智成在會中強調，Xeon 6處理器的多路併聯透過傳輸速度達24 GT/s的6組UPI 2.0通道交換資料，例如在使用2組具有96條PCIe Gen 5通道的Xeon 6處理器時，系統整體可以使用192條PCIe Gen 5通道。相較之下競爭對手的多路處理器仰賴PCIe交換資料，因此使用2組具有128條PCIe Gen 5通道的處理器時，處理器之間使用64條通道相互溝通，造成系統整體可用PCIe Gen 5通道僅有128條，進而降低安裝擴充卡的能力。

鄭智成也以實際應用情境為例，提到國內某金融企業先前宣佈斥資新台幣3,000萬元建置AI運算伺服器，以滿足AI模型訓練的需求，但是其成本之高，可能不是中小企業可以負擔。

不過若是以現有的開源大型語言模型（LLM）搭配檢索增強生成（Retrieval Augmented Generation，以下簡稱RAG）技術，將企業私有的資訊送入系統進行向量化處理，就能在不重新訓練或是微調模型的情況下，讓模型能夠回答針對企業相關的問題，並透過搭載Xeon 6處理器之伺服器完成AI推論運算，如此一來建置成本可以縮減至新台幣100萬元左右，相當具有優勢。

▲ Intel業務暨行銷事業群商用業務總監鄭智成在會中分析Xeon 6處理器的優勢。

▲ Xeon 6處理器特色一覽，其中搭載E-Core的型號最高具有288組核心，而搭載P-Core的型號最高具有128組核心。

▲ 搭載P-Core的Xeon 6處理器效能較前代產品提高最多至3.08倍（淺藍色），而電力效率介於1.43~2.16倍之間（深藍色）。

▲ 在不同應用情境下，Xeon 6處理器的電力效率可達較前代產品的1.9倍。

▲ Xeon 6 6900P處理器特色簡表，其中在AMX進階矩陣延伸指令集除了延續支援FP8、BF16等資料格式外，也加入支援FP16。

▲ MRDIMM（Multiplexed Rank DIMM）透過類似「雙通道」的方式提升資料吞吐量，使用MRDIMM-8800在多項運算表現的效能最高可較DDR5-6400提升32%。

▲ CXL 2.0有助於建立更具成本效益的記憶體池，Xeon 6處理器支援Type 1、Type 2、Type 3等不同應用型態。

▲ 舉例來說CXL 2.0能在縮減1/3記憶體建置成本的前提下，維持97%的線上分析處理效能。

▲ Xeon 6處理器較前代產品提供2倍核心數，單核心平均效能表現也高出20%。

▲ 在以處理器進行AI推論運算的效能表現圖表中，灰色基準線為AMD EPYC 9654（96核心）之成績，深藍色為前代Xeon 8592+（64核心）。而淺藍色的Xeon 6970P（96核心）表現最高能達到對手的5.5倍。

▲ Intel也推出由32組Gaudi 3 AI加速器節點組成的運算叢集方案（共256組Gaudi 3），以滿足更大規模的AI運算需求。

▲ 鄭智成在現場展示透過RAG在不重新訓練大型語言模型的前提下，透過輸入文件的方式「教導」模型如Xeon 6特色資訊。

▲ Intel也在現場展示透過Xeon 6處理器進行AI推論運算，圖為執行X光分析、醫療大型語言模型，以及多模態文字搜尋圖像等範例。

▲ 此外還有Llava-llama 3影像助理、LDM3D文字生成3D圖像、RAG等範例。

莊秉翰在會中表示：「隨著AI運算需求日益成長，帶動資料中心和基礎設施大規模轉型，可擴充性、成本、能源效率和安全性成為企業當前關鍵考量因素。因應市場需求攀升，英特爾推出搭載P-core的Xeon 6和Gaudi 3 AI加速器，透過英特爾強大的x86架構與開放生態系，使其能夠支援企業建構具備最佳化總體擁有成本（TCO）及每瓦最佳效能的AI系統，以更佳的效率和成本效益滿足客戶複雜的工作負載。」