AMD提交MLPerf 4.1測試結果，Instinct MI300X追平業界領先者

AMD在最新的MLPerf 4.1測試結果展示Instinct MI300X加速器執行多項AI運算負載的效能表現，並在Llama 2 70B推論中達到與NVIDIA H100不分軒輊的成績。

Instinct MI300X追平對手

AMD於由學術界、研究實驗室和業界人士共同組成組織的MLCommons網站提交了使用Instinct MI300X GPU（繪圖處理器，可加速AI運算）進行AI推論運算的測試成績，揭露夠多實際效能數據。

延伸閱讀：NVIDIA公布MLPerf 4.1推論測試結果，首見Blackwell與FP4成績

AMD在MLPerf 4.1推論測試提交3項Llama 2 70B大型語言模型成績，以Instinct MI300X搭配ROCm軟體堆疊帶來出色的效能表現，成績與NVIDIA H100等其他業界領先者的測試結果不分軒輊。

▲ AMD在MLPerf 4.1推論測試提交Instinct MI300X進行Llama 2 70B大型語言模型推論運算的成績。

▲ 筆者於CES 2024拉斯維加斯消費性電子展所拍攝之Instinct MI300X伺服器。

▲ 包含散熱鰭片總成之Instinct MI300X加速器。

▲ Instinct MI300X之晶片本體。

▲ Instinct MI300X在MLPerf 4.1之Llama 2 70B大型語言模型推論運算成績與NVIDIA H100接近。

▲ Instinct MI300X具有出色的水平擴充能力（Scale Out），串接8組加速器能帶來接近8倍的線性效能成長。

▲ 8組Instinct MI300X能帶來容量總合高達1,536 GB的記憶體，而8組H100 SXM之記憶體容量總合僅有640 GB。

AMD表示Instinct MI300X搭載容量高達192 GB的記憶體，讓單一加速器及可執行Llama 2 70B模型，而大多數競爭對手的產品並未搭載如此容量的記憶體，導致需要將該模型拆分至多個GPU或加速器執行。此外AMD也具有市場上最適合用於AI運算的CPU（處理器）與GPU（繪圖處理器，可加速AI運算）、加速器搭配組合，提供用戶更具競爭力的選擇。