2024.09.06 10:30

AMD跑AI模型也Yes!MI300X對比NVIDIA H100/200毫不遜色

ADVERTISEMENT

據媒體報導,在AI算力領域,NVIDIA長期佔據主導地位,但AMD的最新GPU產品MI300X在性能上終於展現出了與NVIDIA H100/200相媲美的實力。

根據The Information發佈的評測報告,AMD的Instinct MI300X GPU在AI推理基準測試中的表現與NVIDIA的H100 GPU相當,顯示出AMD在高性能AI計算領域的進步。

這份評測報告由MLCommons提供資料,在測試中,AMD的MI300X GPU以及NVIDIA的H100和H200 GPU均得到了評估。

ADVERTISEMENT

結果顯示,在AI推理任務中,MI300X GPU的性能與H100 GPU不相上下,加上對GPU成本及系統總成本的估計,說MI300X GPU能媲美H100和H200 GPU也不為過。

值得注意的是,這些測試僅使用了來自Meta的Llama 2 70B,儘管測試存在侷限性,但這一結果仍然表明,AMD的MI300X GPU在處理大型AI模型方面具有強大的潛力。

 

ADVERTISEMENT

MLPerf 4.1 generative AI benchmark on Llama 2 70B model (tokens/second)
Row 0 - Cell 0 # of GPUs Offline Server per GPU Offline per GPU Server
AMD MI300X 192GB HBM3 1 3,062 2,520 - -
AMD MI300X 192GB HBM3 8 23,514 21,028 2,939 2,629
Nvidia H100 80GB HBM3 4 10,699 9,522 2,675 2,381
Nvidia H100 80GB HBM3 8 24,323 20,605 3,040 2,576
Nvidia H200 141GB HBM3E 8 32,124 29,739 4,016 3,717
Nvidia B200 180GB HBM3E 1 11,264 10,755 - -

 

業內人士也對AMD在AI領域的發展前景持樂觀態度,Transformer作者及Cohere公司創始人之一艾丹·戈麥斯表示,他相信AMD和Tranium等平台將很快進入主流市場。

 

ADVERTISEMENT

 

 

ADVERTISEMENT