NVIDIA推出「最強AI晶片」H200，性能比H100提升60%至90%將成為下一代最賺錢產品

NVIDIA發表了新一代人工智慧晶片H200，這款晶片旨在針對各種AI模型進行訓練和部署。H200晶片是目前用於訓練最先進的大型語言模型H100晶片的升級版，配備了141GB的記憶體，特別擅長執行「推理」任務。在執行推理或生成問題答案時，H200的性能比H100提升了60%至90%。

根據NVIDIA官網的消息，基於NVIDIA的「Hopper」架構，H200是該公司首款採用HBM3e記憶體的晶片。這種記憶體速度更快，容量更大，使其更適用於大型語言模型。

NVIDIA表示，H200使用HBM3e記憶體能夠以每秒4.8TB的速度提供141GB的容量，相比於A100，其容量幾乎增加一倍，頻寬提高了2.4倍。

預計H200將於2024年第二季度上市，屆時將與AMD的MI300X GPU展開競爭。與H200相似，AMD的新晶片相比前代產品擁有更多記憶體，這對運行大型語言模型的推理計算有幫助。

NVIDIA還表示，H200將與H100相容，這意味著那些已經在使用H100進行訓練的AI公司無需更改他們的伺服器系統或軟體即可適應H200。

NVIDIA副總裁Ian Buck表示：「為了訓練生成式AI和高性能計算應用，必須使用高性能GPU。有了H200，行業領先的AI超級計算平台可以更快地解決一些世界上最重要的挑戰。」

NVIDIA的加速計算首席產品經理Dion Harris表示：「觀察市場上的動態，可以看到大型模型的尺寸正在迅速擴大。這是我們繼續引領最新、最偉大技術的又一例證。」

據美國金融機構Raymond James透露，H100晶片的成本僅為3320美元，但NVIDIA對其客戶的價格卻高達2.5萬至4萬美元。這使得H100的利潤率可能高達1000%，成為有史以來最賺錢的晶片之一。

在訓練大型語言模型時，通常需要數千個H100叢集協同工作，因此科技巨頭、初創公司和政府機構都在爭奪NVIDIA有限的晶片供應。

由於對其產品的需求看似無窮無盡，NVIDIA今年的銷售額大幅增長，股價上漲了230%，市值突破了1.2兆美元大關。截至週一收盤，該股收漲0.59%，報486.2美元。