B200 GPU單卡功耗可達1400W，黃仁勳：下代GPU伺服器必須水冷

NVIDIA CEO黃仁勳在近日的2024 SIEPR經濟峰會上透露，下一代DGX GPU伺服器將會採用水冷散熱，整個系統非常壯觀(magnificent)、非常迷人(beautiful)。

黃仁勳還提到，新一代DGX伺服器很快就會到來，暗示著Blacwell B100 GPU加速卡距離發表已經不遠了——官方只說2024年內，消息稱已提前到二季度。

戴爾先前的一次會議中確認，NVIDIA明年還會推出升級版B200 GPU，最高功耗可達1000W，甚至有說法稱會有恐怖的1400W！

過去兩年來，NVIDIA靠著Hopper、Ampere架構GPU滿足全球AI客戶的需求，但隨著Blackwell架構到來，2024年一切將改觀。市場傳聞台積電以3奈米製程代工Blackwell GPU，首批GPU有望於2024年第四季到貨。

根據先前NVIDIA在「2023年超級運算大會」(Supercomputing 2023、SC23)指出，次世代B100，在GPT-3 175B推論效能標竿方面遠遠擊敗A100、H100及H200。

NVIDIA目前的主力AI GPU H100和升級版H200最大功耗為700W，核心面積814平方mm，均只需風冷。

AMD MI300X則需要750W，但是面積也更大一些達到了1017平方mm。

現如今，伺服器和資料中心使用浸沒式液冷散熱已經稀鬆平常，但也有很多專家對這種發展途徑持反對態度。

Moor Insights & Strategy的創始人、CEO兼首席分析師Patrick Moorhead就明確提出，為了提高性能，並控制合理的功耗、發熱，我們已經窮盡了手段，但接下來該怎麼辦？上液氮嗎？是時候重新思考了。