美光HBM3E 12-high加速AI模型運行！每堆疊高達 36GB，速度超過 9.2 GT/s

美光於週一正式宣布其 12-Hi HBM3E 記憶體堆疊。這些新產品具有 36 GB 的容量，目標是為 AI 和 HPC 工作負載提供領先的處理器，例如 Nvidia 的 H200 和 B100/B200 GPU。

美光的 12-Hi HBM3E 記憶體堆疊容量高達 36GB，比之前的 8-Hi 版本增加了 50%，後者只有 24 GB。這種增加的容量允許數據中心在單個處理器上運行更大的 AI 模型，例如 Llama 2，具有高達 700 億個參數。此功能消除了頻繁的 CPU 卸載需求，並減少了 GPU 之間通信的延遲，從而加快了數據處理速度。

在性能方面，美光的 12-Hi HBM3E 堆疊提供超過 1.2 TB/s 的記憶體頻寬，數據傳輸速率超過 9.2 Gb/s。據該公司稱，儘管記憶體容量比競爭對手高 50%，但美光的 HBM3E 功耗卻低於 8-Hi HBM3E 堆疊。

美光的 HBM3E 12-high 包括一個完全可程式化的記憶體內建自檢 (MBIST) 系統，以確保為客戶提供更快的上市時間和可靠性。該技術可以全速模擬系統級流量，從而允許對新系統進行徹底測試和更快的驗證。

美光的 HBM3E 記憶體設備與台積電的晶片堆疊矽晶圓基板（CoWoS）封裝技術兼容，該技術廣泛用於封裝 AI 處理器，例如 Nvidia 的 H100 和 H200。

台積電生態系統和聯盟管理部門負責人 Dan Kochpatcharin 表示：「台積電和美光長期以來一直保持著戰略合作夥伴關係。作為 OIP 生態系統的一部分，我們密切合作，使美光的 HBM3E 系統和 CoWoS 封裝設計能夠支持我們客戶的 AI 創新。」

美光正在向主要行業合作夥伴發貨量產型 12-Hi HBM3E 單元，用於在整個 AI 生態系統中進行資格測試。

美光已經在開發其下一代記憶體解決方案，包括 HBM4 和 HBM4E。這些即將推出的記憶體類型將繼續突破記憶體性能的極限，確保美光在滿足 AI 處理器（包括基於 Blackwell 和 Rubin 架構的 Nvidia GPU）對先進記憶體不斷增長的需求方面保持領先地位。

• 延伸閱讀：高頻寬記憶體HBM是什麼：為何生成式AI要靠它，記憶體三雄搶著要擴產？還有哪些應用？
• 延伸閱讀：三星推出 12-Hi 36GB HBM3E 記憶體堆棧，速度為 10 GT/s
• 延伸閱讀：美光宣佈開始量產HBM3E（高頻寬記憶體3E），將用於NVIDIA H200 AI晶片
• 資料來源：tomshardware