三星推出 12-Hi 36GB HBM3E 記憶體堆棧，速度為 10 GT/s

三星在周一晚些時候宣布完成 12-Hi 36GB HBM3E 記憶體堆疊的開發，這個宣布是美光宣布大規模生產 8-Hi 24GB HBM3E 記憶體產品之後幾個小時。這些新的記憶體套件，代號為Shinebolt，與它們的前身代號為Icebolt相比，峰值頻寬和容量均提高了 50% 以上，目前是世界上最快的記憶體設備。 

正如名稱所暗示，三星的 Shinebolt 12-Hi 36GB HBM3E 堆疊在有 1024-bit 介面的邏輯晶片上封裝了 12 個 24Gb 記憶體。新的 36GB HBM3E 記憶體模組具有 10 GT/s 的數據傳輸速率，因此每個堆疊的峰值頻寬為 1.28 GB/s，是業界最高 的單個設備 (或模組) 記憶體頻寬。 

需要注意的是，支援 HBM 的處理器開發商往往會更加謹慎，因此他們會出於功耗和保證人工智慧 (AI) 和高性能運算 (HPC) 的最終穩定性等因素，以低於其最大值的速度使用三星的 HBM3E。

• 延伸閱讀：美光宣佈開始量產HBM3E（高頻寬記憶體3E），將用於NVIDIA H200 AI晶片

為了製造其 Shinebolt 12-Hi 36GB HBM3E 記憶體堆疊，三星使用了多項先進技術。首先，36GB HBM3E 記憶體產品基於三星第四代 10nm 級 (14nm) 製程技術 (稱為 ) 製造的記憶體裝置，該技術採用極紫外光 (EUV) 光刻技術。 

其次，為了確保 12-Hi HBM3E 堆疊與 8-Hi HBM3 產品具有相同的 Z 高度，三星使用了其先進的熱壓縮非導電薄膜 (TC NCF)，使其能夠在記憶體裝置之間實現業界最小的 7 微米 (7 µm) 間隙。透過縮小 DRAM 之間的間隙，三星可以提高垂直密度並減輕晶片翹曲。此外，三星還在 DRAM IC 之間使用不同尺寸的凸點；較小的凸點用於訊號傳輸區域，而較大的凸點則放置在需要散熱的區域，進而改善散熱管理。 

三星估計其 12-Hi HBM3E 36GB 模組可以將人工智慧訓練的平均速度提高 34%，，並將推理服務的同時用戶數量擴大超過11.5倍。然而，該公司尚未詳細說明LLM的大小。 

三星已經開始向客戶提供HBM3E 12H的樣品，並計劃在今年上半年開始大規模生產。