NEO Semiconductor 發佈HBM記憶體3D X-AI 技術，宣稱 AI 處理能力可達現有方案百倍

NEO Semiconductor 發表了 3D X-AI 晶片技術，宣稱該技術可實現目前 HBM 記憶體方案百倍的 AI 處理能力，同時功耗也可降低 99%。

3D X-AI 可理解為兩項技術的結合：其採用 3D DRAM 技術建構 HBM 記憶體的 DRAM Die，以實現更高容量；同時在 DRAM Die 中引入本地處理器，類似於先前提出的 PIM 概念。

在前一項技術上，單個 3D X-AI 晶片包含 300 層 3D DRAM 單元，整體容量達 128Gb，12 層堆疊後可實現 192GB 的單堆疊容量，允許儲存更大的 AI 模型。而目前的 HBM3 (E) 記憶體最大單堆疊容量僅有 36GB。

而在後一項技術上，NEO Semiconductor 稱其每個 3D X-AI 晶片均配備一層神經回路單元，包含 8000 個神經元電路，可直接在 3D 記憶體內部執行 AI 處理，大幅減少了資料傳輸至 GPU 產生的功耗。

NEO Semiconductor 預計每層神經回路單元可提供 10TB/s 的 AI 處理吞吐量，對於 12 層堆疊的 3D X-AI 記憶體堆疊而言就是 120TB/s，較傳統方案提升了 100 倍。

NEO Semiconductor 創始人兼首席執行長 Andy Hsu 表示，由於架構和技術效率低下，當前的 AI 晶片浪費了大量的性能和功率。

「目前的 AI 晶片架構將資料儲存在 HBM 中，並依靠 GPU 執行所有計算。這種資料儲存和資料處理分離的架構使資料匯流排成為不可避免的性能瓶頸。透過資料匯流排傳輸大量資料會導致性能受限、功耗飆升。」

「3D X-AI 可以在每個 HBM 晶片中執行人工智慧處理。這可以大幅減少 HBM 和 GPU 之間的資料傳輸，進而提高性能並顯著降低功耗。」