NVIDIA Jetson AGX Xavier AI運算平台動手玩硬體篇：電力效率更高的特化AI電腦

Jetson AGX Xavier是Jetson家族中效能最強一員，它搭載8核心Arm架構處理器以及512個CUDA核心的繪圖處理器，並支援具桌面環境的Ubuntu作業系統，簡單的說就是台可以獨立運作的AI電腦。接下來就讓我們一起深入瞭解它的硬體架構與軟體應用。

針對AI開發的Arm電腦

NVIDIA在2018年12月發表了Jetson家族中效能最強的Jetson AGX Xavier，它採用8核心Arm v8.2 64bit處理器，搭配具512個CUDA核心的Volta架構繪圖處理器。此外Jetson AGX Xavier也為了強化AI運算效能而加入Tensor Core、NVIDIA深度學習加速器（Deep Learning Accelerator）、VLIW視訊處理器、影像訊號處理器（Image Signal Processor，ISP）等特化與輔助運算單元。

Jetson AGX Xavier採用Ubuntu作業系統，並提供圖型化介面的桌面模式，操作體驗與一般x86、x86-64版本的Ubuntu接近，使用上親合許多。在軟體的相容性方面，則支援NVIDIA CUDA、OpenVX、OpenGL、TensorRT、cuDNN、NVIDIA VisionWorks、JetPack、DeepStream、Isaac等API與開發工具，能夠節省開發者與企業時間與成本，有助於輕鬆開發新功能與改善系統效能表現。

Jetson AGX Xavier規格簡表
處理器：8核心NVIDIA Carmel（64bit、Armv8.2、2265MHz、8MB L2 + 4MB L3）
繪圖處理器：512核心Volta（1377MHz）+ 64核心Tensor Core
深度學習處理器：(2x) NVIDIA Deep Learning Accelerators
記憶體： 16GB 256-bit LPDDR4x（2133MHz、137 GB/s）
儲存媒體： 32GB eMMC 5.1
視訊處理器： 7-way VLIW Vision Accelerator
視訊編碼能力：(4x) 4Kp60 | (8x) 4Kp30 | (16x) 1080p60 | (32x) 1080p30
視訊解碼能力：(2x) 8Kp30 | (6x) 4Kp60 | (12x) 4Kp30 | (26x) 1080p60 | (52x) 1080p30
攝影機連接能力：(16x) MIPI CSI-2 lanes、(8x) SLVS-EC lanes
視訊輸出：(3x) eDP 1.4、DP 1.2、HDMI 2.0 @ 4Kp60
網路：10/100/1000 BASE-T Ethernet + MAC + RGMII
USB：(3x) USB 3.1 + (4x) USB 2.0
PCIe：(5x) PCIe Gen 4 controllers（支援1x8、1x4、1x2、2x1）
I/O：Dual CAN bus controller、UART、SPI、I2C、I2S、GPIO
消費電力：9.0V-20VDC輸入，具10W / 15W / 30W等功耗模式

▲ Jetson AGX Xavier採用Arm架構處理器搭配Volta架構繪圖處理器。

▲ NVIDIA的Jetson家族透過豐富的軟體與硬體建構完整AI生態系統。

▲ JetPack SDK提供許多實用的AI程式開發工具與API。

▲ DeepStream SDK可以加速影像辨識程式的開發。

▲ Isaac SDK的用途在於開發、部屬機器人AI程式。

豐富I/O，吞吐量超大

筆者收到的測試樣品為Jetson AGX Xavier開發者套件（Developer Kit），為整合「散熱模組 + 核心主機板 + I/O擴充子板」的型式，簡單地說就是台小型的AI運算工作站，只要插上電源就可以開始使用，並提供多種工業標準的連接端子，方便開發者直接連接各式周邊設備，以下的介紹將以開發者套件為主。

另一方面，商用買家也能向NVIDIA採購只有「核心主機板」的Jetson AGX Xavier模組（Module），或是搭配需要的周邊設備進行客製化，滿足安裝於不同裝置上的需求。

我們可以把Jetson AGX Xavier想像成1台桌上型個人電腦，但是它的處理器、繪圖處理器（即顯示卡）、記憶體焊主機板上無法更換。至於儲存裝置的部分，除了焊主機板上的eMMC以外，還能透過M.2、SATA、USB、microSD讀卡機（支援UFS）等介面擴充儲存容量。

另一方面，由於連接攝影機的能力對影像辨識功能來說相當重要，因此AGX Xavier也提供豐富的影像輸入端子，以發揮即時影像處理、辨識的長處。它具採用120腳針的Samtec QTH-060-01-H-D-A攝影機擴充端子，能夠支援最多6x2 lane組CSI（Camera Serial Interface，支援D-PHY、C-PHY），以及CAM_I2C、I2C、Clock、Control GPIO等功能。

此外AGX Xavier還有支援I2C、SPI、UART、I2S、CAN、D-MIC等功能的40-Pin GPIO端子，以及JTAG除錯端子，方便連接各式周邊裝置與開發時除錯之用。

▲ Jetson AGX Xavier的功能方塊圖。

▲ 機身外觀四四方方，帶著相當強烈的工業風格。

▲ 上半部的核心主機板與散熱模組佔了大部份空間，下半部的I/O擴充子板佔不到一半。

▲ 外觀尺寸約為10.6 x 10.6 x 6.5公分，以電腦來說相對小巧。圖中對比的手機為Apple iPhone SE。

▲ 機身正面設有GPIO與USB Micro-B、USB Type-C。

▲ 背面則有USB Type-C、microSD讀卡機、電源、RJ-45、USB 2.0/ SATA複合、HDMI等端子。

▲ 側面擇有電源、Recovery、重置等按鍵。

▲ I/O子板有1組PCIe 16x插槽，可以用於連接擴充卡。

▲ 機身底部的M.2 Key E插槽相容PCIe x1、USB 2.0、I2S、UART、I2C等傳輸規範，也可以連接Wi-Fi無線網路、藍牙等介面卡。

▲ 將子板拆下後，可以看到具699-Pin的主機板、子板連接端子。

▲ M.2 Key M插槽為於子板裡側，相容PCIe x4與NVMe，可以連接固態硬碟。

優勢在於電力效率

Jetson AGX Xavier設計的情境為搭載於終端裝置上進行邊緣運算，因此尺寸、耗電量、發熱量都需要考慮周全，因此它的目標並不是在追求最高的效能，而是整體的平衡，在越過效能門檻的前題下，盡量縮小尺寸與省電。

根據NVIDIA提供的資料，Jetson AGX Xavier在ResNet-50影像辨識的效能表現領先於由Intel Core i7搭配NVIDIA GeForce GTX 1070所建構的桌上型電腦，而且耗電量大約只有後者的1/10，可見Jetson AGX Xavier在AI運算領域的電力效率確實相對出色。

至於在實際效能對比部分，筆者則要說聲報歉，因為手上缺乏其他如Intel Neural Compute Stick、Coral dev board或是Jetson Nano等其他家族成員，因此僅引用NVIDIA提供與Jetson TX2對比數據進行說明。

Jetson AGX Xavier受益於512個核心的Volta核心繪圖處理器與深度學習處理器等特化運算單元，可以帶來32 TOPS峰值運算Raw AI運算效能，與Jetson TX2相比成長了18倍，進步幅度相當可觀。

▲ Jetson AGX Xavier在ResNet-50影像辨識的效能約為桌上型電腦對照組的1.5倍，但耗電量大約只有1/10，電力效率相對出色。

▲ Jetson AGX Xavier的Raw AI運算效能高達32 TOPS，是Jetson TX2的18倍。

▲ Jetson AGX Xavier在繪圖處理器、處理器、記憶體頻寬、4K影像編/解碼表現也都有長足進步。

在瞭解了硬體規格之後，筆者將在下篇文章中透過實際操作範例程式的方式，讓讀者瞭解Jetson AGX Xavier在AI運算領域能夠發揮的功能與表現。

系列文章：
NVIDIA Jetson AGX Xavier AI運算平台動手玩硬體篇：電力效率更高的特化AI電腦（本文）
NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇：強大影像辨識功能可即時分析25組影片