Jetson Xavier NX開發套件動手玩硬體篇：同時執行4個容器榨乾AI電腦

筆者在前篇文章中簡單介紹了Jetson Xavier NX開發套件，以及NVIDIA帶來的全新原生雲端技術，在這篇文章中我們將針對Jetson Xavier NX開發套件做更深入的介紹，並且執行4款容器化的AI應用程式，以及對Jetson Xavier NX進行效能測試。

外型接近但可擴充M.2固態硬碟

基本上Jetson Xavier NX開發套件就是把Jetson Xavier NX運算模組裝在I/O擴充底座上，因此硬體規格大至相同，SoC方面具有6個Arm v8.2處理器核心，在15W功耗設定下最高時脈可達1.9GHz，次外還有384個CUDA核心、最高時脈為1.1GHz的Volta架構繪圖處理器、48個Tensor張量處理器核心與2個深度學習加速器（Deep Learning Accelerator）引擎，並搭載8GB LPDDR4x記憶體，在15W功耗搭配INT8運算模式下可以帶來21TOPs的AI運算效能。2者最大的不同，在於運算模組內建16GB eMMC儲存媒體，開發套件則無，需自行安裝microSD卡。

在影像處理能力部分，Jetson Xavier NX開發套件具有2組MIPI CSI-2 DPHY攝影機端子，具有最高2組4K、30p的H.265、H.264影像編碼能力，以及最高2組4K、60p的H.265或2組4K、30p的H.264影像編碼能力。

Jetson Xavier NX運算模組的優點之一就是具有豐富的I/O端子，提供4組USB 3.1，以及USB 2.0 Micro-B、GbE乙太網路、支援4K影像輸出的HDMI與DisplayPort端子各1組，而考量到Jetson Xavier NX較強的運算效能與更廣的應用範圍，因此搭載了M.2 Key E介面的Wi-Fi無線網路、藍牙通訊模組，提供更多元的連線能力，使用者也可以透過M.2 Key M插槽安裝NVMe傳輸模式的固態硬碟，彈性擴充儲存容量。

Jetson Xavier NX與Jetson Nano等2款運算模組的尺寸相當接近，而2者的開發套件的設計也十分接近，但因為Jetson Xavier NX的最大功耗為15W，比Jetson Nano的10W多出50%，因此使用具有風扇的主動式散熱器強化散熱能力。

▲ Jetson Xavier NX的詳細規格，可以看到最佳效率（10W）與最大效能（15W）的電力模式差異。

▲ Jetson Xavier NX開發套件為運算模組加上I/O擴充底座的組合。

▲ 開發套件提供豐富的I/O端子，方便開發者連接各種周邊裝置。

▲ 與Jetson Nano開發套件的尺寸相近，但包裝盒尺寸卻因Jetson Xavier NX附上電源供應器而相差甚遠。

▲ 兩款開發套件本體的設計相當接近，圖左為Jetson Nano，右為Jetson Xavier NX。

▲ GPIO HAT的設計也相同，方便延用現有周邊裝置。

▲ Jetson Xavier NX具有2組攝影機端子，Jetson Nano只有1組。

▲ Jetson Xavier NX機身底部具有M.2 Key E、M.2 Key M插槽各1，Jetson Nano則空空如也。

容器讓軟體部署、執行更方便

受益於更強的效能與更大的記憶體容量，讓Jetson Xavier NX能夠同時執行多個容器化的AI應用程式、服務。而使用容器最大的好處就是能夠大幅簡化軟體部署的程序，以安裝NVIDIA官方提供的範例為例，透過Docker的「docker pull」指令就能快速下載容器並直接執行，過程能省下許多安裝與設定的時間。

這些範例將應用情境設定為零售業、醫療院所、倉庫的服務機器人，而機器人需要具有辨識顧客、偵測顧客在和誰講話、知道對話過程中顧客所指的位置、理解顧客的語言、提供有用的答案等等。因此Jetson Xavier NX需要透過程式進行人物辨識、目光辨識、姿勢辨識、語音辨識、自然語言處理等工作，因此NVIDIA在範例中透過下列4個容器完成這些功能。

範例程式使用的容器
DeepStream容器：透過Resnet-18模型辨識人物
Pose容器：透過Resnet-18模型辨識姿勢
Gaze容器：透過MTCNN模型偵測臉部區域、NVIDIA Facial Landmarks模型偵測臉部特徵、NVIDIA Gaze模型偵測左/右眼與全臉
Voice容器：透過Quartznet-15X5模型辨識語音、BERT模型處理自然語言
（皆轉換為TensorRT型式執行）

在下面實測影片中，可以看到畫面左上是人物辨識，左下為姿勢辨識，右上為自然語言處理，右下為目光辨識，雖然範例並非透過攝影機即時擷取影像，而是透過預錄影片取代，但仍可看到Jetson Xavier NX能在15W的功耗下完成這些工作，效能與電力效率相當出色。

▲ Jetson Xavier NX能透過容器同時執行多個AI應用程式與服務。

▲在實際操作錄影中可以看到Jetson Xavier NX流暢完成這些AI運算。

Jetson家族同台測試

在效能實測的部分，筆者特別準備了旗艦級的Jetson AGX Xavier與入門級的Jetson Nano等3款開發套件做為對照組，分別看看這些價位、功耗不同等級的AI電腦在效能的表現上有什麼差異。

在AI推論效能測試方面，筆者採用NVIDIA提供的Jetson Benchmarks工具進行測試，它會測試執行Inception V4、VGG-19、Super Resolution、Unet、OpenPose、YoloV3-Tiny、ResNet-50、SSD Mobilenet-v1等8種影像辨識、處理演算法的效能表現。

另一方面，筆者也會在Jetson AGX Xavier與Jetson Xavier NX上進行BERT自然語言處理的效能測試，其中Base項目為使用基準模型（Base Model），而Large則為使用大型模型（Large Model），Jetson Nano則因記憶體容量與效能限制無法執行而略過。

▲ 筆者特別準備了Jetson Xavier NX以及Jetson AGX Xavier、Jetson Nano進行效能測試對比。

▲ Jetson家族成員的效能對比，其中Jetson Xavier NX的任務就是取代Jetson TX2的市場定位。

▲ 在大部分的AI推論中，Jetson Xavier NX雖然只有Jetson AGX Xavier一半左右的效能，但可大幅領先Jetson Nano。

▲ Jetson Xavier NX領先Jetson Nano的幅度約在10至20倍之間不等，差距相當大。

▲ 在BERT效能測試中，Jetson AGX Xavier效能約略比Jetson Xavier NX多出1倍。

由於邊緣運算裝置與AI裝置依使用情境不同，尺寸、耗電量、工作溫度、防水等需求都有著相當大的差異，這時候開發者就可以選擇階級定位不同的Jetson來完成任務，並在「One Software One Architecture」（單一軟體、單一架構）的概念下，讓相同的軟體得以在效能與尺寸不同的Jetson運算模組上運作，不但降低了軟體的開發與維護成本，也發揮更大的使用彈性。

這次測試的3款Jetson開發套件各別有不同的定位，入門級的Jetson Nano以美金99元（約合新台幣2,990元）的價格殺入市場，並支援5W、10W等功耗設定，適合輕量裝置應用，美金399元（約合新台幣12,040元）的Jetson Xavier NX站穩中階市場，能在10W、15W的功耗設定下帶來可關的效能提升，目前市價落在美金699元（約合新台幣21,090元）Jetson AGX Xavier具有10W、15W、30W等功耗設定，雖然尺寸大了許多，但能滿足更高階的運算需求，開發者可以在初期階段以開發套件快速打造試作品，並在正式量產時轉移至運算模組。

最新推出的Jetson Xavier NX的定位為取代Jetson TX2，並填補Jetson Nano、Jetson AGX Xavier等2者間尺寸與效能的空缺，除了能滿足目前許多AI應用聚焦的影像辨識，還能應用於更複雜自然語言處理、語音辨識等，賦予邊緣裝置更多可能性。 

 

系列文章：
Jetson Xavier NX開發套件動手玩軟體篇：原生雲端與容器功能引爆應用潛力
Jetson Xavier NX開發套件動手玩硬體篇：同時執行4個容器榨乾AI電腦（本文）