Jetson Xavier NX開發套件動手玩軟體篇：原生雲端與容器功能引爆應用潛力

NVIDIA先前已推出多款針對AI與邊緣裝置設計的Jetson運算平台，下至輕省的Jetson Nano，以及中堅的Jetson TX2、Jetson Xavier NX，還有效能強悍的Jetson AGX Xavier。這次的更新不但帶來全新硬體開發套件，軟體方面也帶來更便於管理的原生雲端功能與容器支援。

Jetson Xavier NX開發套件加速AI裝置開發

NVIDIA於2019發表了針對AI應用設計的Jetson Xavier NX運算模組，搭載強效的繪圖處理器（GPU）與SoC，並支援雲端、資料中心、邊緣運算業界廣泛使用的軟體堆疊，與Jetson家族產品一樣能夠提供強勁的AI運算效能，相當適合用於製造、物流、農業、智慧城市、零售、醫療等產業。

身為Jetson家族最新的成員，Jetson Xavier NX的特色是尺寸小巧、15W以下的電力消耗，且具有相對優異的效能與電力效率表現，它的尺寸與Jetson Nano相近，而根據官方提供的數據有著4倍的效能表現，相當適合應用於邊緣運算裝置。

這次NVIDIA也遵循之前Jetson Nano的行銷策略，在推出Jetson Xavier NX運算模組後，於2020年5月14日以美金399元（約合新台幣12,010元）推出Jetson Xavier NX開發套件，透過擴充母板提供完整的I/O介面，讓開發者能夠更便捷地開發各種AI與邊緣裝置。

Jetson Xavier NX搭載6個Arm v8.2處理器核心、384個CUDA核心的Volta架構繪圖處理器、48個Tensor張量處理器核心與2個深度學習加速器（Deep  Learning  Accelerator）引擎，能讓與信用卡尺寸相近的迷你電腦在15W的功耗下，擁有21TOPS（萬億次運算）深度學習效能表現。

更詳細的硬體介紹將於《 Jetson Xavier NX開發套件動手玩硬體篇：同時執行4個容器榨乾AI電腦 》一文中繼續說明。

▲ Jetson Xavier NX本體的尺寸僅有 70 x 45公釐，NVIDIA將其冠上「世界上最小型的人工智慧超級電腦」的名號。

▲ Jetson Xavier NX開發套件具有HDMI、DisplayPort等影像輸出端子，以及USB 3.2 Gen1、乙太網路等I/O端子。

▲ 此外開發套件還能安裝無線網路/藍牙模組（預載）以及NVMe固態硬碟（選購）等周邊。

全新原生雲端技術強化邊緣運算部署

過去的嵌入式軟體大多將作業系統、應用程式打包為單一系統映像檔，並燒錄至目標設備上，當需要在系統增加或移除功能時，就需要重新編譯、打包系統映像檔，並重新燒錄，不但會墊高軟體維護成本，還會產生不可接受的設備停機時間，這個問題對於頻繁更新的AI邊緣設備更為嚴重。

NVIDIA透過這次更新推出的原生雲端技術（Cloud-Native Technology），概念包含微服務架構（Microservice Architecture）、容器化（Containerization），以及讓應用程式的交付能擺脫舊有軟體僵化工作流程的束縛，將原本的應用軟體切分為許多微小的服務（Service，本質上與應用程式相同但規模比較小），並透過容器部署、管理。

將服務容器化的過程，會將服務與依賴套件一併打包成容器，以便發揮快速部署的優勢，並讓服務與底層作業系統分離，如此一來在更新作業系統或進行功能更新、安全性修正的時候就不會影響已安裝的服務，反之也能在不影響作業系統的前提下，安裝、更新、降級或刪除服務。

原生雲端技術能夠帶來彈性且靈活的軟體部署能力，讓開發者能夠快速開發產品，並持續進行軟體更新，且只需承擔最少的設備停機時間。

▲ 全新原生雲端技術搭配Jetson原有的平台優勢，讓邊緣運算裝置的開發與維護更加簡單。

小辭典：容器（Container）
容器是種類似虛擬機器的虛擬化技術，可以將程式碼與所有依賴的系統工具、執行環境（Runtime）、函數庫、設定等軟體套件與檔案打包成標準單元，使用者只要在裝置上安裝Docker引擎，就能執行容器。
不同於虛擬機器是將硬體虛擬化，容器是將作業系統層虛擬化，具有更高的可攜性，運作效率也更高，甚至可以無視基礎設施（Infrastructure）的差異，快速部署到任何裝置，發揮讓應用程式可以從某個運算環境快速轉移到另一個運算環境的效果。

 ▲ 打包成容器的應用程式、服務可以在Docker引擎上執行，有利於簡化交付軟體的手續。

 

打造完整AI運算平台

NVIDIA擁有強大的AI運算軟體與硬體平台，已部署於透過繪圖處理器加速的資料中心、超大規模伺服器和強大的AI工作站，並為Jetson平台提供最佳化的CUDA、CuDNN、TensorRT、DeepStream等AI工具、函數庫、SDK，讓使開發者能夠在效能強大的雲端伺服器訓練AI模型，並將訓練好的模型無縫部署至以Jetson打造的AI邊緣設備。

Jetson Xavier NX的目標之一就是同時加速多個神經網路，並提供邊緣AI應用所需的推論（Inference）效能和準確性。Jetson Xavier NX支援TensorFlow、PyTorch、MxNet、Keras、Caffe等主流AI框架，並可透過NVIDIA TensorRT執行環境加速框架效能。此外Jetson家族也支援Microsoft ONNX模型和執行環境，以及Amazon SageMaker Neo平台，開發者可以在SageMaker上訓練機器學習模型並在Jetson執行最佳化的模型。

Jetson家族的另一大特色就是全線加速（Full Stack Acceleration）功能，它不但能加速AI推論的效能，還能加速前期處理與後期處理效能。舉例來說典型的AI管線會對傳感器（如攝影機）接收到的資料進行縮放、裁剪、扭曲修正等前期處理，然後才送至神經網路進行推理運算，再對結果進行編碼或可視化等後期處理，而NVIDIA的DeepStream SDK能加速AI影像辨識的前期處理、AI推論、後期處理等整體運算流程，帶來更優異的整體效能表現。

至於機器人相關應用，則可透過整合SDK、驅動程式、API與各種實用工具的NVIDIA Isaac SDK，透過AI強化機器人的感知、導航、操縱能力，並可在模擬環境中測試與訓練機器人，並將成果轉移到真實的機器人，能協助縮短數百小時的開發時間。

▲ 完整的軟體平台能讓Jetson在各種應用領域發揮最大效益。

筆者將在下篇文章中針對Jetson Xavier NX開發套件的硬體進行詳細介紹，並實際同時執行多款AI應用容器展示Jetson Xavier NX的火力，並準備了Jetson Nano、Jetson AGX Xavier進行效能對比測試，敬請期待下回分解。

 

系列文章：
Jetson Xavier NX開發套件動手玩軟體篇：原生雲端與容器功能引爆應用潛力（本文）
Jetson Xavier NX開發套件動手玩硬體篇：同時執行4個容器榨乾AI電腦