NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇：強大影像辨識功能可即時分析25組影片

我們在前篇文章介紹了NVIDIA Jetson AGX Xavier的硬體規格，在接下來的文章中，筆者會聚焦於軟體應用的部分，透過範例程式進行物品分辨、特徵追蹤、動態預測、影像穩定等多種影像辨識，來展現Jetson AGX Xavier所能發揮的功能，讓讀者對這台AI電腦有更深入的瞭解。

Ubuntu桌面操作更簡易

Jetson AGX Xavier將作業系統整合在JetPack SDK中，使用者需要下載後在安裝x86-64 Ubuntu的電腦上將映像檔推送至Jetson AGX Xavier，才能完成安裝程序。相關檔案與說明請參考官方網站，這邊就不贅述。

需要注意的是Jetson AGX Xavier的預設電力模式為15W，所以筆者在測試過程會切換至效能全開的30W模式。操作方式為在終端機輸入下列指令

$sudo nvpmodel -m 0

，並透過下列指令

$sudo nvpmodel -q

檢查目前的電力模式。

由於自行開發AI功能不但需要撰寫相關程式，還需準備大量的訓練資料，以及對AI模型進行反覆訓練，才能得到比較好的效果，坦白說已經超出筆者的能力範圍所及，因此下列範例將使用NVIDIA提供的程式、資料、AI模型進行說明，還請讀者見諒。

▲ 使用者可以至官方網站下載包含Ubuntu作業系統整的JetPack SDK。

▲ 使用者可以透過「$sudo nvpmodel -m 0」指令切換至效能全開模式，並檢查電力模式是否為「NV Power mode: MODE_MAXN」。

用ImageNet進行物品分辨

首先我們先測試利用ImageNet物品分類程式，搭配以1,000種物品資料庫訓練的AI模型，並「imagenet-console」指令輸入照片檔案給程式進行辨識（「透過imagenet-camera」指令則可直接辨識攝影機拍攝的物品）。

基本上輸入橘子、相機、吉他等出現於資料庫中物品的照片，ImageNet大多能成功辨識。而筆者很壞心地故意輸入與橘子相近的枇杷，ImageNet則因資料庫中沒有對應的資訊，導致AI將枇杷判斷為橘子。（筆者註：這並非是產品的缺陷，而是因為資料庫缺乏枇杷的資料，所以AI將枇杷辨識為外觀相近的橘子。）

此外ImageNet也出現了將相機辨識為電鑽的失誤，但這個問題比較可能是由資料庫與訓練後的AI模型不夠精良所致，只要提供更完備的資料庫並加強訓練，就能夠提升辨識的精準度。

▲ ImageNet與大部分範例程式一樣沒有圖型介面，需在終端機中以文字指令操作。

▲ 比方將橘子的照片輸入訓練好的模型，AI就會辨識這物件有99.847%的辨識結果為橘子。

▲ 這張照片的辨識結果為87.583%橘子。

▲ 輸入這張相機的照片，也能正確辨識。

▲ 吉他一樣能正確辨識，而且ImageNet還知道這是電吉他。

▲ 故意輸入枇杷的照片，辨識結果為81.458%橘子。

▲ 這張枇杷的照片辨識結果只有14.304%可能為橘子，AI也因資料庫缺乏枇杷的資料而誤判。

▲ 這張相機被辨識為70.229%可能為電鑽，與實際情況落差甚大。

VisionWorks即時影像處理與辨識

接下來我們測試由NVIDIA提供的VisionWorks電腦視覺SDK，這是套以OpenVX為基礎衍生的電腦視覺、影像處理技術，並針對CUDA進行最佳化，能夠用於機器人、無人機、自駕車、AR等應用情境。

以特徵追蹤（Feature Tracking）為例，系統可以即時分析攝影機所拍到的影像，並標註指定的物件，此外也能搭配霍夫變換（Hough Transform）來標註直線、圓形、橢圓形等幾何形狀，能在辨識空間中的道路、標線、交通號誌等等應用發揮功效。

動態預測（Motion Estimation）則能分析移動中的人或物體，並且預測移動的趨勢，有助於讓交通工具在移動時避免碰撞。

影像穩定（Video Stabilizer）顧名思義就是以軟體演算的方式，讓晃動中的影像變得穩定，不但能提升人眼觀看的舒適度，也有助於降低自駕車等交通工具在移動時造成攝影機晃動的程度，進而提升辨識精確性。

▲特徵追蹤可以標出道路上的標線、護欄、車輛等物件。

▲ 系統也能標示這些特徵移動的狀況。

▲霍夫變換能透過數學演算方式偵測幾何型狀。

▲ 辨識出的道路標線以藍色線條標註。

▲動態預測可以預測人或物體的移動趨勢。

▲ 預測的趨勢會以箭頭顯示。

▲影像穩定能降低影像晃動的情況。

▲ 穩定後的影像可以提升辨識的精確性。

DeepStream即時分析25組Full HD影像

Jetson AGX Xavier的一大賣點能夠搭配DeepStream SDK開發影像分析軟體，在終端裝置或IoT閘道上即時進行邊緣運算，除了能夠節省以往雲端運算需要將影片上傳至伺服所需的傳輸頻寬，也有助於降低資料處理的延遲。

在下面的範例中，筆者透過25支預錄的影片模擬輸入25組攝影畫面的情境，並讓系統辨識、標註出現在畫面中的人與車輛。

▲DeepStream提供完整的硬體加速影像解碼、影像辨識工具，能用於即時影像分析。

▲ 這次進行的範例為同步即時分析25組攝影畫面。

▲ 系統可以標註各畫面中的人與車輛。

▲ 高速移動中的車輛也能正確標註。

▲ 人車混雜的場景也沒問題。

One More Thing，遊戲效能也來測一下吧

既然Jetson AGX Xavier搭載了8核心Arm處理器與512 CUDA核心的繪圖處理器，那想必能在遊戲上發揮不錯的效能吧。

首先筆者以glmark2進行OpenGL效能測試，Jetson AGX Xavier能夠跑出6993分。

而用使glmark2-es2搭配「--off-screen」參數進行不顯示測試畫面的OpenGL ES效能測試的話，分數則為3142分。相較之下先前筆這介紹過的以glmark2-es2-fbdev搭配「--off-screen」參數測試的成績僅有約300分，而Odroid XU4約為250分，可見Jetson AGX Xavier的繪圖效能非常出色。

而筆者使用Dolphin模擬器測試任天堂Wii遊戲執行的效能時，發現在預設設定下FPS大約只有50幀左右，無法達到60幀全速執行的目標，這可能是因為軟體與驅動程式沒有最佳化所致，考量Jetson AGX Xavier的用途為AI運算而不是遊戲，所以這也不算是產品的缺點。

▲ glmark2是Linux系統上的OpenGL顯示效能測試工具。

▲ Jetson AGX Xavier可以在glmark2得到6993佳績。

▲ 換到glmark2-es2不顯示畫面測試成績則為3142分。

▲NVIDIA Jetson AGX Xavier 能夠透過Dolphin模擬Wii遊戲。

▲ 但在預設情況下無法以FPS 60幀狀態全速執行。

NVIDIA Jetson AGX Xavier是效能極強且電力效率出色的邊緣AI運算平台，能夠實際應用於機器人、無人機、自駕車、IoT閘道等情境，可以說是目前高效能AI的最佳解決方案之一。

系列文章：
NVIDIA Jetson AGX Xavier AI運算平台動手玩硬體篇：電力效率更高的特化AI電腦
NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇：強大影像辨識功能可即時分析25組影片（本文）