ADVERTISEMENT
我們在前篇文章介紹了NVIDIA Jetson AGX Xavier的硬體規格，在接下來的文章中，筆者會聚焦於軟體應用的部分，透過範例程式進行物品分辨、特徵追蹤、動態預測、影像穩定等多種影像辨識，來展現Jetson AGX Xavier所能發揮的功能，讓讀者對這台AI電腦有更深入的瞭解。
Ubuntu桌面操作更簡易
Jetson AGX Xavier將作業系統整合在JetPack SDK中，使用者需要下載後在安裝x86-64 Ubuntu的電腦上將映像檔推送至Jetson AGX Xavier，才能完成安裝程序。相關檔案與說明請參考官方網站，這邊就不贅述。
需要注意的是Jetson AGX Xavier的預設電力模式為15W，所以筆者在測試過程會切換至效能全開的30W模式。操作方式為在終端機輸入下列指令
$sudo nvpmodel -m 0
，並透過下列指令
$sudo nvpmodel -q
檢查目前的電力模式。
由於自行開發AI功能不但需要撰寫相關程式，還需準備大量的訓練資料，以及對AI模型進行反覆訓練，才能得到比較好的效果，坦白說已經超出筆者的能力範圍所及，因此下列範例將使用NVIDIA提供的程式、資料、AI模型進行說明，還請讀者見諒。
用ImageNet進行物品分辨
首先我們先測試利用ImageNet物品分類程式，搭配以1,000種物品資料庫訓練的AI模型，並「imagenet-console」指令輸入照片檔案給程式進行辨識（「透過imagenet-camera」指令則可直接辨識攝影機拍攝的物品）。
基本上輸入橘子、相機、吉他等出現於資料庫中物品的照片，ImageNet大多能成功辨識。而筆者很壞心地故意輸入與橘子相近的枇杷，ImageNet則因資料庫中沒有對應的資訊，導致AI將枇杷判斷為橘子。（筆者註：這並非是產品的缺陷，而是因為資料庫缺乏枇杷的資料，所以AI將枇杷辨識為外觀相近的橘子。）
此外ImageNet也出現了將相機辨識為電鑽的失誤，但這個問題比較可能是由資料庫與訓練後的AI模型不夠精良所致，只要提供更完備的資料庫並加強訓練，就能夠提升辨識的精準度。
VisionWorks即時影像處理與辨識
接下來我們測試由NVIDIA提供的VisionWorks電腦視覺SDK，這是套以OpenVX為基礎衍生的電腦視覺、影像處理技術，並針對CUDA進行最佳化，能夠用於機器人、無人機、自駕車、AR等應用情境。
以特徵追蹤（Feature Tracking）為例，系統可以即時分析攝影機所拍到的影像，並標註指定的物件，此外也能搭配霍夫變換（Hough Transform）來標註直線、圓形、橢圓形等幾何形狀，能在辨識空間中的道路、標線、交通號誌等等應用發揮功效。
動態預測（Motion Estimation）則能分析移動中的人或物體，並且預測移動的趨勢，有助於讓交通工具在移動時避免碰撞。
影像穩定（Video Stabilizer）顧名思義就是以軟體演算的方式，讓晃動中的影像變得穩定，不但能提升人眼觀看的舒適度，也有助於降低自駕車等交通工具在移動時造成攝影機晃動的程度，進而提升辨識精確性。
▲特徵追蹤可以標出道路上的標線、護欄、車輛等物件。
▲霍夫變換能透過數學演算方式偵測幾何型狀。
▲動態預測可以預測人或物體的移動趨勢。
▲影像穩定能降低影像晃動的情況。
DeepStream即時分析25組Full HD影像
Jetson AGX Xavier的一大賣點能夠搭配DeepStream SDK開發影像分析軟體，在終端裝置或IoT閘道上即時進行邊緣運算，除了能夠節省以往雲端運算需要將影片上傳至伺服所需的傳輸頻寬，也有助於降低資料處理的延遲。
在下面的範例中，筆者透過25支預錄的影片模擬輸入25組攝影畫面的情境，並讓系統辨識、標註出現在畫面中的人與車輛。
▲DeepStream提供完整的硬體加速影像解碼、影像辨識工具，能用於即時影像分析。
One More Thing，遊戲效能也來測一下吧
既然Jetson AGX Xavier搭載了8核心Arm處理器與512 CUDA核心的繪圖處理器，那想必能在遊戲上發揮不錯的效能吧。
首先筆者以glmark2進行OpenGL效能測試，Jetson AGX Xavier能夠跑出6993分。
而用使glmark2-es2搭配「--off-screen」參數進行不顯示測試畫面的OpenGL ES效能測試的話，分數則為3142分。相較之下先前筆這介紹過的Odroid N2以glmark2-es2-fbdev搭配「--off-screen」參數測試的成績僅有約300分，而Odroid XU4約為250分，可見Jetson AGX Xavier的繪圖效能非常出色。
而筆者使用Dolphin模擬器測試任天堂Wii遊戲執行的效能時，發現在預設設定下FPS大約只有50幀左右，無法達到60幀全速執行的目標，這可能是因為軟體與驅動程式沒有最佳化所致，考量Jetson AGX Xavier的用途為AI運算而不是遊戲，所以這也不算是產品的缺點。
▲NVIDIA Jetson AGX Xavier 能夠透過Dolphin模擬Wii遊戲。
NVIDIA Jetson AGX Xavier是效能極強且電力效率出色的邊緣AI運算平台，能夠實際應用於機器人、無人機、自駕車、IoT閘道等情境，可以說是目前高效能AI的最佳解決方案之一。
系列文章：
NVIDIA Jetson AGX Xavier AI運算平台動手玩硬體篇：電力效率更高的特化AI電腦
NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇：強大影像辨識功能可即時分析25組影片（本文）
請注意！留言要自負法律責任，相關案例層出不窮，請慎重發文！