NVIDIA先前推出AI運算效能大幅提升的Jetson Orin Nano Super開發套件，強調能將AI應用程式導入邊緣運算的能力，我們就來動手架設AI聊天機器人。

升級Super版解放20 W TDP

NVIDIA在2024年聖誕節前夕推出Jetson Orin Nano Super開發套件，除了將價格砍半之外，規格部分將原本TDP上限的15 W提高至20 W，處理器（CPU）、繪圖處理器（GPU）的時脈分別由1.5 GHz、625 MHz提高至1.7 GHz、1020 MHz，記憶體頻寬也由68 GB/s提高至102 GB/s，讓系統最高AI運算能力由原本的40 TOPS提高至67 TOPS，成長幅度超過50%。

延伸閱讀：
NVIDIA推出加強版的Jetson Orin Nano Super：性能達 67 TOPS，價格約台幣8200元
 Jetson Orin Nano開發套件動手玩（一）：規格介紹與開箱
 Jetson Orin Nano開發套件動手玩（二）：效能實測

根據NVIDIA官方提供的資料，「Super版」Jetson Orin Nano Super開發套件在多款AI模型推論運算的效能表現，比原始版本高出28% ~ 104%不等，雖然TDP有所提升，但20 W的功耗仍相當低，適合應用於小型邊緣運算裝置，並在這些裝置本機執行AI應用程式，能夠賦予智慧音箱、機器人、自走車等裝置更多元的AI功能。

如果讀者手上有原始版本Jetson Orin Nano開發套件，則可參考NVIDIA官方網站的說明，安裝JetPack 6.1作業系統並透過指令開啟「MAXN電源模式」，解放20 W TDP並獲得更高的效能。

相關連結：Jetson Orin Nano開發套件升級為「Super版」之官方說明

▲ Jetson Orin Nano Super開發套件基本上與先前推出的原始版本硬體相同，原始版本也可以透過軟體、韌體更新升級至「Super版」。

▲ 原始版與「Super版」（右）Jetson Orin Nano開發套件之規格對照。

▲ 「Super版」在執行大型語言模型AI推論運算的效能為原始版本的1.28~1.63倍

▲ 執行視覺語言模型AI推論運算的效能則達1.36~2.04倍。

▲ 執行視覺變換模型（Vision Transformer）AI推論運算的效能則達1.43~1.69倍。

▲youjiang yu YouTube頻道所進行的大型語言模型AI推論運算展示，可以看到不同TDP設定下，生成文字的速度差異。

實戰聊天機器人

筆者這次收到的測試樣品為「Super版」Jetson Orin Nano Super開發套件，透過Ollama與Open-webui執行Llama 3.2B大型語言模型，並搭配我自己寫的文章作為RAG（Retrieval Augmented Generation，檢索增強生成）之參考之資料。

RAG的好處在於能夠快速客製化聊天機器人的「大腦」，而不需要花費大量運算效能與時間重新訓練大型語言模型。使用者只需將參考資料、文件等檔案輸入RAG資料庫，就能讓模型在AI推論運算過程中參閱，並利用這些資料做出更準確的回應，適合將最新的資訊或企業、專屬應用情境的補充資料導入聊天機器人，而不需在使用過程中仰賴雲端服務，對邊緣裝置來說相當重要。

從下方的展示也可以看出，Jetson Orin Nano Super開發套件能在消費20 W電力的情況下，提供流暢的聊天機器人體驗，很適合應用於小型裝置的開發。開發者可以先利用開發套件打造試作機，並在實際製作正式版本或量產時改為使用Orin Nano Super或Orin NX Super等運算模組（SoM），以利縮小裝置的尺寸。

▲ 在開始之前，先確認已切換至TDP為20 W的「MAXN電源模式」。