NVIDIA先前在CES 2024（消費性電子展）發表ChatRTX聊天機器人程式，並在近期改版新增支援ChatGLM 3中文大型語言模型，讓我們一起來看看其功能如何。

安裝與增加模型

ChatRTX是NVIDIA推出的聊天機器人程式，能在搭載8GB以上顯示記憶體的NVIDIA GeForce RTX 30 / RTX 40系列顯示卡、顯示晶片的Windows電腦上執行，並可在下載大型語言模型（Large Language Model，LLM）之後全程離線運作，避免機敏資料外洩。

延伸閱讀：

NVIDIA說明Windows作業系統AI應用（上）：強調高階AI功能優勢

NVIDIA說明Windows作業系統AI應用（下）：多種AI應用功能展示

ChatRTX目前版本支援Llama 2 13B、Gemma 7B、Mistral 7B、ChatGLM 3 6B、CLIP等模型，其中ChatGLM 3 6B為北京智譜華章科技公司推出的大型語言模型，能夠支援正體中文與簡體中文，而CLIP則是由OpenAI公司推出的圖文對應模型（其概念比較難以解釋，在ChatRTX的主要功能為辨識圖片）。

讀者可以從NVIDIA官方網站下載ChatRTX程式，並在啟動程式後，於網頁介面選擇安裝更多模型。

▲ ChatRTX的系統需求一覽。

▲ 讀者可以從NVIDIA官方網站下載ChatRTX程式，安裝過程與一般程式無異，這邊就不多作贅述。

▲ 安裝完成後雙擊桌面的「NVIDIA ChatRTX」捷徑，就會跳出命令提示字元視窗並啟動程式。啟動完成後會自動開啟網頁介面，若無開啟可點擊視窗中的網址。

▲ 進入網頁介面之後展開Add new models標籤並選擇想要安裝的模型，之後確認授權聲明並點擊下載按鈕。

ChatRTX外掛資料庫更聰明

ChatRTX支援RAG（Retrieval Augmented Generation，檢索增強生成）功能，能夠讓程式「查閱」資料庫中的文字與圖片檔案，進而讓程式的回應更貼近使用者的需求。舉例來說，筆者就將自己撰寫的文章匯入資料庫，讓預先訓練的大型語言模型快速「新增知識」，能夠回答筆者個人資料以及最新報導內容。

由於ChatRTX運作過程不會將任何資料上傳至雲端，能夠避免資料庫中的機敏資料外洩，使用上更加安全。雖然ChatGLM 3 6B是中國公司推出的大型語言模型，所以具有自我審查的狀況，不過在ChatRTX中使用這款模型仍不會造成資料外洩疑慮。

另一方面，在安裝CLIP模型之後，ChatRTX也能透過使用者輸入的提示詞搜尋資料庫中的圖片。

▲ChatRTX的實際操作影片。讀者也可參考下列詳細圖文介紹。

▲ ChatRTX在安裝ChatGLM 3 6B大型語言模型之後可以支援正體中文。

▲ 在預設情況下，ChatGLM 3 6B並不認識筆者。

▲ 我們在Dataset選項中選擇「Folder Path」，並指定存有文字、圖片檔案的資料庫路徑。

▲ 完成之後ChatGLM 3 6B能夠根據資料庫內容回答筆者的名字，並會列出作為參考資料的檔案。

▲ 在RAG功能的協助下，ChatGLM 3 6B也能根據最新報導做出正確回答。

▲ 不過ChatGLM 3 6B還是受到中國思想審查限制，沒有學習到1989年6月4日發生的事件。

▲ 在測試CLIP模型功能部分，筆者從Pixabay網站下載無授權限制圖片作為範例。

▲ CLIP可以根據輸入的指令，從資料庫中找出含有食物的照片。

▲ 筆者請CLIP列出台灣的照片，它也能正確辨識101大樓、街景、自由廣場的照片。

▲ 接著筆者請CLIP列出日本的照片，它也能正確回應，並且沒有與台灣搞混，表現值得嘉獎。

▲ 附上Stable Diffusion AI圖像生成所製作的文章刊頭圖。

如果讀者具有搭載NVIDIA GeForce RTX 30 / RTX 40系列顯示卡、顯示晶片的電腦，不妨也下載ChatRTX親自嘗試。