NVIDIA先前在CES 2024（消費性電子展）發表ChatRTX聊天機器人程式，並在近期改版新增支援ChatGLM 3中文大型語言模型，讓我們一起來看看其功能如何。

安裝與增加模型

ChatRTX是NVIDIA推出的聊天機器人程式，能在搭載8GB以上顯示記憶體的NVIDIA GeForce RTX 30 / RTX 40系列顯示卡、顯示晶片的Windows電腦上執行，並可在下載大型語言模型（Large Language Model，LLM）之後全程離線運作，避免機敏資料外洩。

延伸閱讀：

NVIDIA說明Windows作業系統AI應用（上）：強調高階AI功能優勢

NVIDIA說明Windows作業系統AI應用（下）：多種AI應用功能展示

ChatRTX目前版本支援Llama 2 13B、Gemma 7B、Mistral 7B、ChatGLM 3 6B、CLIP等模型，其中ChatGLM 3 6B為北京智譜華章科技公司推出的大型語言模型，能夠支援正體中文與簡體中文，而CLIP則是由OpenAI公司推出的圖文對應模型（其概念比較難以解釋，在ChatRTX的主要功能為辨識圖片）。

讀者可以從NVIDIA官方網站下載ChatRTX程式，並在啟動程式後，於網頁介面選擇安裝更多模型。

▲ ChatRTX的系統需求一覽。

▲ 讀者可以從NVIDIA官方網站下載ChatRTX程式，安裝過程與一般程式無異，這邊就不多作贅述。

▲ 安裝完成後雙擊桌面的「NVIDIA ChatRTX」捷徑，就會跳出命令提示字元視窗並啟動程式。啟動完成後會自動開啟網頁介面，若無開啟可點擊視窗中的網址。

▲ 進入網頁介面之後展開Add new models標籤並選擇想要安裝的模型，之後確認授權聲明並點擊下載按鈕。

ChatRTX外掛資料庫更聰明

ChatRTX支援RAG（Retrieval Augmented Generation，檢索增強生成）功能，能夠讓程式「查閱」資料庫中的文字與圖片檔案，進而讓程式的回應更貼近使用者的需求。舉例來說，筆者就將自己撰寫的文章匯入資料庫，讓預先訓練的大型語言模型快速「新增知識」，能夠回答筆者個人資料以及最新報導內容。

由於ChatRTX運作過程不會將任何資料上傳至雲端，能夠避免資料庫中的機敏資料外洩，使用上更加安全。雖然ChatGLM 3 6B是中國公司推出的大型語言模型，所以具有自我審查的狀況，不過在ChatRTX中使用這款模型仍不會造成資料外洩疑慮。

另一方面，在安裝CLIP模型之後，ChatRTX也能透過使用者輸入的提示詞搜尋資料庫中的圖片。

▲ChatRTX的實際操作影片。讀者也可參考下列詳細圖文介紹。

▲ ChatRTX在安裝ChatGLM 3 6B大型語言模型之後可以支援正體中文。