NVIDIA推出由GeForce RTX GPU支援免連網的AI聊天機器人：Chat wth RTX

雖然去年老黃靠著H100帶頭的AI晶片在企業端賺飽飽，也成為AI晶片首屈一指的龍頭企業，不過，對於一般消費者來說，除非你要AI算圖，否則NVIDIA的AI技術似乎離你還是很遠。

不過，現在老黃要讓一般消費者也能享受NVIDIA晶片帶來的AI便利性了。

不需連網，只要有GPU就可以與AI聊天

當人工智慧聊天機器人的風潮開始興起時，大多數人使用的是連接到雲端伺服器的聊天機器人。不過，讓聊天機器人在 PC 和智慧型手機上本地運行的趨勢越來越明顯。NVIDIA 推出了一種新方法，讓 Windows PC 使用者可以建立自己的大型語言模型 AI 聊天機器人，並連接到本地端儲存的內容。

NVIDIA 稱其為 LLM Chat with RTX，現在該公司網站上提供了展示版。顧名思義，您的電腦必須配備NVIDIA GeForce RXT GPU 才能運行這個本地端聊天機器人。以下是具體的硬體要求：

• 圖形處理器 -NVIDIA GeForce RTX 30 或 40 系列圖形處理器或NVIDIA RTX Ampere 或 Ada 代圖形處理器，至少配備 8GB VRAM

• 記憶體 - 16GB 或更大

• 作業系統 - Windows 11

• Geforce 驅動程式 - 535.11 或更高版本

下載並安裝後，您就可以將"與 RTX 聊天"應用程式與您本地儲存的內容（如文件、PDF 檔案、影片等）連接起來。然後，您就可以使用本地資料集向聊天機器人提問，這樣聊天機器人就能為您提供答案，而無需篩選所有資料。

無須擔心資料外流，但代價就是成本較高

不過，雖然聊天機器人在本地端執行無須連網，但是如果要找答案的話，他還是可以上網幫你搜尋，比方說RTX 聊天工具可以在一些 YouTube 影片中尋找資訊。您只需將影片的 URL 複製到應用程式中，然後就影片內容提問。Chat with RTX 會為您提供答案。

當然，像"與 RTX 聊天"這樣的本地端 LLM 應用程式的最大特點是，您可以擁有一個人工智慧聊天機器人，而不會將資料傳輸到公司的雲端伺服器，以用於培訓和其他目的。

不過，這樣做的代價是，你需要一台相當強大的電腦來運行它。

NVIDIA 將"與 RTX 聊天"應用程式標註為免費技術展示。這可能表明，該公司計畫在未來某個時候將其轉變為具有更多功能的付費或訂閱型應用程式。

• 延伸閱讀：預計NVIDIA今年資料中心收入達460億美元，持續在AI領域佔據主導地位
• 延伸閱讀：NVIDIA GeForce RTX 4070 Ti Super效能實測，核心增量10%滿足2K遊戲需求
• 延伸閱讀：為AI之戰囤積武器！Meta將斥資數十億美元購買NVIDIA AI晶片