AMD 發表開源專案 GAIA，加速本地端大型語言模型高效運行

AMD 近日宣布推出一項名為 GAIA 的全新開源應用程式，其設計目標在於提升大型語言模型（LLM）於本地端的運行效率。目前 GAIA 支援 Windows 平台，是一款生成式 AI 應用，旨在讓使用者能在 Windows 個人電腦上實現 LLM 的本地化私密運算，並已針對 Ryzen AI 300 系列處理器進行最佳化。該應用程式透過利用神經網路處理單元（NPU）來增強 AI 任務的效能，並支援混合部署量化的 LLM。

據悉，GAIA 是基於 ONNX TurnkeyML 的 Lemonade SDK 所開發，並採用了檢索增強生成（RAG）技術，可支援包括 Llama、Phi 等主流模型。其功能模組主要包含四個部分：Chaty 聊天機器人、Clip 影片搜尋專家、Joker 笑話生成器以及 Simple Prompt 測試工具。

GAIA 的四大功能模組

GAIA 專案包含四大功能模組，每個模組都針對特定應用場景進行了優化：

• Chaty 聊天機器人： 作為一個智慧對話系統，Chaty 能夠理解使用者的自然語言輸入，並提供相關的回應和資訊。無論是回答問題、提供建議還是進行閒聊，Chaty 都能勝任。
• Clip 影片搜尋專家： 這個模組允許使用者通過文字描述來搜尋影片內容。使用者只需輸入關鍵字或描述，Clip 就能夠在影片庫中找到相關的片段，極大地提高了影片搜尋的效率。
• Joker 笑話產生器： 如果您需要一些輕鬆的娛樂，Joker 笑話產生器可以為您提供源源不斷的笑話。它能夠根據不同的主題和風格生成笑話，讓您在繁忙的生活中放鬆心情。
• Simple Prompt 測試工具： 這個工具旨在幫助開發者測試和優化 Prompt，確保 AI 模型能夠產生準確、有用的結果。通過 Simple Prompt，開發者可以快速迭代和改進他們的 AI 應用。

AMD 的支援與優化

AMD 為 GAIA 提供了普通版和混合版兩種安裝方案。普通版相容任意 Windows 設備，這意味著無論您使用什麼樣的電腦，都可以輕鬆安裝和使用 GAIA。混合版則專為銳龍 AI 300 系列優化，能夠充分利用 AMD 處理器的 AI 運算能力，提供更佳的效能和體驗。

GAIA 的一個重要特點是在地化處理。所有資料都在本地設備上進行處理，無需上傳到雲端伺服器。這不僅確保了使用者的資料隱私，還大大降低了響應延遲。GAIA 的響應延遲降低至毫秒級，讓使用者能夠享受到即時、流暢的 AI 體驗。此外，GAIA 還支援離線執行，即使在沒有網路連接的情況下，也能夠正常工作。

GAIA 專案採用 MIT 開源協定，這意味著任何人都可以免費使用、修改和分發 GAIA 的程式碼。這種開放的模式有助於吸引更多的開發者參與到 GAIA 的開發中來，共同推動 GAIA 的發展。未來，GAIA 團隊計劃將 GAIA 擴展至多平台支援，讓更多的使用者能夠體驗到 GAIA 的便利和智慧。