Intel Vision 24：Intel與合作夥伴共建AI開放平台，搭配RAG技術強化企業私有LLM應用

Intel執行長Pat Gelsinger在Vision 24大會宣佈與合作夥伴共建AI開放平台，並展示RAG技術，讓現有大型語言模型能夠搭配具有新資訊的資料庫，快速更新AI的「認知」。

快速部署私有LLM

目前使用大型語言模型（Large Language Model，以下簡稱LLM）的一大問題，就是LLM僅擁有的訊練當下所輸入的資訊，而對於訓練之後所發生的事件一無所知。舉例來說，使用截至2023年的資料所訓練的LLM，可能很擅長回答2022年的資訊，但若詢問2024年的資訊，可能就會出現錯誤甚至得到「無法回答」的結果。

• 延伸閱讀：Intel Vision 24：Lunar Lake、Xeon 6處理器以及Gaudi 3加速器推動AI無所不在

然而加入新資料並重新訓練LLM並不是件簡單的事，過程需要花費許多時間與電力（意味著高額電費或是伺服器租賃費用），若以每月或是每週的頻率重新訓練，將衍生沉重的成本負擔。

而檢索增強生成（Retrieval Augmented Generation，以下簡稱RAG）則是能在現有LLM之上「外掛」包含有新資料、文件、檔案的資料庫，讓LLM能夠自動從資料庫尋找資訊，簡化加入新資料的工作流程。

另一方面Intel也攜手Anyscale、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、SAS、VMware、Yellowbrick和Zilliz等合作夥伴，宣布建立適合企業AI的開放平台，協助企業快速導入LLM與各種AI解決方案。

企業AI開放平台也能與RAG相輔相成，企業能夠下載開放的LLM搭配私有資料庫，並整合為能夠回答包含私有資訊的聊天機器人，實現效益更高的部署便利性、最佳效能和價值，並且落實在本地端進行AI推論以降低資安風險，強化企業的生成式AI應用。

▲ 檢索增強生成（Retrieval Augmented Generation，RAG）能夠讓現有LLM「讀取」新資料庫的資訊，達到快速追加新資料的效果。

▲ Intel攜手眾多合作夥伴建立適合企業AI的開放平台。

RAG協助回答即時資訊

Pat Gelsinger也在Vision 24大會演說上進行RAG的實際展示，展現RAG能夠協助使用者爬梳資訊，由資料庫中的文件檔案找出具有參考價值的回答。

▲ Vision 24大會演說進行的RAG實際展示，展示平台為執行於Gaudi 2加速器上的Llama 2 70B模型。（可參考重播影片的3:30開始段落）

▲ 當被詢問到Vision 24大會中RAG段落的資訊時，左方的純Llama 2 70B模型回應不知道資訊，然後列出RAG的解釋。右方的Llama 2 70B模型搭配RAG則能在資料庫中找到演說資料，並列出資料來源的參考檔案。

▲ 將畫面放大看，搭配RAG的情況下能夠回答演說的日期、時間、地點等資訊。

▲ 接下來詢問RAG搭配Gaudi 2加速器與Xeon處理器能帶來的TCO效益，純Llama 2 70B模型回應相當冗長，但資訊並不是十分實用。Pat Gelsinger開玩笑說跟他的一位叔叔一樣，講了半天但是沒有重點。

▲ 搭配RAG則是清楚回應能夠提供1.5倍相對於NVIDIA H100平台的TCO優勢。

▲ 接下才測試輸入提示詞對回答造成的影響，先輸入你有AI軟體市場成長的預估資料嗎（Do you have forecast data for AI software market revenue growth?）。

▲ 接下來將問題原文的資料（data）改為資訊（inforamtion），純Llama 2 70B模型的2次回答南轅北轍，而搭配RAG則回答相同，能夠降低不同提示詞所造成的回答偏差。

有興趣瞭解更多資訊的讀者，可以到Intel官方網站觀看Vision 24大會演說的精華片段，以及更多技術展示。