2024.11.09 08:30

AMD 發表開源 AI 模型 OLMo,完全由 Instinct MI250 GPU 叢集訓練而成

ADVERTISEMENT

AMD 宣佈推出首個完全開放的 10 億參數(1B)語言模型系列 AMD OLMo,為開發者和研究人員提供強大的 AI 研究工具。

AMD OLMo 模型從零開始在 AMD Instinct MI250 GPU 叢集上訓練,使用了超過 1.3 兆個 tokens 進行預訓練,讓模型在處理自然語言任務時具有強大的推理能力。

OLMo 模型採用解碼器(decoder-only)架構,並通過下一個標記預測(next-token prediction)進行訓練,這種架構在生成文字和理解上下文方面表現出色。

ADVERTISEMENT

與其他同類開源模型相比,AMD OLMo 在推理能力和聊天能力上表現優異。尤其是在多個基準測試中,其性能與最新的 OLMo 模型相當,且計算預算僅為其一半。

ADVERTISEMENT

 

ADVERTISEMENT

OLMo 除資料中心使用外,更支援配備 NPU(Neural Processing Unit,神經處理單元)的 AMD Ryzen AI PC 能夠部署模型,使開發者能在個人裝置提供 AI 功能。

AMD OLMo 是完全開放原始碼的,這意味著其他開發者和公司可以自由使用和修改這些模型,這讓其成為希望探索 AI 技術替代方案的企業的一個可行選擇。

ADVERTISEMENT

ADVERTISEMENT