ADVERTISEMENT
AMD 宣佈推出首個完全開放的 10 億參數(1B)語言模型系列 AMD OLMo,為開發者和研究人員提供強大的 AI 研究工具。
AMD OLMo 模型從零開始在 AMD Instinct MI250 GPU 叢集上訓練,使用了超過 1.3 兆個 tokens 進行預訓練,讓模型在處理自然語言任務時具有強大的推理能力。
OLMo 模型採用解碼器(decoder-only)架構,並通過下一個標記預測(next-token prediction)進行訓練,這種架構在生成文字和理解上下文方面表現出色。
ADVERTISEMENT
與其他同類開源模型相比,AMD OLMo 在推理能力和聊天能力上表現優異。尤其是在多個基準測試中,其性能與最新的 OLMo 模型相當,且計算預算僅為其一半。
ADVERTISEMENT
ADVERTISEMENT
OLMo 除資料中心使用外,更支援配備 NPU(Neural Processing Unit,神經處理單元)的 AMD Ryzen AI PC 能夠部署模型,使開發者能在個人裝置提供 AI 功能。
AMD OLMo 是完全開放原始碼的,這意味著其他開發者和公司可以自由使用和修改這些模型,這讓其成為希望探索 AI 技術替代方案的企業的一個可行選擇。
ADVERTISEMENT
ADVERTISEMENT