ADVERTISEMENT
Hugging Face 推出了 SmolLM，這是一款全新的緊湊型語言模型系列，在性能方面超越了微軟、Meta 和阿里巴巴 Qwen 的同類產品。這些模型在不犧牲性能或隱私的情況下，為個人設備帶來了先進的人工智慧功能。
SmolLM 系列具有三種規模的模型，分別是1.35 億、3.6 億和 17 億個參數，目的是為了適應各種運算資源。儘管佔用空間小，但這些模型在測試常識推理和世界知識的基準測試中表現出了優異的成績。
小而強大：SmolLM 如何挑戰 AI 產業巨頭
Hugging Face SmolLM 首席機器學習工程師盧布娜‧班‧艾拉勒（ Loubna Ben Allal）在接受採訪時採訪時強調了針對性小型模型的效能。「我們並不需要大型基礎模型來完成每項任務，就像我們不需要用推土機在牆上鑽個洞一樣，」她說。「為特定任務設計的小型模型可以完成很多事情。」
最小的模型 SmolLM-135M 在訓練的標記數量更少的情況下，性能超過了 Meta 的 MobileLM-125M。SmolLM-360M 超越了所有 5 億參數以下的模型，包括 Meta 和 Qwen 的產品。旗艦模型 SmolLM-1.7B 在多項基準測試中擊敗了微軟的 Phi-1.5、Meta 的 MobileLM-1.5B 和 Qwen2-1.5B。
Hugging Face 的獨特之處在於將整個開發過程開源，從數據管理到訓練步驟。這種透明度符合該公司對開源價值觀和可重複研究的承諾。
秘密武器：高品質的數據管理推動SmolLM 的成功
這些模型的出色表現得益於精心整理的訓練數據。SmolLM 建立在 Cosmo-Corpus 的基礎上，其中包括 Cosmopedia v2（合成教科書和故事）、Python-Edu（教育性 Python 樣本）和 FineWeb-Edu（策劃的教育性網路內容）。
「我們透過 SmolLM 實現的性能表明了數據品質的重要性，」班‧艾拉勒解釋道。「我們開發了創新的方法來精心策劃高品質的數據，使用網路和合成數據的混合，進而創建了最好的小型模型。」
SmolLM 的發表可能會對 AI 的可及性和隱私產生重大影響。這些模型可以在手機和筆記型電腦等個人設備上運行，無需雲端運算，進而減少了成本和隱私問題。
AI 民主化：SmolLM 對可及性和隱私的影響
Ben Allal 強調了可及性方面：「能夠在手機和個人電腦上運行小型且高性能的模型，使每個人都可以使用 AI。這些模型免費釋放了新的可能性，具有完全的隱私和更低的環境足跡，」她在接受採訪時表示。
Hugging Face 研究團隊負責人萊昂德羅‧馮‧維拉（Leandro von Werra）強調了 SmolLM 的實際意義。「這些緊湊型模型為開發人員和終端使用者開啟了無限可能的世界，」他說。「從個性化的自動完成功能到解析複雜的使用者請求，SmolLM 支持自定義 AI 應用程式，而無需昂貴的 GPU 或雲端基礎設施。這是朝著讓 AI 更易於造訪且保護隱私的重要一步。」
SmolLM 等強大、高效的小型模型的發展代表了 AI 的重大轉變。透過使先進的 AI 功能更易於使用且保護隱私，Hugging Face 解決了人們對 AI 環境影響和數據隱私日益增長的擔憂。
隨著今天 SmolLM 模型、數據集和訓練程式碼的發布，全球 AI 社群和開發人員現在可以探索、改進和在此創新方法的基礎上構建語言模型。正如班‧艾拉勒在接受採訪時所說：「我們希望其他人能對此進行改進！」
請注意！留言要自負法律責任，相關案例層出不窮，請慎重發文！