![NVIDIA透過AI Foundry協助企業客製化生成式AI模型,加速模型微調與部署](https://cdn0.techbang.com/system/excerpt_images/117081/post_inpage/793c6a0d41903a25ba09335b745d90de.jpg?1721830331)
ADVERTISEMENT
NVIDIA AI Foundry是款整合管理、合成資料產生、微調、檢索、防護和評估等功能的全面生成式AI模型服務,並可搭配NIM推論微服務,發掘業務資料裡的寶貴價值。
AI模型工廠提高模型產能
晶圓廠是生產晶片的工廠,NVIDIA AI Foundry就是用於生產AI模型的工廠,能夠使用現有基礎模型,搭配NVIDIA NeMo框架、生態系工具和支援,快速開發和微調適合企業的客製化AI模型。
開發人員可以在AI Foundry中搭配NeMo框架的多項工具簡化AI模型的管理與部署。例如NeMo Curator是可以透過GPU加速的資料管理函式庫,可以針對大規模、高品質的資料集進行預先訓練和微調,進而提高生成式AI模型的效能,並透過NeMo Customizer針對特定領域應用的大型語言模型進行微調。
此外開發者也可以使用NeMo Evaluator評估AI模型在任何加速雲端或資料中心的執行效果,並透過NeMo Guardrails管理大型語言模型與應用程式的準確性、適當性和安全性,提高生成式AI應用保障。
另一方面,AI Foundry也支援Meta最新推出的Llama 3.1大型語言模型,開發者可以利用私有資料並搭配Llama 3.1 405B和NVIDIA Nemotron模型來建立「超級模型」。
開發者現在已經可以直接從ai.nvidia.com網站下載適用於Llama 3.1模型的NIM推論微服務,大幅節省部署時間,並可帶來2.5倍於不使用NIM進行推理的吞吐量表現。此外NVIDIA也會在每週一的「Model Monday」提供多款模型更新,開發者可以保持關注。
請注意!留言要自負法律責任,相關案例層出不窮,請慎重發文!