NVIDIA透過AI Foundry協助企業客製化生成式AI模型，加速模型微調與部署

NVIDIA AI Foundry是款整合管理、合成資料產生、微調、檢索、防護和評估等功能的全面生成式AI模型服務，並可搭配NIM推論微服務，發掘業務資料裡的寶貴價值。

AI模型工廠提高模型產能

晶圓廠是生產晶片的工廠，NVIDIA AI Foundry就是用於生產AI模型的工廠，能夠使用現有基礎模型，搭配NVIDIA NeMo框架、生態系工具和支援，快速開發和微調適合企業的客製化AI模型。

延伸閱讀：NVIDIA推出NeMo Guardrails，防止AI聊天機器人再跟你「一本正經的胡說八道」

開發人員可以在AI Foundry中搭配NeMo框架的多項工具簡化AI模型的管理與部署。例如NeMo Curator是可以透過GPU加速的資料管理函式庫，可以針對大規模、高品質的資料集進行預先訓練和微調，進而提高生成式AI模型的效能，並透過NeMo Customizer針對特定領域應用的大型語言模型進行微調。

此外開發者也可以使用NeMo Evaluator評估AI模型在任何加速雲端或資料中心的執行效果，並透過NeMo Guardrails管理大型語言模型與應用程式的準確性、適當性和安全性，提高生成式AI應用保障。

另一方面，AI Foundry也支援Meta最新推出的Llama 3.1大型語言模型，開發者可以利用私有資料並搭配Llama 3.1 405B和NVIDIA Nemotron模型來建立「超級模型」。

▲ NVIDIA AI Foundry是用於生產AI模型的工具，整合管理、合成資料產生、微調、檢索、防護和評估等功能。

▲ 開發者可以使用現有基礎模型搭配私有資料調整AI模型，並透過NeMo Curator、Customizer、Evaluator、Guardrails等工具進行微調與評估。

▲ NIM推論微服務類似「打包」好的執行環境，可協助開發者快速部署AI模型與應用程式。

▲ ai.nvidia.com網站提供涵蓋多種領域的NIM推論微服務。

▲ NVIDIA也提供適用於Llama 3.1模型的NIM推論微服務。其中Llama 3.1 8B / 70B / 450B等3種不同參數量的模型分別適合單GPU、高精確度需求、合成資料生成等應用情境

▲ NIM推論微服務同時提供最佳化的軟硬體搭配，能夠帶來2.5倍的吞吐量表現。

開發者現在已經可以直接從ai.nvidia.com網站下載適用於Llama 3.1模型的NIM推論微服務，大幅節省部署時間，並可帶來2.5倍於不使用NIM進行推理的吞吐量表現。此外NVIDIA也會在每週一的「Model Monday」提供多款模型更新，開發者可以保持關注。