NVIDIA公布最新MLPerf AI效能測試成績，x86與Arm伺服器成績都有所領先

NVIDIA在最新公布的MLPerf測試成績中，提供了使用多種運算平台的效能表現，並首次提供於Arm處理器平台搭配A100運算卡的數據。

維持絕對效能優勢

MLPerf是由學術界、研究實驗室和業界共同組成的AI聯盟，目標為打造公平、實用測試基準，透過圖像分類、物體偵測、翻譯、自然語言處理、推薦等不同類型的測試項目，提供客觀的AI訓練與推論效能評估。

在最新公布的結果中，可以看到A100運算卡在過去1年中，能夠透過軟體更新多可帶來50%的效能增益，讓使用者不需額外支出就能改善AI運算效能表現。至於與Qualcomm Cloud AI 100以及Intel Xeon Platinum 8380等運算平台的效能對比部分，無論在資料中心以及邊緣運算等使用情境下，主流的A30運算卡與高階的A100運算卡都能取得效能領先，而在電力效率部分，A100與Cloud AI 100則互有輸贏。

值得注意的是，這次的成績還包含了Arm架構伺服器搭配A100運算卡的數據，可以看到它能夠提供與x86平台相近的效能表現。

▲ MLPerf 1.1包含推薦、自然語言處理、語音辨識、醫療影像、圖像分類、物體偵測等多種不同項目，並交叉搭配資料中心、邊緣運算之離線運算（不在意延遲）、即時運算（在意延遲）等情境。

▲ 過去1年中A100運算卡透過軟體更新多可帶來3~50%效能增益。

▲ 在資料中心的離線與即時運算情境下，A30就有不錯的表現，A100則是完全壓制對手。

▲ 邊緣運算的表現趨勢也差不多。

▲ 細看A100與Cloud AI 100在資料中心的效能表現，A100的效能全面領先，而電力效率互有輸贏。

▲ A100還能透過多執行個體GPU技術（Multi-Instance GPU，MIG）以虛擬化方式切分資源，大幅提升使用彈性。

Arm高效能運算資深總監David Lecomber表示，身為MLCommons的創始成員，Arm致力於建立標準測試流過程，而這次公布的數據可以證明Arm架構處理器與軟體堆疊已經準備好搭配NVIDIA GPU進行各種AI運算負載。