NVIDIA 推出TensorRT 8，帶來2倍AI運算效能提升

TensorRT是NVIDIA推出的AI運算框架，能夠將多種AI應用程式部署在不同硬體環境中，在最新的第8版更是帶來更2倍效能增益。

透過軟體推升AI效能

NVIDIA推出最新TensorRT，大幅提升AI推論的運算速度，能將語言查詢（Language Queries）所花費的運算時間縮短一半，也創下於1.2毫秒內完成 BERT-Large自然語言處理的速度紀錄，讓使用者不需刪減模型大小而影響準確度，甚至還能反過來提高模型1~3倍，以進一步增加AI推論的準確度，有利於開發效能更好的搜尋引擎、廣告推薦系統與聊天機器人，並可便捷地將它們從雲端提供到邊緣。

TensorRT 8的關鍵技術包括能夠降低運算需求、提升神經網路效率的AI稀疏性（Sparsity），以及透過量化感知訓練（Quantization Aware Training）以INT8精度進行AI推論，在不犧牲準確度的前提下顯著降低運算與儲存的資源需求。

▲ TensorRT是可以滿足電腦視覺、自動駕駛、工業自動化、資料中心等AI運算需求的框架。

▲ 它能整合多種不同程式開發工具與硬體平台。

▲ TensorRT 8能帶來多達2倍的效能增益。

▲ 舉例來說可以搭配Merlin推薦系統創造更高的運算效率與商業價值。

▲ Merlin推薦系統可以透過AI分析，應用於將最適合的串流影音影片、網路購買商品、社群媒體推文的推薦給各別使用者。

現在NVIDIA已正式推出TensorRT 8，使用者可以從GitHub取得最新版本程式與範例。