ADVERTISEMENT
TensorRT是NVIDIA推出的AI運算框架,能夠將多種AI應用程式部署在不同硬體環境中,在最新的第8版更是帶來更2倍效能增益。
透過軟體推升AI效能
NVIDIA推出最新TensorRT,大幅提升AI推論的運算速度,能將語言查詢(Language Queries)所花費的運算時間縮短一半,也創下於1.2毫秒內完成 BERT-Large自然語言處理的速度紀錄,讓使用者不需刪減模型大小而影響準確度,甚至還能反過來提高模型1~3倍,以進一步增加AI推論的準確度,有利於開發效能更好的搜尋引擎、廣告推薦系統與聊天機器人,並可便捷地將它們從雲端提供到邊緣。
TensorRT 8的關鍵技術包括能夠降低運算需求、提升神經網路效率的AI稀疏性(Sparsity),以及透過量化感知訓練(Quantization Aware Training)以INT8精度進行AI推論,在不犧牲準確度的前提下顯著降低運算與儲存的資源需求。
ADVERTISEMENT
ADVERTISEMENT
現在NVIDIA已正式推出TensorRT 8,使用者可以從GitHub取得最新版本程式與範例。
ADVERTISEMENT
ADVERTISEMENT