瞄準物聯網商機，Google新AI晶片Edge TPU跟以往有何不同？

Google在Google Cloud NEXT 2018活動中宣布推出新AI晶片Edge TPU，這個晶片功能是什麼？和過往的第一代到第三代TPU晶片（又稱為Cloud TPU）哪裡不同呢？

主攻工業物聯網，10月販售開發版套件

根據Google官方部落格資料，Edge TPU是一種低功耗低成本的ASIC晶片，而且體積非常小，小於1美分銅板。ASIC專用晶片和GPU通用晶片比較之下，晶片功耗較低，延遲性也較低，運算效率較高，如Edge TPU在高分辨率影音上可以以每秒30幀的速度，在每幀上同時執行多個AI模型。

另外，Google也將推出Edge TPU開發版套件（module development kit）。其中含有恩智浦CPU、Edge TPU、Wi-Fi功能和加密晶片的開發版在今年10月就會對外販售。

Google也提到Edge TPU將主攻預測性維護、異常檢測、機器視覺、機器人、語音識別等工業物聯網應用場景，除了在工業製造領域，在醫療、零售、智能空間與交通等領域也是用。而LG已經計劃在產品線上使用Edge TPU。

而支援Edge TPU的框架和軟體服務則全都綁定在Google自家的架構之中，打造「封閉的生態系」意圖明顯。希望開發者或企業也會採用Edge TPU後，也會被綁定在Google Cloud服務中。因此在使用上必須搭配Google的 Cloud IoT Edge 軟體，並且針對 TensorFLow 機器學習模型優化。

EdgeTPU新晶片和Google過往推出的TPU晶片不同。Google過往推出的第一代到第三代TPU晶片用途在資料中心，也就是雲端運算的機器學習訓練和推論使用，因此被稱為Cloud TPU，而剛推出的新晶片則用在終端裝置，也就是邊緣運算的推論，也因此Gogole以Edge TPU稱之。

邊緣運算的推論又是什麼意思呢？

什麼是邊緣運算與推論？根據台灣產業分析公司拓墣的描述：邊緣運算可說是物聯網時代下的產物，「邊緣運算在傳統雲端與裝置端的連接中間，多了一層運算層──Edge 端，Edge 其實指的是靠近數據源的運算單位，包括閘道器、路由器，以及硬體底層相關的各種機器、裝置、設備與系統。」

「有了 Edge 端直接針對多裝置、龐大訊息先做擷取、過濾與處理，對裝置端做出回饋與反應，不用讓所有資料都上到雲端，以期在資料量逐漸龐大、重視資訊即時處理傳輸的現代，更能有效率處理資訊，減少事事上雲端所帶來的時間遞延與資料傳輸/儲存成本。」

而推論呢？NVIDIA的官網文章中指出，「深度神經網路進行『訓練』階段，就猶如校園裡的授課活動。就跟大多數人接受教育的理由一樣，神經網路接受教育的理由也是學習怎麼執行工作。更明確一點來說，經過訓練的神經網路會在數位環境裡發揮所學習到的內容，通過應用程式這種簡單的型態來辨識影像、人類語言、血液疾病，或建議人們下一雙可能會買的鞋子等等。這個速度更快、效率更高的神經網路會按照訓練過的內容，猜想新資料的走向。在人工智慧圈的詞彙裡，這稱為「inference」（推論）。」也因此神經網路模型未經過訓練便不會進行推論。

理解邊緣運算與推論之後，我們回過頭來看Edge TPU。以應用場景來看，Google Cloud首席合作夥伴暨代理商愛卡拉互動媒體共同創辦人暨營運長鄭鎧尹指出：

Edge TPU可以讓整個硬體產業，將雲端的強大運算能力「下載」到本地端的機器上面，使本地端的機器具備一定的智能。

如一般居家設備或電子設備，能做一定程度的『預測功能』。舉例來說，家中的智慧「門」遇到來客時，並不需要透過網路把人臉丟回「雲端」辨識，而是「門」自己直接就可做完這個辨識。

終端設備無須將資料回傳雲端，就能直接做出預測可以帶來資料安全性更高、延遲速度較小與不受頻寬限制等許多好處，可以提供更好的使用者體驗。以上述的智慧門人臉辨識為例，就可以更快速地提供來客身份確認。

Edge TPU會取代 Cloud TPU？

那EdgeTPU優點這麼多會取代Cloud TPU嗎？也不會。在AI應用場景中，邊緣運算短期內不會取代雲端運算，因為許多高階應用機器學習模型，由於消耗的運算量大，還是需要透過「雲端」訓練機器學習模型，邊緣運算由於硬體成本與環境限制，還是有其運算侷限，也因此若延伸到兩種晶片的關係上，兩者是相輔相成，功能不重疊，是互補關係。

Google在官方部落格中強調：「Edge TPU是設計來讓Google的 Cloud TPU 產品更完整。」如此一來，可以更快地在雲端中訓練機器學習，然後在Edge飛速進行機器學習推演。這讓你的感測器不再只是數據收集器，而是可以做出更在地、即時、智慧的決策。