ChatGPT讓設備開口問問題？探索生成式AI與IoT物聯網的新應用！

（本文為專家投稿，作者為黃正傑。黃正傑博士長期研究雲端運算、大數據、人工智慧、工業互聯網等技術應用趨勢並協助前瞻計畫發展與管理。曾擔任產業數位轉型顧問、產業分析師、電子化技術顧問、供應鏈管理顧問等職務。目前為鼎新電腦前沿研發架構師，經營《就享知-科技轉角巷》頻道，並兼任文化大學助理教授。《T客邦》歡迎各路好手針對擅長主題投稿或是針對數位議題發表自身意見，詳情以及方式請見徵稿頁面。）

路邊的路燈、工廠的機器手臂開口跟您求助，是不是科幻小說的情節？生成式 AI 結合物聯網IoT將讓這種科幻情節成真！！本文探索如何透過生成式 AI 並結合IoT發展新型態的知識搜索、設計、控制與人機協作方式。生成式 AI 正持續發展，將改變我們跟設備、物件的互動關係！！

AI邁入語言主導時代

如果你在無人路邊聽到：「請就救我！！」的聲音，可不要嚇到！！這可能是路邊的路燈、機車向你發出求救訊息！！這是 GhatGPT 這種生成式 AI 結合物聯網設備的研究發展，Amazon、Google都如火如荼的進行研究中。

生成式 AI，基於大型語言模型(LLMs)的預訓練，可以生成問答、文章、圖形、程式碼乃至於生成材料。如圖所示，生成式 AI 是基於機器學習、深度學習與自然語言技術的一種 AI 模型。相較於傳統機器學習，主要用來協助分析與預測，如：銷售預測、預測維護；深度學習協助具備大量特徵的影像與語言進行學習與辨識，如：人臉辨識、物件偵測、光學檢測、自然語言理解等。

生成式 AI 更專注於大量的語言累積所代表的知識學習與推論。這使得生成式 AI 可以跨越學科，回答化學公式、程式撰寫、繪寫作等，當然也會深刻地影響企業營運、商業運作。因為，我們就是運用產業知識、語言溝通及作業流程進行每日的企業營運。Accenture 顧問公司即說，生成式 AI 正在帶領我們進入「語言主導」的新時代！！

▲ 生成式 AI 與人工智慧(資料來源：Gartner，Accenture)

那麼，我們鮮少進行溝通及流程整合的設備呢？生成式 AI 結合物聯網勢必帶來一種新的企業營運方式。我們正在迎接與路燈、水壺、乃至於機器手臂、生產設備進行深度對話與融合的時代！！

探索生成式IoT的企業應用

結合人工智慧與物聯網的 AIoT 技術已經協助企業在設備預測維修、光學瑕疵檢測、工業安全、機器人自動化、數位孿生等應用上大放異彩。那麼，生成式 AI 技術如何更深入地與物聯網IoT整合呢？以下是舉出幾個應用方向。

深度知識搜索：設備的知識散落在維修手冊、維修紀錄、抱怨紀錄及老師傅的經驗。透過生成式 AI 的語言彙整、摘要能力，可以提供企業深度的搜索相關數據並進一步進行回答、建議等。新創公司 Pryon 即利用上下文感知、自然語言、生成式 AI 和其他技術進行不同數據源的蒐集與彙整資訊。企業員工可以基於語音助理進行互動，該助理可以從不同的數據管道中檢索文檔、數據以進行回答。因此，菜鳥設備維修員可以透過問答方式快速取得各項知識進行學習。

▲ 深度知識搜索與問答(資料來源： Pryon)

生成式設計：生成式 AI 的最大強項就是能夠生成各種內容，特別可以運用在產品、設備的設計生成上。ABB 機器手臂製造公司即與 Altair、MX3D 公司合作，使用增成製造技術、生成式 AI 、3D 列印技術等，設計出比原機器手臂更輕量、操控性更佳、精準性更高的機器手臂。這種生成設計，不但可以提高機器手臂的品質也提供未來快速客製化客戶所需機器手臂的商業營運方式。BMW 亦將生成設計運用在產線配置、人機協作的最佳化模擬設計上，提高生產效率。

▲ ABB 機器手臂優化生成式設計(資料來源： MX3D)

自然語言控制：利用生成式 AI 從自然語言轉換程式碼的能力，可以更容易地操作設備、或理解工廠環境問題。例如：Groundlight 是一家新創公司，即結合自然語言、電腦視覺以理解、控制設備。如：詢問監控攝影機「是否有推高機佔住走道？」，攝影機可以根據視覺辨識結果判斷回答。Google 也正進行發展機器人控制的預訓練模型，讓機器人可以理解自然語言指令、電腦視覺影像，進一步能自主的產生控制行動，如：等待、停機、減料等動作。

▲ 自然語言詢問與控制機器(資料來源： Groundlight)

生成式情境學習：那麼，可不可以強化機器、設備的學習能力呢？過去發展機器人學習系統困難在於缺少足夠的數據進行學習。試問，我們能模擬多少個機器手臂協作、人機協作、AGV 物料搬運車行走的情境呢？運用生成式 AI 可以自動化生成多種情境讓機器人學習，以更完善移動、夾取等動作。Meta 公司即研究 GenAug 生成增強方法，可以通過簡單的輸入文本來創建新場景的圖形，以供機器人針新場景進行學習訓練。

▲ 生成機器人學習場景(資料來源：Meta)

生成式人機對話：我們總會對小孩說：「多發問可以學得更多！！」。那麼，設備、機器人可不可以主動發問問題，以獲得更多命令或資訊進行學習？Amazon 即利用生成式增強模型發展一個詢問、回答的互動式架構，以協助更多的設備、物件與人進行互動式對話的學習，最終完成任務。如圖，人類發出指令：要求機器人去廚房桌子把刀子拿起來。機器人不斷地詢問人類以完成工作。

▲ Amazon 生成式對話人機協作(資料來源：Gao etc al. 2022)