DeepMind給最厲害的AI測了IQ，結果讓人輕鬆了不少！

生活在一個AI「氾濫」的時代，我們幾乎每天都能看到 AI 研究上的最新進展。昨天，AI 打 DoTA 戰勝人類了；今天，AI 能自己找路了；明天，AI 能假冒人類打電話了。在擔心 AI 會滅掉人類的人們眼中，AI 正像一隻怪物一樣野蠻生長，像一隻侵略軍一樣從遠方大跨步逼近。

然而實際上，你所看到的這些進展，只是不同的 AI 在特定方向的進步。雖然當前基於深度學習的 AI 熱潮已經有五六年了，還是沒有一個獨立的 AI，像一個獨立的人一樣，能夠優秀地執行多種任務。

人們在形容 AI 時，通常會用這樣一種說法：這個 AI 的智商，跟三歲小孩差不多。 智商 (Intelligence quotient) 簡稱 IQ，是評價人類智商一個普遍接受的標準 。你有智商，我也有智商，就連三歲小孩也有智商。接下來問題來了：既然說 AI 跟三歲小孩差不多，那麼它的智商到底有多少呢？誰能來給 AI 測測智商呢？

DeepMind要給AI測IQ

自 AlphaGo 出世以來，AI 在解決一些複雜的、策略性的問題上，能力已經得到了證明。但如果想要更像「人」，AI 必須也擁有像人類一樣的抽象理解能力。

現在的 AI 計算能力不用說了，推理能力也很強，所以只剩抽象理解能力了。Google 旗下的 AI 科研機構 DeepMind 認為，「基於神經網路的機器學習模型取得了驚人的成績，但想要衡量其推理抽象概念的能力，卻非常困難。」  

為了搞清楚現在的 AI 在抽象理解能力上究竟實力如何，DeepMind 還真給 AI 設計了一套測試題：

這套測試題，借鑑了人類的 IQ 測試裡著名的瑞文推理測驗：給定一組圖片，找到符合其「演進」規律的圖片。

在這種測試中，題目裡並不會告訴你要找到符合什麼標準的圖形，而是需要我們根據日常生活中學習或掌握到的一些基本原則，來理解和分析測試中出現的簡單圖案。 

要找到正確的答案，往往要借鑑我們從生活中明白的「演進」規律。比如小樹苗長成大樹，比如從 0 到1、2、3、4、5 的加法，再比如加減乘除。以上這些，就是我們生活中所提煉出的抽象的「演進」(progression)的意義，就是人類的抽象理解能力。

「但是，我們現在還沒有找到辦法，能讓 AI 也可以從 『日常經驗』中學到類似的能力。」 DeepMind 在論文中說。

「不過，我們依然可以利用人類的這種視覺抽象邏輯測試，來設計一個實驗。在這個測試中，我們並不是像人類測試那樣，考察從日常生活到視覺推理問題的知識轉移。而是研究AI在將知識從一組受控的視覺推理問題，轉移到另一組問題的能力。」 

簡單翻譯一下這段話就是：DeepMind 先給 AI 餵一組由三角形構成的圖像的視覺推理題庫，等訓練的差不多了，再出一組由方塊構成的視覺推理題，讓 AI 去回答，看它是能隨機應變舉一反三，還是學會了三角，換成方塊就不靈了。

機器人仍需努力

對於擔心 AI 取代人類的朋友來說，DeepMind 的一部分實驗結果確實是個好消息：一些最棒的 AI 模型，在這個IQ測試中的表現得並不怎麼樣。

正如預期的那樣，當訓練集和測試集改採用的抽象元素相同時，多個 AI 模型都表現出超過75%的準確率。 

然而，當測試集和訓練集出現變化，甚至有時候只是把黑點換成較暗的淺色圓點，AI 的表現就會像無頭蒼蠅一樣，失去了准星。 

上面這些都是深度神經網路領域的當紅炸子雞，測起智商來卻沒那麼靈光了。

ResNet  (Deep Residual Network)，即深度殘差網路在其中一組測試中僅僅得到22.4%的低分。 要知道，它的提出曾被形容為CNN（卷積神經網路）的一個里程碑式事件，它在網路深度上比其他模型提升了n個量級，更重要的是它的殘差學習方式，改良了模型的架構，因此一出現就秒殺眾前輩。 

測試中表現最好的 WReN 模型，則是 DeepMind 在關係網路 (Relation Networks) 模型基礎上改良的版本。它增加了對不同圖像組合之間關係的分析，並可以對這類 IQ 測試的各種可能性結果進行評估。

不過，DeepMind 針對這個測試的邏輯，對一些模型進行改良，改良後的模型表現出明顯的提升。

比如，在一些模型中，DeepMind 加入了元標記（meta-targets) 的輔助訓練方法，讓模型對資料集背後體現出的形狀、屬性（形狀的數量、大小、顏色深淺等）以及關係（同時出現、遞減、遞增等等）進行預測，當這部分預測準確時，最終回答的準確率就明顯出現提升，預測錯誤時，回答準確率明顯下降。一些極端情況下，模型回答的準確率更是從預測錯誤時的32%提升至了87%。 

DeepMind 表示，他們設計的這個實驗，最終目的並不是為了讓 AI 能夠通過這種 IQ 測試。他們關注的是 AI 泛化能力的問題。

泛化是指模型很好地擬合以前未見過的新資料的能力，這是機器學習界的術語，你也可以粗暴的理解成一個 AI 模型能否在各類場景中「通吃」。AI 的泛化能力越強，離啥都能幹的所謂「通用人工智慧」就越近。

• 本文授權轉載自:PingWest(品玩)