Facebook AI 「失控」的真相

「Facebook 關閉「失控」的人工智慧系統，因其發展出人類無法理解的語言。」看到這句話嚇死了。

事情是這樣的：據「外媒報導」，Facebook 開發的聊天機器人創造了自己的語言。雖然語言還是英語，但人類無法理解。

關於「人工智慧是否邪惡」的話題，Facebook 創始人馬克‧祖克柏上週還在跟特斯拉 CEO 馬斯克爭吵。馬斯克站正方，認為人工智慧非常值得擔憂，祖克柏站反方，認為人工智慧很有益處，擔憂完全是過慮。

所以……祖克柏就這麼快就被打臉了？曾在著名科幻電影《魔鬼終結者》中出現過的「SkyNet」(天網)，真的來臨了？

抱歉，這完全是在胡扯。我們來看看到底是怎麼一回事。

Facebook 的人工智慧研究院(FAIR)想要訓練一個聊天機器人，讓它學會談判，於是他們開發了一個人工智慧系統。為了幫助大家理解，我們一步一步解釋：

Facebook 用了一個神經網路結構來開發這個系統。這個結構叫做「生成式對抗網路」(Generative Adversarial Networks)，以下簡稱 GAN。

你可以把神經網路理解為一種多層次的、模仿人腦神經元之間相互連接的思考方式的「電腦程式」。

而 GAN 是一種在目前非常先進的神經網路結構，可以理解為兩個神經網路玩《快打旋風》。玩的越多、時間越長，大家的水準都會越來越高。當然，GAN 也有 3 個甚至更多個神經網路的結構。

聊天機器人你肯定見過：蘋果 Siri 就是一個，亞馬遜 Alexa 和 Google Assitant 也是。

Facebook 的這項研究也是如此。研究人員訓練了這樣一個聊天機器人，讓它帶著「目的」和人類對話。而這個目的也很簡單：一共有兩本書、一頂帽子和 3 個籃球，3 樣東西分別設定了不同的權重，為的是讓機器人明白它到底有多想要這些東西，然後去和其他人談判。

Facebook 觀察到的結果是比較正常的，呈現在下圖中：

(Source：Facebook)

但是人跟機器人聊天已經不稀奇了……兩個機器人能聊成什麼樣？研究人員都很感興趣。

今天的對話就發生在聊天機器人 Alice 和聊天機器人 Bob 之間：

上圖是什麼鬼？

原來，研究人員把這兩個聊天機器人湊到一起，但忘了給神經網路設定「用英語溝通」的指令。

剛才說了，神經網路是個程式，裡面有一大堆各種線性的數學公式，有時候線性的公式無法取得想要的結果，有些非線性的需求沒法用線性公式表達出來，這時候就要設定一個激勵函數。激勵函數對於神經網路，簡單來說就是告訴神經網路「這樣做得分更高」。

「堅持用英語說話沒有激勵函數，」這個研究小組的成員之一、喬治亞理工學院的訪問學者 Dhruv Batra 這樣解釋 Alice 和 Bob 奇怪的對話。「機器人會脫線發明一些它們之間才能理解的句法」。

結果，Alice 和 Bob 就聊成了這樣。等於是研究人員告訴了它們：「請用英文」，但忘了告訴它們：「請用英文語法」。

研究人員真的是因為「事情失控了」，才「不得不拔掉系統的插頭」嗎？事情真的像聽上去那樣讓人膽顫心驚嗎？

並非如此。

「我們的目標是讓機器人和人聊天(提高和人聊天的技巧)。」小組的另一名研究員 Mike Lewis 指出，Alice 和 Bob 的對話根本就是個試驗而已，讓兩個聊天機器人聊天根本沒有意義。

(Source：Facebook)

而且，Alice 和 Bob 根本就沒有發明新的語言，因為他們還是在用「i」、「balls」、「the」等英文單字溝通，只是創造了一種新的表達方式而已。

而且他們「發明」的新語言，人類真的聽不懂嗎？再看一遍它們的對話：

Bob: I can ii everything else

Alice: balls have zero to me to me to me to me to me to me to me to me to

Bob: you i everything else

Alice: balls have a ball to me to me to me to me to me to me to me to me

如果你明白了前面描述的試驗目的，很容易就能明白它們的套路。句法的確是亂的，但一句話裡 to me 重複的越多，這個東西對它的意義越大(權重越高)。

翻譯過來就是：

Bob：我可以我任何其他(其他任何東西都可以給你)

Alice：球有 0 對我對我對我對我對我對我對我對我(我沒有球，球對我特別特別特別特別特別特別特別特別重要)

Bob：你我任何其他(你可以拿走其他任何東西)

Alice：球有球對我對我對我對我對我對我對我對我(我要球，球對我特別特別特別特別特別特別特別特別重要)

而且根本不是在談判，就是很普通的表達而已。不給就吵嘛……

Facebook 並沒有「關掉」這個系統，而是重新設定了正確的激勵，修正了機器人的行為，讓機器人用標準的英文語法來進行交流。修正的原因也不是因為害怕 AI 失控──他們的目標是讓機器人和人聊天(提高和人聊天的技巧)。兩個聊天機器人聊天根本沒有意義。

GAN 這個東西，蘋果曾經用它搭建了一個系統，讓它自動合成能以假亂真的圖片，但設計的目的並非欺騙人，而是為學界和業界的其他研究者帶來幫助。因為訓練神經網路需要大量的圖片，但世界上已有的、已標記的圖片資料庫也就那麼多，蘋果的這項研究，能自動創建帶標記的、能被用來訓練的圖片，解決了大家燃眉之急。

今年 2 月，筆者介紹過 Google 本部的人工智慧團隊 Google Brain 做的另外一個實驗：同樣用GAN，他們訓練了 3 個機器人 Alice、Bob 和 Eve，讓 Alice 和 Bob 兩人從零開始琢磨出一個加密方法，讓 Eve 來猜。這 3 個網路的加密學知識都是 0，但隨著訓練次數越來越多，Alice 和 Bob 默契越來越好，Eve 也破解不了。