普林斯頓教授寫「現代AI防騙指南」：很多所謂的「AI」都是騙子，表現不見得比亂數產生器好

現在看似是AI時代，很多公司都推出了以AI為名的智慧商品，從硬體到軟體都有，連面試都可以有所謂的AI篩選。不過，你有懷疑過，這些AI的演算法到底是什麼，真的是AI嗎？有位名叫 Arvind Narayanan 的普林斯頓電腦科學系副教授終於跳出來，炮轟：某些公司為了賣產品，利用公眾的不瞭解，不管賣的是什麼通通貼上「AI」的標籤。

為什麼「假AI」的東西這麼多？主要還是為了用來騙騙投資人，有故事可說。

在AI時代，像 AlphaGo 這樣優秀的 AI 產品，吸引了大量的投資者。但是其實都是叫著「AI」的東西，一般人根本分不出來背後用的是不是AI。而在同樣的光環之下，「偽AI」產品同樣能募集到巨額資金，甚至在資本的推動之下，成為趨勢，影響越來越多的人。

Arvind Narayanan以 「AI 面試」舉例。現在，全球已有百萬求職者經歷過或正在經歷 AI 面試官的「凝視」。

提供這類產品的公司非只一家，其中最知名的 HireVue，聲稱全球有超過700家公司使用他們的產品，其中不乏世界500強企業。目前，這家公司已募集資金9300萬美元。

▲ 康乃爾大學調研結果

但是，Arvind Narayanan指出：「沒有經過同行評審的證據能夠表明，這些東西真的可以預測工作績效。數百萬求職者面對的不過是精心設計的隨機數產生器。」

令人懷疑的，還遠不只是這一種產品。為了讓大家不被這樣的話術給騙了，Arvind Narayanan決心教會大家如何辨識這些 AI 界的騙子們。他的這份「防騙指南」登場數小時，就已經在推特上收穫了1500讚。

 

AI 騙子長什麼樣

首先，阿文德認為，現在的 AI 應用方面可以歸納成三類：

• 真正成效的項目

• 不完美但進展明顯的項目

• 根本不可靠的項目

總結起來，在人臉辨識這樣的感知任務，和推薦演算法這樣的自動判斷任務上， AI 的表現都比較可靠而且實用。

而「偽.AI」所做的事情，多半都是在做預測和人有關的「未來」。

「人們無法預測未來本來應該是常識，但遇上 AI，常識總是被拋到腦後。」

當然，口說無憑，阿文德引用了普萊斯頓大學脆弱家庭和兒童福祉研究的一項研究結果（地址見文末）。

這項研究旨在探明孩子們的表現到底是不是可以預測的。

流程是這樣：先透過深入訪談和家庭觀察收集大量孩子及其家庭的數據。然後，用這些數據訓練預測模型。輸入的變量有近13000個，輸出結果將預測這些孩子在15歲時6種表現。

如果模型能夠完美預測出結果，R^2=1，如果模型啥也沒學會，R^2=0。

但訓練的結果，卻讓參與研究的研究人員們大跌眼鏡。

即使是表現最好的模型，也並沒有哪一項預測結果是讓人信服的，甚至不如用4個變量線性回歸擬合出來模型靠譜。

▲ 綠線：4變量線性回歸結果

這一結果並非個例。在一項再犯罪率的預測研究中（論文連結見文末）， AI 的預測準確率只比隨機結果好一點點，還是比邏輯回歸的結果低了2個百分點。

並且，不只是預測結果不可靠，這樣的預測 AI ，還暗含著更多風險。

• 首先，訓練這樣的 AI 需要收集大量個人隱私數據。誰都沒有辦法保證，這些數據會絕對安全。
• 其次，人們對這類 AI 的盲目信任，會使得一個領域的發言權，從領域專家和從業人員身上，大規模轉移到掌握 AI 的科技公司。
• 更重要的是， AI 的黑盒子屬性使得它給出的結果缺乏解釋性。

很可笑的是，人類知道去求神問卜得出來的結果不科學，但是用AI得出來的結果，就變得很科學，就算你不知道AI背後的模型可不可靠也一樣。

就像是一開始舉的 AI 面試的例子， AI 面試官給你打了個低分，誰也沒法兒解釋，到底是因為你表現不夠自信，還是你身邊的雜訊影響了它的判斷。

不是每一隻 AI 都叫 AlphaGo 。阿文德承認，人工智慧在某些任務上表現得十分出色，但如果有人把 AI 當成了萬金油，只為了分得 AI 風口上的一杯羹，那麼，就要擦亮雙眼，該反對反對，該抵制抵制。

 

一石激起千層浪

天下苦「偽AI」久矣。阿文德的「防騙指南」一經公佈，就在社群網路上引發了熱烈的討論。

有人指責「人工智慧」一詞本就帶有行銷色彩，如果要討論技術，就應該換一個詞。

有人提及，連 Facebook、Google 這樣的科技巨頭都在 AI 方面造假。

註：Google能夠自動打電話、被稱讚通過圖靈測試的 AI Duplex，被《紐約時報》曝出4次成功完成的任務中，有3次靠的是人工。

有人認為，真正的 AI 會改變遊戲規則，讓人無法忽視，也無需大肆宣傳。

還有人對「防騙指南」做出了補充：

我曾經採訪過這樣一家 AI 初創公司。領英顯示，他們對開發人員不屑一顧，但對「培訓師」卻頗為關注。

我很懷疑他們到底是不是真的在造 AI 。

 

傳送門

PPT地址：

https://www.cs.princeton.edu/~arvindn/talks/MIT-STS- AI -snakeoil.pdf

Hacker News討論：

https://news.ycombinator.com/item?id=21577156

普萊斯頓大學脆弱家庭和兒童福祉研究：

https://fragilefamilies.princeton.edu/about

累犯預測：

https://advances.sciencemag.org/content/4/1/eaao5580

• 本文授權轉載自：36kr（36氪）