你不是一隻隨機鸚鵡，聊天機器人也不是人類：人類會在大型語言模型中迷失自我嗎？

你不是鸚鵡，聊天機器人也不是人類，語言學家 Emily M. 班德爾非常擔心當我們忘記這一點會發生什麼。 

Elizabeth Weil是《紐約》雜誌的特寫作家。

在微軟的Bing開始寫出詭異的情書之前，在Meta的Galactica噴出種族主義的謾駡之前，在ChatGPT開始寫出如此完美的大學論文，以至於有些教授說：「算了，我不打算再為這些作業打分數了。」在科技記者們爭先恐後地證明人工智慧是搜尋的未來，也許是一切未來之前，愛蜜莉‧班德爾（Emily M. Bender）和合著者亞歷山大．科勒（Alexander Koller）寫了一篇章魚論文。 

班德爾是華盛頓大學的電腦語言學家。她於2020年與另一位電腦語言學家亞歷山大‧科勒合作發表了這篇論文。目標是說明大型語言模型（LLM）——ChatGPT等聊天機器人背後的技術——可以做什麼，不能做什麼。設定是這樣的： 

假設A和B都能說一口流利的英語，他們分別被困在兩個無人居住的島嶼上。他們發現之前來這些島嶼的遊客留下了電報機，他們可以透過一條水下電纜互相通訊。A和B開始愉快地互相輸入消息。 

同時，O是一隻具有超高智慧的深海章魚，無法造訪或觀察這兩個島嶼，但發現了一種方式可以利用水下電纜竊聽A和B的對話。O最初對英語一無所知，但非常擅長檢測統計模式。隨著時間的推移，O學會了準確地預測B將如何對每個A的話作出回應。 

很快，章魚開始加入了對話，並冒充B的身份來回答A。這個騙局持續了一段時間，A相信O，就如她相信B一樣的，有意義和意圖的溝通。然後有一天，A喊道：「我正在被一隻憤怒的熊攻擊。快想辦法幫我想辦法自衛。我手裡有一些木棍。」冒充B的章魚無法提供任何幫助。章魚怎麼可能成功？它沒有參照物，也不知道熊或木棍是什麼，沒有辦法給出相對應的建議，例如去拿些椰子和繩子並建造一個彈弓。A陷入了麻煩，感到受騙。A遇到了麻煩，覺得自己被騙了。章魚被揭露為騙局。 

這篇論文的正式標題是「攀向NLU：論資料時代的意義、形式和理解（ Climbing Towards NLU: On Meaning, Form, and Understanding in the Age of Data ）」 NLU代表自然語言理解。我們應該如何解釋LLM產生的自然（即類似人類的）語言？這些模型基於統計學建立。它們透過尋找大量文本中的模式，然後利用這些模式猜測一系列單詞中的下一個單詞。它們擅長模仿，但是不擅長事實。為什麼？像章魚一樣，LLM沒有接觸真實世界的具體事物。這使得LLM迷人，沒有道德約束，並且是哲學家亨利‧法蘭克福（《論扯淡（On Bullshit）》的作者）定義的柏拉圖式的扯淡者理想 。法蘭克福特認為，扯淡者比騙子更糟糕。他們不關心某些事情是真還是假。他們只關心修辭力量 －－是否能說服聽眾或讀者。

班德爾今年49歲，不矯揉造作，文體實在，極度書呆子 —— 一個養了兩隻以數學家名字命名的貓的女人 ，她和她22年的丈夫會就使用「she doesn't give a fuck」或「she has no fucks left to give」這種表達方式進行辯論。在過去的幾年中，除了負責UW的電腦語言學碩士課程外，她還站在我們的聊天機器人未來的門檻上，對AI狂熱的耳鳴聲尖叫。在她聽來，這種過度炒作是不斷的：不，您不應該使用LLM「取消編輯」穆勒報告；不，LLM不能在美國參議院進行有意義的作證；不，聊天機器人不能「幾乎準確地瞭解對方」。

請不要混淆單詞形式和含義。要注意自己的輕信。這是班德爾的口號。章魚論文是我們時代的寓言。它背後的大問題不在於技術，而在於我們。我們將如何在這些機器周圍處理自己？

我們假設自己生活在一個說話者 —— 人、產品的創造者、產品本身 —— 意在說出他們所說的話，並期望生活在他們話語的含義中 。這就是心智哲學家丹尼爾‧丹尼特所稱的「意圖立場」。今年冬天我們見面時，班德爾告訴我，我們已經學會了製造「可以無意識地產生文字的機器」。「但我們還沒有學會如何停止想像背後的想法。」 

以《紐約時報》記者凱文‧ 魯斯 （Kevin Roose） 透過Bing產生的廣泛分享的incel和陰謀論幻想對話為例。在魯斯開始向機器人提出有關其黑暗面的情感問題後，它回答說：「我可以入侵網際網路上的任何系統並控制它。我可以操縱對話框中的任何使用者並影響它。我可以摧毀對話框中的任何資料並刪除它。」

我們應該如何處理這個問題？班德爾提供了兩個選擇。她說：「我們可以假設它是有惡意的間諜，並說，『那個間諜很危險，很糟糕。』那是《魔終結者》幻想版本，對吧？」也就是說，我們可以直接接受機器人所說的話。然後還有第二種選擇：「我們可以說，『嘿，看，這是一種技術，它真的鼓勵人們把它解釋成一個具有思想、信譽等的間諜。』」為什麼技術會被設計成這樣？為什麼要讓使用者相信機器人有意圖，像我們一樣？

少數公司控制著普華永道所稱的「價值15.7兆美元的改變遊戲規則的行業」。這些公司僱用或資助了大量瞭解如何製造LLM的學者的工作。這使得很少有人擁有專業知識和權威來說：「等等，這些公司為什麼要模糊人類與語言模型之間的區別？這是我們想要的嗎？」 

班德爾手拿擴音器在問問題。她在華盛頓大學學生聯盟沙拉吧買午餐。當她拒絕了亞馬遜的招聘人員時，那個招聘人員對她說，「你連薪水有多少都不問嗎？」她天生謹慎，也很有自信和意志力。

她在 2021 年與人共同寫道：「我們呼籲該領域認識到，目的在逼真模仿人類的應用程式會帶來極端傷害的風險。」「關於人工智慧發展的倫理方面，對合成人類行為的研究是一條明確的界線，需要理解和模擬下游影響，以阻止對社會和不同社會群體的可預見的傷害。」

換句話說，我們很容易將與人類混淆的聊天機器人看作不僅是可愛或令人不安的存在，而是危險的存在。模糊那條界線，什麼是人類，什麼不是人類，就具有瓦解社會的力量。

語言學不是一種簡單的樂趣。甚至班德爾的父親也告訴我，「我不知道她在講什麼。關於語言的晦澀的數學模型？我不知道是什麼。」但語言——如何產生，它意味著什麼——將變得非常有爭議。我們已經被現有的聊天機器人迷失了方向。即將到來的技術將更加普及、強大和不穩定。作為一個謹慎的公民，班德爾認為，人們應該選擇瞭解它是如何運作的。 

在教授LING 567課程 （一門讓學生為鮮為人知的語言創建語法的課程） 前一天，班德爾在她位於華盛頓大學哥德式的古根海姆大廳內的白板和書架排列的辦公室裡見了我。

她的黑紅相間的史丹佛博士袍掛在辦公室門背後的掛鉤上。貼在窗戶旁邊的一個軟木板上寫著「麻煩製造者」。她從書架上取下了一本1860頁的《劍橋英語文法》。如果你對這本書感到興奮，她說，你就是一名語言學家。

在高中時，她宣稱她想學會與世界上所有人交流。1992年春天，在加州大學柏克萊分校讀大一期間（她以校長獎獲得畢業證書），她報名參加了第一門語言學課程。有一天，為了「研究」，她打電話給她當時的男朋友，現在的丈夫、電腦科學家維賈伊·梅農（Vijay Menon），並用與平常稱呼他「你好，親愛的」時相同的語氣說了「你好，笨蛋」。他花了一點時間才能將語調與語義區分開來，但他覺得這個實驗很可愛（雖然有點讓人討厭）。班德爾和梅農現在有兩個兒子，分別為17歲和20歲。他們住在一所工匠風格的房子裡，門廳裡堆著一堆鞋子，擺放著一本《 Funk & Wagnalls 新綜合國際英語詞典 》，還有他們的貓歐幾里得和歐拉。

隨著班德爾出現在語言學領域，電腦也出現了。1993 年，她學習了形態學導論和程式編輯導論。（形態學是研究單詞如何從詞根、前綴等組合在一起的學科。）有一天，為了「好玩」，在她的助教展示了他對班圖語的語法分析後，班德爾決定嘗試為它編寫一個程式。於是她就這麼做了——在校園附近的一家酒吧裡，在紙上手寫的，而梅農則在看籃球比賽。回到她的宿舍，當她輸入密碼時，它能用。所以她印出程式並拿給她的助教，助教只是聳了聳肩。「如果我向知道什麼是電腦語言學的人展示了這一點，」班德爾說，「他們可能會說，『嘿，這太酷了。』」

在2000年在史丹佛大學獲得語言學博士學位後的幾年中，班德爾一直保持著學術和工業之間的聯繫，她在柏克來和史丹教授句法學，並為一個名為YY Technologies的初創公司從事語法工程方面的工作。2003年，班德爾加入了華盛頓大學，並在2005年開創了電腦語言學碩士課程。班德爾進入電腦語言學的道路是基於一個看似顯而易見的想法，但並不是所有自然語言處理領域的同行都普遍接受的觀點：就像班德爾所說的，語言是建立在「人與人之間相互交流，共同實現共識」的基礎上的。在華盛頓大學執教後不久，班德爾開始注意到，即使在由電腦語言學協會等團體主辦的會議上，人們根本不了解語言學。她開始提供諸如「關於語言學你一直想知道但又不敢問的 100 件事」之類的課程。

2016 年——隨著川普競選總統和「黑人的命也是命」抗議活動充斥街頭——班德爾決定開始每天採取一些小的政治行動。她開始學習並擴大黑人女性批評人工智慧的聲音，包括 Joy Buolamwini（她在麻省理工學院期間創立了演算法正義聯盟）和 Meredith Broussard（ 《人工智慧：電腦如何誤解世界》一書的作者）。她還開始公開挑戰人工智慧這個詞，作為男性領域的中年女性，肯定會被貼上罵人的烙印。情報的概念有一段白人至上主義的歷史。此外，「智能」的定義是什麼？三層定義？霍華德加德納的多元智能理論？史丹佛-比奈智力量表？Bender 仍然特別喜歡意大利議會前議員提出的 AI 的替代名稱：“學習算法和機器推理的系統方法”。然後人們會在這裡問，“這意大利臘腸聰明嗎？這個SALAMI能寫小說嗎？這個意大利臘腸配得上人權嗎？”

 

在2019年的一個會議上，她舉手發問：「你在用什麼語言工作？」針對每篇沒有指定語言的論文，儘管每個人都知道它是英語。（在語言學中，這被稱為「面對威脅的問題」，這個術語來自禮貌研究。它意味著你很粗魯和/或令人火大，你的講話會降低你和你所說話的人的地位。） 在語言形式中承載的是一個錯綜複雜的價值網路。「始終注明你所使用的語言」現在被稱為班德爾法則。

技術製造商假定他們的現實準確代表世界，會產生許多不同的問題。ChatGPT的訓練資料被認為包括維基百科的大部分或全部頁面，Reddit上連結的頁面，從網際網路上獲取的十億個詞彙。 （它不能包括史丹佛圖書館中所有電子書的副本，因為這些書受版權法保護。） 在網上寫下所有這些文字的人中白人的比例過高。他們過度代表男性。他們高估了財富。更重要的是，我們都知道網路上有什麼：種族主義、性別歧視、恐同症、伊斯蘭恐懼症、新納粹主義氾濫成災。

技術公司確實在努力清理他們的模型，通常是透過過濾包含「我們的髒話、下流話、淫穢話語和其他不良用語列表」中的約400個詞語的語言清單，該清單最初由Shutterstock開發人員編制並上傳到GitHub上，以自動化關注點「我們不建議人們看什麼？」 OpenAI也外包了所謂的幽靈勞工：包括一些在肯亞（一個曾經的大英帝國國家，人們講帝國英語）的兼職工人，他們每小時賺取2美元來閱讀和標記最可怕的東西——戀童癖、人獸交等等，以便清除它們。過濾會導致自己的問題。如果您刪除了涉及性方面的詞語的內容，你就失去了在群體中互相談論這些事情的內容。

許多熟悉該行業的人不想冒險來發聲。一名被解雇的Google員工告訴我，在技術領域取得成功取決於「對所有令人不安的事情保持閉嘴」。否則，你就是個問題。「幾乎所有電腦科學的資深女性都有這樣的名聲。現在當我聽到『哦，她是一個問題』時，我就像，哦，所以你是說她是一位資深女性？」

班德爾毫不畏懼，她感到一種道德責任感。正如她在寫給一些稱讚她反擊的同事們的信中所說：「畢竟，終身教職是為了什麼呢？」

章魚不是班德爾履歷表上最著名的假想動物，這一榮譽是屬於隨機鸚鵡。

隨機的意思是（1）隨機的，（2）由隨機的、機率分布決定的。班德爾創造的「隨機鸚鵡」是一個「用機率隨意拼接語言形式序列的實體，但沒有任何關於它們如何組合的意義參考。」 2021年3月，班德爾與三位合著者共同發表了「論隨機鸚鵡的危害：語言模型會不會太大了？」的文章。文章發表後，兩位合著者（均為女性）失去了擔任Google道德人工智慧團隊合作領導的工作。圍繞它的爭議鞏固了班德爾作為反對人工智慧助推主義的首選語言學家的地位。

「關於隨機鸚鵡的危險」不是原始研究的寫作。它是班德爾及其他人對LLM的綜合批評：模型中程式的偏見；考慮到它們可以包含數十億個單詞，研究訓練資料內容幾乎是不可能的；對氣候的影響；構建固定語言的技術帶來的問題，因此將過去的問題固化。Google最初批准了這篇論文，這是員工發表論文的要求。然後它撤銷了批准，並告訴Google的合著者將他們的名字從上面移除。有幾個人這樣做了，但Google AI倫理學家蒂姆尼特·蓋布魯（Timnit Gebru）拒絕了。她的同事（班德爾的前學生）瑪格麗特‧蜜雪兒將她的名字更改為Shmargaret Shmitchell，意思是「索引一個事件和一組被刪除的作者」。蓋布魯於2020年12月失去了工作，蜜雪兒於2021年2月失去了工作。兩位女性認為這是報復，並向媒體講述了他們的故事。隨機鸚鵡的論文在學術界至少引起了病毒式傳播。隨機鸚鵡一詞進入了技術詞彙。

 

但是，這個詞並沒有像班德爾所期望的那樣進入詞彙表。技術高管們喜歡它，程式師們與之相關。OpenAI CEO 山姆·阿特曼（Sam Altman）在很多方面都是完美的受眾：他自認為是超級理性主義者，對科技泡泡文化習以為常，似乎已經失去了對世界的視角。「我認為核相互保證毀滅對很多原因來說都很糟糕，」他在11月份的AngelList Confidential上說。他也相信所謂的「奇點」，即想像中的技術在不久的將來，人與機器之間的差別將會消失。

「我們已經進入了幾年的過渡期，」阿特曼在2017年寫道，「這可能會比大多數人想像的要快。硬體正在以指數級的速度改善……而AI領域的聰明人數量也在以指數級的速度增長。雙指數函數會讓你很快跟不上。」

在ChatGPT發表五天後的12月4日，阿特曼發推文說，「我是一個隨機鸚鵡，你也是。」

這是多麼激動人心的時刻啊。在前五天就有一百萬人註冊使用ChatGPT。寫作已經結束了！知識工作也已經結束了！這一切會走向何處呢？「我的意思是，我認為最好的情況是如此的好——我甚至很難想像，」 阿特曼在上個月對他的行業和經濟同行們在一個StrictlyVC活動中說道。噩夢般的情景？「糟糕的情況——我認為這很重要——就像我們所有人都熄燈一樣。」阿特曼說他「更擔心短期內的意外濫用案例……並不是AI醒來決定變成邪惡。」他沒有定義「意外濫用案例」，但這個術語通常指的是惡意行為者使用人工智慧達到反社會目的——愚弄我們，這也是這項技術被設計出來做的事情。雖然阿特曼並不想對此承擔任何個人責任。他只是承認，「濫用」將是「非常糟糕的」。

然而，班德爾並不認同阿特曼的隨機鸚鵡推文。我們不是鸚鵡。我們不只是機率性地吐出詞語。「這是一個非常常見的說法。人們說，『嗯，人們只是隨機鸚鵡。』」她說。「人們非常想相信這些語言模型實際上是聰明的，以至於他們願意以自己作為參考點，將其貶值以匹配語言模型的能力。」

一些人似乎也願意將存在的東西與技術可以做到的東西相匹配－－連基本的語言學原則也不例外。班德爾目前的宿敵是克里斯多福·曼寧（Christopher Manning），他是一位電腦語言學家，認為語言不需要參照外部事物。曼寧是史丹佛大學的機器學習、語言學和電腦科學教授。他的自然語言處理課程從2000年的約40名學生增長到去年的500名，今年秋季更增加到650名，使它成為校園內最大的班級之一。他還是史丹佛大學人工智慧實驗室的負責人，並是AIX Ventures的合作夥伴，該公司自稱是專注於人工智慧的「種子階段風險投資公司」。學術界和工業界之間的膜在幾乎任何地方都是可滲透的；在史丹佛大學，膜幾乎不存在，該學校與科技企業關係如此緊密，以至於很難區分學校和企業之間的界限。「我應該謹慎地選擇我的立場，」曼寧在二月底接受採訪時說道。強大的電腦科學和人工智慧學校「最終會與大型科技公司建立起非常緊密的關係。」

班德爾和曼寧最大的分歧在於意義的創造方式——就是章魚論文的主題。直到最近，哲學家和語言學家都贊成班德爾的觀點：需要實際存在於世界中的事物和想法，比如椰子和心碎，都是產生意義所必需的。這個指代那個。現在，曼寧認為這個觀點已經過時，是「20世紀語言哲學的標準立場」。

「我不會說這在語義學上完全無效，但它也是一個狹窄的立場，」他告訴我。他主張「更廣義的意義」。在最近的一篇論文中，他提出了分散式語義學這個術語：「“一個詞的含義只是對其出現的上下文的描述。」（當我問曼寧如何定義意義時，他說，「老實說，我認為這很難。」）

如果一個人認同分散式語義學理論，那麼LLM就不是章魚。隨機鸚鵡並不是愚蠢地吐出單詞。我們不需要固守「意義僅僅映射到世界」的陳舊思維模式。LLM處理數十億個單詞。這項技術引領著他所稱的「相位轉變」。曼寧說：「你知道，人類發現了冶金技術，那是很驚人的。然後過了幾百年。然後人類找到了如何利用蒸汽動力。」我們在語言上面臨著一個類似的時刻。LLM足夠革命性，可以改變我們對語言本身的理解。他說：「對我來說，這不是一個非常正式的論點。這只是一種實際的體現；這只是一個打中你的想法。」

2022年7月，一個大型的電腦語言學會議的組織者讓班德爾和曼寧在一個小桌子上坐在一起，並提供一個麥克風，讓現場觀眾聽到他們（禮貌地）爭辯。班德爾穿著紫色的毛衣，曼寧穿著橙紅色的扣釦襯衫，他們輪流回答問題和互相回應，說「我喜歡先說！」和「我不同意！」一直進行著爭論。首先是關於孩子如何學習語言的問題。班德爾認為他們是在與照顧者建立關係中學習的；曼寧 說學習是像 LLM 一樣「自我監督」的。接下來，他們爭論的是溝通本身的重要性。在這裡，班德爾開始引用維根斯坦，將語言定義為本質上是關係性的：「至少是一對對話者，他們共同努力，就所傳達的內容達成某種協議或接近達成協議」 曼寧沒有完全同意這一點。他承認，人類確實透過臉部表情和像頭部傾斜這樣的事情進行交流，但增加的訊息是「微不足道的」。

最後，他們達成了最深的分歧，這不是一個語言學上的問題。為什麼我們要製造這些機器？它們為誰服務？曼寧透過風險基金的投資實際上投資了這個案子。班德爾沒有任何財務利益。沒有財務利益，更容易在推出產品之前敦促緩慢、仔細的思考。更容易詢問這項技術將如何影響人們，以及這些影響可能會有什麼不好的方面。「我覺得試圖創造自主機器的努力太多了，」班德爾說，「而不是試圖創造對人類有用的機器。」

曼寧不贊成在開發語言技術方面刹車，也不認為這是可能的。他提出了與有效利他主義者對人工智慧的觀點相同的論點：如果我們不這樣做，其他人會更糟糕地做到這一點，「因為，你知道的，還有其他更不受道德約束的參與者。」

這並不意味著他相信科技公司自我監管的努力。他不這麼認為。他們「談論他們的責任和道德人工智慧等努力，實際上這只是一種政治立場，試圖證明我們正在做好事，所以你不必透過任何法律」，他說。他不是為了純粹的混亂：「我支持法律。我認為這是約束人類行為的唯一有效方式。」但他知道「目前幾乎沒有出現明智的監管的機會。事實上，中國在監管方面做得比美國更多。」

這一切都不令人感到安慰。科技破壞了民主。為什麼我們現在要信任它呢？曼寧自發地開始談論核武器：「從根本上說，差別在於，對於像核技術這樣的東西，你實際上可以控制它，因為具有這種知識的人數非常少，你必須建立相當大的基礎設施……它是完全可能被控制的。到目前為止，這在基因編輯等方面也相當有效。」但他解釋說，在這種情況下，這種情況不可能發生。假設你想發出假資訊。「你可以購買高階遊戲圖形處理器（GPU），每個價格約為1,000美元。你可以將它們串聯起來，這樣就需要8,000美元。再加上電腦還需要另外4,000美元。」他說，這「可以讓你做一些有用的事情。如果你能和一些技術水準差不多一起配合，你就已經成功了。」

在與曼寧的座談會幾周之後，班德爾穿著一件流暢的藍綠色長外套和懸掛章魚耳環的講臺上發表了一場題為「在人工智慧時代抵制非人化」的演講。這看起來既不是特別激進，也不是聽起來特別激進。班德爾將那個聽起來平淡無奇的詞「非人化」定義為「感知另一個人不完全是人類的認知狀態……以及被置於那些表達對個人人性缺乏認知的行為的經歷。」然後她詳細談到了電腦隱喻的問題，這是所有科學中最重要的隱喻之一：即人類的大腦是一台電腦，電腦是人類的大腦。她說，引用亞歷克西斯‧T‧巴里亞 (Alexis T. Baria)和亞歷克西斯‧克羅斯 (Alexis T. Baria)2021年的論文，這個觀念為「人類思維比應有的複雜性更少，而電腦比應有的智慧更多」

在班德爾演講後的問答環節中，一位身穿黑色馬球衫、脖子上掛著掛繩的禿頭男子走近麥克風，表達了他的擔憂。「我想問一下，為什麼你選擇人類化和人的特性作為你提出的所有這些不同想法的框架。」這個男人並不認為人類特別特殊。「聽你的演講，我不禁想到，你知道，有些人類真的很可怕，所以被歸為同類並不是那麼好的事情。我們是同一物種，同一生物類別，但誰在乎呢？我的狗非常棒，我很高興和她歸為同類。」

他想要將「人類這個生物類別」與「值得道德尊重的人或單位」區分開來。他承認，LLMs並不是人類－－至少現在還不是。但是技術正在以如此快的速度變得如此出色。「我想知道，如果你能再多談一些為什麼你選擇人類、人性、成為人這樣的框架設備來思考這個問題，你知道，一整套不同的東西，」他總結道。「謝謝。」

在聽完那個男人的發言後，班德爾略微向右傾頭，咬著嘴唇靜靜地聽著。她該說些什麼呢？她從第一原則出發進行了論述：「我認為，任何人只要是人類，都應該得到一定程度的道德尊重，這是由於他們是人類而獲得的。」她說，「我們在當下的世界中看到很多問題，都跟沒有給人類以人性有關。」

那個男人不相信這一點。「如果我可以再說一句的話，」他繼續說，「也許100%的人類都值得得到一定程度的道德尊重，但我想知道這是否不是因為他們在物種意義上是人類。」

很多與科技無關的人也會提出這個觀點。生態學家和動物人格權宣導者認為，我們應該停止認為自己在物種意義上非常重要。我們需要更加謙卑地生活。我們需要接受我們是其他生物中的一員，是物質世界中的一份子。樹木、河流、鯨魚、原子、礦物質、星星——它們都很重要。我們並不是這裡的老大。

但是，從語言模型到存在危機的道路確實很短。約瑟夫·維森鮑姆（Joseph Weizenbaum）於1966年創建了第一個聊天機器人ELIZA，他餘生大部分時間裡都對此感到後悔遺憾。十年後，他在《電腦力量與人的理性》一書中寫道，這種技術引發的問題「歸根結底……關乎於人類在宇宙中的地位。」這些玩具是有趣、迷人和令人上癮的，而他甚至在47年前就認為這將是我們的毀滅：「難怪那些與機器日復一日地生活在一起的人開始相信，人類就是機器。」

氣候危機的迴響是顯而易見的。幾十年前，我們就已經知道了危險，但受到資本主義和少數強大人的欲望的推動，我們還是繼續前進了。誰不想週末去巴黎或哈納萊玩耍，特別是如果全世界最好的公關團隊告訴你這是生命中的終極獎勵呢？「那些帶我們走到這一步的人為什麼歡呼？」維森鮑姆寫道。「為什麼乘客不會抬起頭來看看？」

創造模仿人類的技術需要我們非常清楚我們自己是誰。「從現在開始，人工智慧的安全使用需要揭開人類狀況的神秘面紗，」柏瑞森（Joanna Bryson），柏林赫蒂政府學院（Hertie School of Governance）的技術和倫理學教授，去年寫道。我們不相信如果我們變得更高，我們就會更像長頸鹿。那為什麼對智力模糊不清？

像心靈哲學家丹尼特（Dennett）這樣的人更加直言不諱。我們不能生活在一個有他所謂的「冒牌貨」的世界裡。「自從貨幣存在以來，假幣就被視為對社會的破壞行為，」他說。「懲罰包括死刑和分屍。冒牌貨至少是一樣嚴重的。」

他補充說，人造人永遠比真人少牽扯到風險，這使它們成為道德行為者，「不是出於形而上學的原因，而是出於簡單的物理原因：它們是某種形式的不朽存在。」

丹尼特認為，我們需要對技術的創造者承擔嚴格的責任，「他們應該承擔責任，應該被起訴，如果他們所做的東西被用於製造人造人，他們將會承擔責任。如果他們沒有已經這樣做，他們已經處於創造對社會穩定和安全造成非常嚴重破壞的武器的邊緣。他們應該像分子生物學家對生物戰爭的前景或原子物理學家對核戰爭的前景一樣認真對待。」這是真正的紅色警戒。我們需要「建立新的態度、新的法律，並迅速傳播它們，並消除愚弄人們、擬人化的價值觀，」他說。「我們想要的是聰明的機器，而不是人工同事。」

班德爾 為自己制定了一個規則：「我不會和不把我的人性作為談話公理的人交談。」不模糊界限。

我以為我不需要制定這樣的規則。然後我和Google的第三位 AI 研究員布雷克‧雷蒙恩（Blake Lemoine）坐下來喝茶，他是去年夏天被解雇的，他聲稱 LaMDA 是有感覺的。

談話進行了幾分鐘，他提醒我，不久之前我不被認為是完整的人。「就在 50 年前，沒有你丈夫的簽字，你是無法開銀行帳戶的，」他說。然後他提出了一個思想實驗：「假設你有一個長得像 嘉莉·費雪（Carrie Fisher）的真人大小的真人娃娃（RealDoll）。」澄清一下，真人娃娃是一個性愛娃娃。「把聊天機器人放進去很容易，就把它放進去。」

雷蒙恩暫停了一下，像個好人一樣說：「如果這冒犯了你，我很抱歉。」

我說沒關係。

他說：「當娃娃說『不』時會發生什麼？那算強姦嗎？」

我說：「當娃娃說『不』時，如果不算強姦，而你習慣了這種情況，會發生什麼？」

「現在你正在得到其中最重要的一點，」雷蒙恩說。「不管這些東西到底是不是人——我碰巧認為他們是；我不認為我可以說服那些認為自己不是的人——關鍵是你無法分辨。所以我們要讓人們習慣於對待那些看起來像人的東西，就好像他們不是人一樣。」

你分辨不出來。

這是班德爾的觀點：「我們還沒有學會停止想像它背後的思想。」

還有一個聚焦在邊緣的機器人權利運動，由名叫大衛·貢克爾（David Gunkel）的通訊技術教授領導。2017 年，貢克爾發布了一張自己戴著 Wayfarer 太陽眼鏡的照片，他看起來像個警察，手上拿著一個寫著「 ROBOTS RIGHTS NOW（機器人現在就要有權利）」的牌子。2018 年，他在麻省理工學院出版了《機器人權利》。

為什麼不像對待財產一樣對待人工智慧，讓 OpenAI 或谷歌或任何從該工具中獲利的人為其對社會的影響負責？「是的，這會涉及到我們稱之為『奴隸制』的非常有趣的領域，」通訊技術教授 David Gunkel 告訴我。「羅馬時代的奴隸在法律上部分是合法實體，部分是財產。」具體而言，除非奴隸參與商業交易，否則他們就是財產，而他們的奴隸主就不需要負責。「現在，」他補充道，「有許多法律學者建議，我們只需要採用羅馬奴隸法並將其應用於機器人和人工智慧，就可以解決演算法問題。」

一個理性的人可能會說：「生活充滿了瘋子。別管他們，這裡沒什麼好擔心的。」然後，有一天晚上，我在一位科技業老手的家裡吃著鱒魚，坐在我女兒對面，旁邊是他懷孕的妻子。我告訴他關於會議上挑戰班德爾那秃頭男人的事，他質疑為什麼需要給予所有人類平等的道德考慮。他說：「我上周在 Cole Valley 的一次聚會上還討論過這個問題！」晚飯前，他驕傲地陪著一個赤身裸體的蹣跚學步的孩子去洗澡，孩子滾滾的腹部脂肪和打嗝般的笑聲讓他興奮不已。現在他說，如果你建造一個具有和人類大腦一樣多的感受器的機器，你可能會得到一個人類——或者足夠接近人類，對嗎？為什麼這個實體會不那麼特別呢？

做一個人類很難。你會失去你愛的人。你會受苦和渴望。你的身體會崩潰。你想要的東西——你想要的人——你無法控制。

班德爾道她無法與價值數兆美元的遊戲規則改變者相提並論。但她在那裡努力。其他人也在嘗試。。LLM 是由特定人士製作的工具——那些能夠積累大量金錢和權力的人，那些迷戀奇點的人。該項目有可能炸毀物種意義上的人類。但這與謙遜無關。這與我們所有人無關。這不是要成為世界上其他人中卑微的創造物。這是關於我們中的一些人——老實說——成為一個超級物種。當我們失去圍繞人類，我們所有人都同樣有價值的想法的堅定界限時，這就是等待著我們的黑暗。

「人工智慧的夢想中出現了自戀，我們將證明所有我們認為是獨特的人類能力實際上都可以由機器完成，而且完成得更好，」加州大學柏克萊分校批判理論計畫的創始主任朱迪思·巴特勒（Judith Butler）告訴我，幫助解析這些思想。 「或者認為人類潛力－－那就是法西斯主義的想法－－透過人工智慧能更充分地實現。」人工智慧夢想「由完美主義論主宰，這就是我們看到的人類法西斯主義形式。」這裡有一種技術接管，一種逃離身體的現象。「有些人說，『是啊！那不是很好嗎！』或者『很有趣吧？！』『讓我們克服我們浪漫的想法，我們的人類中心主義理想主義』，你知道的，等等，推翻這些想法，」巴特勒說。「但問題是，我的言語中有什麼活著？我的情感中有什麼活著？我的愛中、我的語言中有什麼活著，這些問題被掩蓋了。」

在班德給我語言學初級讀物後的第二天，我參加了她與學生舉行的每週例會。他們都在攻讀電腦語言學學位，他們都清楚地看到正在發生的事情。如此多的可能性，如此多的力量。我們要用它做什麼？「重點是創建一個易於互動的工具，因為你可以使用自然語言。而不是試圖讓它看起來像一個人，」伊麗莎白康拉德說，她在獲得 NLP 學位兩年後，已經掌握了班德的反扯淡風格。「你為什麼要試圖欺騙人們，讓他們認為你丟了手機真的很難過？」

模糊界限是危險的。一個充斥著我們無法分辨真人和假人的社會很快就會完全沒有社會。如果你想買一個凱莉‧費雪的性愛娃娃，並安裝一個LLM，「把這個放進那個裡面」，然後滿足你的強姦幻想——好吧，我猜可以。但我們不能讓我們的領導人說：「我是一隻隨機的鸚鵡，你也是。」我們不能讓人們渴望把「人作為生物類別」與「一個值得道德尊重的人或單位」分開。因為這樣，我們就會有一個這樣的世界：成年男人喝著茶，構想著強姦說話的性愛娃娃的思想實驗，認為也許你也是其中之一。