以前只有少部分程式設計師才能摸到的、門檻高難度更高的OpenAI 文本產生器GPT-2，現在終於有了一般人也能使用的Web 版本！在這個由加拿大工程師Adam King 製作的網站上，任何人都能調教簡化版的GPT-2——它能夠辨識各種各樣的輸入，從新聞、歌詞、詩歌、食譜、程式碼，甚至到《魔戒》和《復仇者聯盟》主題，只要給出一個開頭，GPT-2 就能完美地接續你的話題。
在網站上，我們可以看到目前GPT-2 掌握的主題似乎有點過於豐富：
整理行李去火星；說英語的獨角獸；《魔戒》；小行星撞地球；食譜；《復仇者聯盟》劇本；軟體技術文件……
於是，我嘗試了一下「《復仇者聯盟》劇本」，想看看它能不能編出一個《復仇者聯盟5》：
當讀到這個輸出劇本時，我簡直震驚了。其中有大量情感豐滿的兩人互動描寫，包括「Steve 深吻Tony 的前額」，「Steve 望著Tony，Tony 報以微笑」。儘管這個劇本並不完美，但總的來說它非常連貫，看起來不僅像是人寫的，還像是美國隊長和鋼鐵人的同人作品！
而在面對其他類型的輸入文本時，GPT-2 同樣沒有讓人失望：
輸入「美國總統川普宣布永遠關閉美國政府」，GPT-2 續寫道：「川普批評媒體，聲稱競選中有大量非法選票，選舉被操縱了……當他走下台時，抗議的公眾大呼『川普』。」
有時，GPT-2 也會變成爸爸媽媽轉發的朋友圈心靈雞湯：
問它，「我今天應該幹嘛？」，GPT-2 回答道：「去吧，讀一本書，尋找一列火車，欣賞夕陽，品味城中美食。」
GPT-2 流暢的表現令人髮指，時刻讓人覺得，續寫拋出的引子的不是機器，而是藏在黑盒子裡的隱形槍手。然而，就連GPT-2 的創造者們也不知道它的「上限」在哪裡。
OpenAI 加州實驗室工程副總裁David Luan 在接受The Verge 採訪時表示，有一次，他們命令GPT-2 以「垃圾回收為什麼對世界有害」為題寫文章，結果GPT-2 給出了一篇有理有據令人信服的論文。「儘管這個論點和普世認知相悖，但它還是寫出了非常合理的解釋」， Luan 說道，「這篇東西完全可以提交給SAT（美國大學入學前的測試），然後拿高分。」
寫作水準優於80%美國高中生的GPT-2，到底是個什麼模型？
「我們從Reddit 上收集了800 萬個連結」
GPT-2 能應對各種各樣的文風和內容，然而和OpenAI 之前推出的專門打DotA 的電競AI 不同，GPT-2 並沒有接受特定資料集的強化訓練，而是對各種文本「來者不拒」。
一開始，OpenAI 的工程師們只為GPT-2 設立了一個簡單的目標：根據文本中所有已知的單詞，預測下一個單詞。
為了讓GPT-2 變得足夠聰明，工程師餵給了它800 萬個網頁連結。這些鏈接必須精挑細選：要內容豐富多樣，要由真人書寫編輯，要語言足夠精彩。
最終，他們從Reddit 上選取了800 萬條Karma 值（相當於論壇裡的等級）大於3 的高讚數連結，然後抓取了其中的文本部分，形成了一個40G 大小的緊湊訓練資料集。
這種精心篩選使 GPT-2 的資料集比其他競爭對手（如CommonCrawl）的資料集品質更高。
「在某種意義上，所有的工作都是由Reddit 網友完成的，」 OpenAI 研究員Jeff Wu 在接受The Verge 採訪時開玩笑說。OpenAI 主管Amodei 補充道，至少他們沒有用其他更有毒的語料來源，比如4Chan。
在整個無監督訓練過程中，工程師沒有對GPT-2 進行任何有針對性的培訓。這樣一個「放養」的AI（又叫Zero-shot 學習法），卻在盲測中突破了多項記錄，拿下了世界第一。
在OpenAI 部落格公佈的測試結果中，我們可以看到，GPT-2 在多項測試中表現優於在特定領域資料集（例如維基百科，新聞，書籍）上訓練的模型。在著名的AI 常識推理比賽Winograd Schema Challenge 中，GPT-2 的成績把世界紀錄提高了7%。在「兒童書籍填詞測試」中，GPT-2 的表現幾乎與人類無異。
在回應人類輸入的語句時，沒有經過特定訓練的GPT-2 像變色龍一樣，能快速適應條件文本的風格和內容，產生後續文本。
比如這個以假亂真天馬行空的《魔戒》續寫，我覺得甚至比《權力的遊戲》最終季還好看。
「預測文本是AI 的超級任務」
比起GPT-2，此前採用機器學習的AI 都只能算是「狹隘的AI」，僅能處理特定的任務。
例如OpenAI 的DotA 夢之隊能戰勝人類最強玩家，在《星海爭霸》中卻連買兵都不會；DeepMind 的 AlphaGo 能擊敗圍棋冠軍，但它下五子棋的技術可能還不如小學生。但GPT-2 的表現證明，人類有能力訓練出更加泛化的AI。
但在 OpenAI 前工程師 Ryan Lowe 看來，GPT-2 表現出色的原因主要來源於更大的數據庫。GPT-2 的參數數量和訓練數據量都是上一代GPT 的10倍。
與此同時GPT-2 距離工程師夢想中的萬能AI 仍有一段距離。
在產生文本時，儘管語法和拼寫都無懈可擊，一些小問題仍然會暴露GPT-2 的真實身份：例如文本重複，前後矛盾（例如，有時模型會輸出「在水下發生火災」），突然切換話題。
整體來說，GPT-2 對於上下文越熟悉，產生的文本就越合理。在英國脫歐、Miley Cyrus、《魔戒》等流行文化中常出現的話題上，GPT-2 幾乎不會出錯。但在應對技術含量更高、更專業的內容時，GPT-2 就會變成人工智障。
工程師們感到興奮的另一個原因是，預測文本是AI 的「超級任務」，GPT-2 的誕生為問題的解決帶來了希望。從回答「現在幾點了」到自動聯想你簡訊的下一句話，一個好的問答模型可以解決一系列複雜的問題。
「我們不敢公佈原始碼」
除了寫同人小說，GPT-2 還能發揮更大的作用。
OpenAI 預測，在未來，GPT-2 可以成為寫作助手、殘障人士對話輔助AI，同樣的模型還能用於語言之間的無監督翻譯和建立更準確的語音辨識系統。
然而，OpenAI 卻暫時不打算公開GPT-2 的原始程式碼。
「大型通用語言模型可能會產生重大的社會影響，」OpenAI 在文件中寫道，「我們將會發布一個小型模型供研究人員進行實驗。」
在OpenAI 看來，一旦被公開，GPT-2 就可能被惡意利用。無論是產生假新聞，還是用來寫垃圾郵件，GPT-2 都是一把好手，可以想像，有了GPT-2 之後，社群網路上鋪天蓋地的機器人帳號只會變得更加難以辨認。
下一步，工程師們會用更多的資料訓練GPT-2。
「我們很期待到時候會發生什麼，」 OpenAI 工程師Luan 說，「同時也有點害怕。」
但對於普通人而言，我們不需要擔心那麼多，現在登入這個網址，就可以使用GPT-2了！
- 本文授權轉載自Pingwest
那年花開 問所冬暖 我心猶在 【瀨】【jkk5056】
那年花開 問所冬暖 我心猶在 【瀨】【jkk5056】
那年花開 問所冬暖 我心猶在 【瀨】【jkk5056】
那年花開 問所冬暖 我心猶在 【瀨】【jkk5056】
那年花開 問所冬暖 我心猶在 【瀨】【jkk5056】