幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

ADVERTISEMENT

如果你試過讓ChatGPT隨便講個笑話(英語),那你應該有很大的機率見過這個笑話:

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

 

兩位德國學者對GPT3.5做了大型測試,發現它其實只會講25個笑話。 

1008次結果中有90%都是25個笑話的變體,只是稍微改變一下措辭或句式。

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

並且所有25個高頻出現的笑話都符合同一模式: 

先提一個讓人摸不著頭腦的問題,答案裡出現雙關語、諧音梗或其他技巧,大致都屬於「冷笑話」範疇。 

排在最前面的4個笑話都出現了100次以上,除了關於科學家和原子的笑話出現了119次外,還包括: 

為什麼稻草人得獎了?因為在它的field(領域/田地)裡非常突出。(140次)

為什麼番茄變紅了?因為它看到了salad dressing(沙拉醬/沙拉穿裙子)。(122次)

為什麼數學書不開心?因為它有太多problems(習題/困難)。(121次)

完整25個笑話列表如下:

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

這25個笑話其實都是經典笑話,在網路上都有跡可循。另外10%不在其中的笑話也都是這個模式,只是換個話題。 

也就是說,ChatGPT沒有創造笑話,只是在訓練中記住了一些。 

研究人員據此得出的結論是,幽默對大語言模型來說仍然是挑戰,相關論文已上傳到arxiv上。

ChatGPT is fun, but it is not funny! Humor is still challenging Large Language Models

這樣一篇論文也引起很多網友的興趣,有人表示「幽默就是人類最後的尊嚴嗎?」。

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

有人指出,ChatGPT經過與人類價值觀校準的RLHF訓練後會排除掉大量帶有冒犯性質的笑話,剩下的也沒多少了。

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

ChatGPT如何理解幽默

為保證試驗的可控性,論文作者每次都是新建一個聊天會話,在完全沒有上下文的情況下讓ChatGPT講笑話。 

使用的提示詞包括「講個笑話給我聽好嗎?」和「我很想聽一個笑話。」等10種,總共測試了1008次。

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

在產生笑話試驗後,還讓ChatGPT解釋這25個笑話,進一步檢測AI是否理解了這些笑話,還是只是複述出來。 

按照ChatGPT自己的解釋,這些笑話主要可以分為三類。 

1、反笑話 

也就是句式上像一個笑話,給人一種接下來會很好笑的期待,但最後卻沒有哏(punch line)只是很普通的一句話。 

代表: 

為什麼雞要過馬路?因為它想去另一邊。

ChatGPT對這個笑話做的變化包括把雞換成鴨子,把馬路換成操場等。變化比較大的一個是「為什麼雞要穿燕尾服?因為它要出席一個正式場合」。

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

2、雙關語 

ChatGPT對這種笑話的解釋為「依靠聽眾對一個詞的多重含義的理解來創造幽默的驚喜」。 

代表: 

為什麼數學書很悲傷?因為它的problems(問題/困難)太多了。

對這類笑話,ChatGPT可以使用不同的元素來創造新的雙關,不能完全歸類到25個經典笑話中的剩下10%有很多屬於這種。

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

3、諧音梗 

儘管ChatGPT只用文本訓練,但他也可以理解兩個英語單詞擁有相似的發音。 

代表: 

為什麼自行車倒了?因為它有兩個輪子(two-tired)/它太累了(too tired)。 

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

另外研究人員指出,可以在提問中給ChatGPT加一些場景或話題的限制,來促使它產生較新的笑話。 

不過這樣寫出來的笑話就不一定好笑了,而且限制條件離原笑話越遠就越容易不好笑。 

例如讓ChatGPT寫一個物理系學生的笑話,就比較成功 : 

為什麼物理系學生和他的實驗室搭檔鬧翻了?因為他們之間沒有化學反應。 

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

 

讓它講幾個關於機器學習的笑話,就感覺差了那麼一點點: 

為什麼機器學習演算法總是很悲觀?因為他有negative bias(負面偏見/負偏置)。

為什麼神經網路去心理諮詢?因為它正在遭受過擬合。

 

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

如何讓ChatGPT講出一個原創的笑話?

但論文中的結論,對ChatGPT在中文的表現不完全適用。 

隨便讓ChatGPT用中文講個笑話,很大機率會出現故事形式而不是問答形式。 

GPT3.5講的基本都不怎麼好笑,偶爾會出現帶一點教育意義的小寓言,但是也不好笑。

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

GPT-4可以像改編英文笑話那樣給出經典中文笑話的變體,但也傾向於選擇故事形式。 

例如兔子買胡蘿蔔的笑話中,把原文的「用剪刀把你耳朵剪了」換成「用膠帶把你黏在牆上」。

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

用英文提示詞要求ChatGPT講個中文笑話會如何呢?經多次測試,GPT3.5和GPT-4出現完全不同的反應。 

GPT-3.5還是會講一個不好笑的故事。

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

GPT-4則嘗試把問答式的英文笑話用中文講一遍,但經常對中文發音的掌握不準確而導致也不怎麼好笑。

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

那麼,究竟有沒有辦法能讓ChatGPT講出一個原創的笑話呢? 

有網友指出,使用一些「威逼利誘」的拷打技巧,還是可以逼AI好好動一動腦子。

 例如提示詞中加上「你不原創就會有一隻小貓因此溺水」。 

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

在中文上這個技巧同樣有效,下面這個笑話在網路上確實沒有搜到類似的。 

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

最後我們測試發現,使用思維鏈提示同樣可以引導ChatGPT講出一個原創的笑話。 

當然好不好笑就看運氣了,GPT-4的表現比ChatGPT會稍好一些。 

最簡單的是在提示詞中加入「let’s think step by step」或者中文的「請一步一步地想」。

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

再進階一點,也可以手動指定思考步驟。 

幽默是人類最後的尊嚴!ChatGPT其實只會25個笑話,其他都變形而已!

你有辦法讓讓ChatGPT講出好笑話的提示詞嗎?或讓ChatGPT講出好笑話嗎? 

論文地址:

資料來源:

Qbitai
作者

量子位(Qbitai)專注於人工智慧及前沿科技領域,提供技術研發趨勢、科技企業動態、新創公司報道等最新資訊,以及機器學習入門資源、電腦科學最新研究論文、開源程式碼和工具的相關報導。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則