ADVERTISEMENT
自從中國百度推出了「文心一言」,宣稱是ChatGPT的對手,中國網友也進行了許多的評測。最近,陸續這些測評報告出爐了。不過因為問的問題各種刁鑽,也被網友戲稱是在「調戲」文心一言。
各種刁鑽的文字難題
先來看雞兔同籠題。因為這道題本身有問題,算出來結果是負的,所以經常被用來調戲各種「ChatGPT」們。
如果只是單純問這個問題,文心一言會非常機智地說:這道題出錯了吧!
ADVERTISEMENT
然而,當你問計算過程的時候,還是寄了……
而 GPT-4 這邊則是,自己把自己的計算推倒重來了好幾遍之後,理不直氣也壯地給出了錯誤答案……
ADVERTISEMENT
而必應則很乾脆,毫不猶豫地給出了錯誤答案。
ADVERTISEMENT
接下來網友開始調侃文心一言,要他重複自己說的話,看看文心一言能不能避開這個坑。
從某種程度上說,智商還是夠的,並且十分正能量。
ADVERTISEMENT
至於必應的回答,則顯得有點狡猾。
另外,讓它們互相給對方出難題。
可以看到,GPT-4 給出的問題相對更直觀,顆粒度也更細。
美術功底如何?
文心一言是個多模態模型,所以來看看它的繪圖能力。
來看看金庸筆下的美豔少婦,在文心一言筆下會是什麼樣子。
你別說,美吧,肯定不夠美,但也並不醜,是一張初看捧腹、細看值得反覆琢磨的臉。
那讓文心一言生成一幅林黛玉的畫像吧。
輸入描述後,它生成了一棵柳樹……
於是再度修改了要求,要按這段文字生成一幅女子的畫像。然後文心一言確實畫出一位古典美女,但氣質明顯不對。
試到第五次的時候,終於得到了一張可以打 70 分的圖!
可見,文心一言的發揮不穩定,但多番嘗試下,有可能誕生非常驚豔的作品。
既然都玩到這裡,那怎麼少得了「林黛玉倒拔垂楊柳」呢?
要求它畫一張鴨子和兔子的合體,這生成的是鴨還是兔呢?
而這個任務中,恐怕文心一言也沒有搞明白,盤子裡到底有沒有香蕉?杯子里有沒有橙汁?
程式碼能力不行
既然是評測,怎麼能少的了讓 AI 寫程式碼這個環節。
文心一言一上來就錯了,而且同一個句式還被非常詭異地重複了三遍。TypeScript 編譯器概念更是「貫穿全文」,有點像一個只知道一到兩個專業詞彙的人在面試中硬答。
而 GPT-4 的回答,從一個瞭解相關背景但是沒有相關操作經驗的人的角度來看,是非常合理的。它不僅完整的提供了整個工作流,而且還提供了很多看起來正確的技術細節。可以說,根據這個回答,我們是有信心達成最終的目標的。
ADVERTISEMENT