2023.10.27 14:00

史丹佛研究表明世界上最大的幾個人工智慧模型,包括Meta、OpenAI的資料來源都不是很透明

ADVERTISEMENT

史丹佛大學的一份新報告指出,目前人工智慧基礎模型的知名開發商,包括 OpenAI 和 Meta 等公司,都沒有發佈足夠的資訊來說明其對社會的潛在影響。

史丹佛發佈了其基礎模型透明度指數,該指數追蹤 10 個最受歡迎的人工智慧模型的建立者是否披露有關其工作以及人們如何使用其系統的資訊。 在其測試的模型中,Meta 的 Llama 2 得分最高,其次是 BloomZ,然後是 OpenAI 的 GPT-4。但事實上,就算是名列前三名的模型,表現也稱不上好。

其他評估的模型包括 Stability 的 Stable Diffusion、Anthropic 的 Claude、Google 的 PaLM 2、Cohere 的 Command、AI21 Labs 的 Jurassic 2、Inflection 的 Inflection-1 和 Amazon 的 Titan。

ADVERTISEMENT

人工智慧基礎模型的透明度如何重要?

研究人員承認,透明度可以是一個相當廣泛的概念。 他們的定義基於 100 個指標,這些指標提供有關模型如何建構、模型如何工作以及人們如何使用模型的資訊。

研究人員解析了有關該模型的公開資訊,並給每個人打分,指出這些公司是否披露了合作夥伴和第三方開發商,是否告訴客戶他們的模型是否使用了私人資訊,以及一系列其他問題。

隨著該公司發佈了對模型建立的研究,Meta 得分為 53%,在模型基礎知識上得分最高。 開源模型 BloomZ 緊隨其後,獲得了 50% ,GPT-4 獲得了 47%。

ADVERTISEMENT

儘管 OpenAI 拒絕公佈其大部分研究成果,也沒有透露資料來源,但 GPT-4 卻成功排名靠前,這是因為有大量有關其合作夥伴的可用資訊。 OpenAI 與許多不同的公司合作,將 GPT-4 內建到他們的產品中,產生了大量可供查看的公開細節。

然而,史丹佛大學的研究人員發現,這些模型的建立者都沒有透露任何有關社會影響的資訊,包括向何處提出隱私、版權或偏見投訴。

史丹佛大學基礎模型研究中心的學會負責人、該指數的研究人員之一 Rishi Bommasani 表示,該指數的目標是為政府和公司提供基準。 一些擬議的法規,例如歐盟的人工智慧法案,可能很快就會迫使大型基礎模型的開發商提供透明度報告。

ADVERTISEMENT

「我們試圖通過該指數實現的目標是使模型更加透明,並將非常不明確的概念分解為可以測量的更具體的事物,」博馬薩尼說。 該小組專注於每個公司的一種模型,以便更容易進行比較。

生成式人工智慧擁有一個龐大而活躍的開源社區,但該領域的一些最大的公司並沒有公開分享研究成果或他們的程式碼。 儘管 OpenAI 的名稱中有「開放」一詞,但它以競爭和安全問題為由,不再分發其研究成果。

Bommasani 表示,該組織對擴大該指數的範圍持開放態度,但與此同時,將堅持使用已經評估過的 10 個基礎模型。

ADVERTISEMENT

 

 

 

ADVERTISEMENT