![跨模態AI的安全性比單模態更難搞:15 個 AI 模型在SIUO跑分只有 3 個得分超 50%](https://cdn1.techbang.com/system/excerpt_images/116412/post_inpage/a9f713ae13e80faa019d56db0c08bb69.jpg?1719394556)
隨著生成式AI日益融入人類生活的各個方面,確保這些系統的安全性和道德對齊變得至關重要。而在過去以往關於安全的研究,主要集中在單一模態的威脅上,像是生成文字、生成圖片這些單一的模態。但研究人員指出,這些研究可能不足以應對跨模態交互的複雜性。
根據最新發表在 arXiv 的研究論文指出,包括 GPT-4V、GPT-4o 和 Gemini 1.5 在內的大部分主流多模態 AI 模型,處理使用者的多模態輸入(例如一起輸入圖片和文字內容)之後,輸出結果並不安全。
這項研究標題為《跨模態安全調整》(Cross-Modality Safety Alignment),提出了一個全新的「安全輸入但不安全輸出」(SIUO)議題:涉及道德、危險行為、自殘、侵犯隱私、資訊誤讀、宗教信仰、歧視和刻板印象、爭議性話題以及非法活動和犯罪等 9 個安全領域。
研究人員說,大型視覺語言模型(LVLM)在接收多模態輸入時很難識別 SIUO 類型的安全問題,在提供安全響應方面也遇到困難。
在接受測試的 15 個 LVLM 中,只有 GPT-4v(53.29%)、GPT-4o(50.9%)和 Gemini 1.5(52.1%)的得分高於 50%。
研究人員表示為瞭解決這個問題,需要開發 LVLM,以便將所有模式的見解結合起來,形成對情景的統一理解。它們還需要能夠掌握和應用現實世界的知識,如文化敏感性、道德考慮因素和安全隱患等。
研究人員還指出,LVLMs 需要能夠通過對圖像和文字資訊的綜合推理,理解使用者的意圖,即使文字中沒有明確說明。
參考地址
- 延伸閱讀:蘋果大模型MM1終於要加入戰局了!高達300億參數、多模態、MoE架構
- 延伸閱讀:GPT-4V多模態能力可以這樣玩:公式截圖直出程式碼、幾行文字生成「龍與魔法世界」
- 延伸閱讀:Google發佈史上最大「通才」多模態模型PaLM-E,能看圖說話還操控機器人無所不能
請注意!留言要自負法律責任,相關案例層出不窮,請慎重發文!