阿里雲宣佈開源Qwen-VL及Qwen-VL-Chat視覺語言模型，支援中英文圖文輸入

阿里雲宣佈推出兩款大規模視覺語言模型Qwen-VL及Qwen-VL-Chat，支援中英文圖文輸入，並具備多模態訊息理解能力，目前已在其開源社區魔搭（ModelScope）及AI協作平台Hugging Face上架，促進開源生態發展。

Qwen-VL和Qwen-VL-Chat是支持中英文語言的視覺語言模型，以阿里雲之前開源的通義千問70億參數模型Qwen-7B為基礎語言模型研發，除具備中英文圖文識別、描述和問答對話能力，更新增視覺定位和圖像文字理解能力。

Qwen-VL及基於這一模型微調的對話模型Qwen-VL-Chat可用於知識問答、圖像標題生成、圖像問答、文件問答、細粒度視覺定位等多種場景。例如用戶可拍下醫院樓層導覽圖，問Qwen-VL Chat：「外科在哪層？」、「耳鼻喉科去哪層？」，Qwen-VL會根據圖片訊息給出文字回覆。

為進一步助力AI技術普惠，全球學術、研究及商業機構均可免費獲取上述模型的代碼、模型權重和文件。對於商業應用需求，月活躍用戶少於1億的公司可免費使用模型，用戶數超過該量級的企業可向阿里雲申請許可證。

Qwen-VL和Qwen-VL-Chat以Qwen-7B為基座語言模型，在模型架構上引入視覺編碼器，使得模型支持視覺訊號輸入，並透過設計訓練過程，讓模型具備對視覺訊號的細粒度感知和理解能力。Qwen-VL支持的圖像輸入分辨率為448，此前開源的LVLM模型通常僅支持224分辨率。在 Qwen-VL 的基礎上，通義千問團隊使用對齊機制，打造基於LLM的視覺AI助手Qwen-VL-Chat，可讓開發者快速搭建具備多模態能力的對話應用。

在四大類多模態任務（Zero-shot Caption/VQA/DocVQA/Grounding）的標準英文測評中，Qwen-VL取得同等尺寸開源VL模型中的最好效果。為了測試模型的多模態對話能力，通義千問團隊構建一套基於GPT-4算分機制的測試集「試金石」，對Qwen-VL-Chat及其他模型進行對比測試，Qwen-VL-Chat在中英文的對齊評測中均取得開源LVLM最好結果。