巧合嗎？麻省理工學院利用AI，找出藝術作品間難以發現的巧妙連結

跨文化、不同作者、不同年代或不同媒材的藝術品，可能潛藏著讓人意想不到的相似性，只是很難察覺。麻省理工學院（Massachusetts Institute of Technology，MIT）的團隊便創造了一個名為「MosAIc」的演算法，能夠在龐大的資料庫中找出具有相關性的作品。

數千年間，人類創造了無數乘載了歷史與文化的藝術作品，是數不盡的知識寶庫。但在茫茫似海的作品資料庫裡，要找出具有相似性的其中幾件作品，簡直是難如登天。

即使是學識淵博的藝術研究人員，也不可能看過所有的作品，何況是將每件作品的特徵牢牢記在腦海中。但隨著電腦科學的進步，現今能利用演算法，幫助學者找出藝術品間的相似性。

MIT CSAIL（計算機科學與人工智慧實驗室）和微軟的一組研究團隊合作，開發了一種新的演算法「MosAIc」。他們發現大都會藝術博物館（Metropolitan Museum of Art）與阿姆斯特丹國家博物館（Rijksmuseum）的繪畫作品之間有巧妙的連結。 

研究團隊表示，他們是受到阿姆斯特丹國家博物館特展「林布蘭與維拉斯奎茲」（Rembrandt-Velázquez）的啟發。

展覽中，研究團隊發現了一個不太可能有連結，卻又相似的組合：法蘭西斯科·德·祖巴蘭（Francisco de Zurbarán）的〈 聖塞拉皮翁殉道〉（The Martyrdom of Saint Serapion） 和揚·阿瑟林（Jan Asselijn）的〈受威脅的天鵝〉（The Threatened Swan），這兩幅作品都呈現了利他主義（殉道vs.保護幼鳥巢穴），還有不可思議的構圖相似性。

▲ Francisco de Zurbarán, The Martyrdom of Saint Serapion, 1628, Oil on canvas, 120 × 103 cm

▲ Jan Asselijn, The Threatened Swan, c.1650, Oil on canvas, 144 x 171 cm

MosAIc透過深度學習找出兩幅畫的「相似」程度，發現了許多來自不同文化、藝術家和媒材的「相似作品」。

CSAIL的博士生馬克·漢米爾頓（Mark Hamilton）是MosAIc相關論文的第一作者，他表示：

「這兩位藝術家在生活中沒有書信往來，也不可能相遇。但他們的作品都含有深層的隱喻。」

「開發MosAIc的困難的之處是建立一個『不僅能分辨顏色、構圖，還能辨識主題或內容』的演算法。」

▲ MosAIc不僅能分辨顏色、構圖，還能辨識主題或內容。（來源：MIT CSAIL）

過去AI常被拿來「創造」新的藝術作品。例如：由MIT、NVIDIA和加州大學伯克利分校開發的GauGAN、漢米爾頓曾參與的GenStudio。甚至有AI創作的藝術品出現在拍賣會上，德國藝術家馬利歐·克林格曼（Mario Klingemann）創作的〈Memories of Passersby I〉被蘇富比拍賣預估值3~4萬英鎊。 

▲ 〈Memories of Passersby I〉顯示的所有圖像都是由AI即時運算出來的。

但MosAIc的目標並非創造，而是幫助人們探索現有的作品。Google曾開發與MosAIc類似的工具「X Degrees of Separation」，在網站中選擇兩件藝術品，它就會自動篩選出接近兩者的作品，將它們連成一條「路徑」。

▲ X Degrees of Separation會分析出連接兩個作品的「路徑」。

MosAIc只需要匯入單張影像即可而，它會篩選出作品與任何文化或媒材的連結，使用者可以選擇要從哪方面找到作品間的相似性。

▲ 查詢「哪種樂器最接近這幅藍白色連身裙」，演算法篩選出了藍白色瓷小提琴的影像。這些作品不僅在樣式和形式上相似，而且源於荷蘭和中國間的瓷器文化交流。（來源：MIT CSAIL）

為了找到跨文化的相似作品，研究團隊使用了一種新的影像資料結構，稱為「條件K-近鄰樹」（Conditional KNN Tree），它會將相似影像組合成一個樹狀結構。為了找到最接近的影像配對，他們會從「樹幹」開始找，接著前往最有可能的「分支」，直到確定找到最接近的影像。

漢米爾頓表示：「希望這項研究能鼓勵其他人去思考：搜尋工具如何應用於藝術研究、人文科學、社會科學和醫學等其他領域。」 

資料來源：

Algorithm finds hidden connections between paintings at the Met

MIT and Microsoft algorithm determines correlations in vast art collections

（首圖來源：MIT CSAIL）