(2015-05-26)透過數據分析,電腦重新詮釋了畫家與畫派之間的關係。例如莫內與畢沙羅,就電腦的看法而言竟然相似?

(Brain.com 2015-05-25)下圖左邊的是莫內 (Claude Monet) 的作品,右邊是畢沙羅 (Camille Pissarro) 的作品,這兩幅經典繪畫有什麼相似之處,有什麼不同的地方,只有西方美術史學家才能深入解說,我們一般人除了說畫的好以外,僅看起來兩幅畫不一樣。

但電腦與我們的「看法」相反,認為兩位藝術家的畫作頗為相似,與西方美術學者的認知相同。原因是這兩位都是 19 世紀末、20 世紀初的法國繪畫藝術家,都是巴黎蘇黎世藝術學院的學生,而且二人又是分享經驗的好朋友,所以二人畫作相似並不稀奇。難道電腦成了美術史學家?


(莫內與畢沙羅,哪些地方相似?取自網路)

歷史上許許多多保存下來的畫作,用畫家與繪畫風格來分類,並不容易,進一步把不同的畫家與繪畫風格做一些關連,就要靠美術史學家經年累月的研究了。現在的資訊與電腦科技,在這一深層的文化領域,分析畫作影像、辨識畫家、認證繪畫風格,即使用最先進的運算邏輯,仍是一大挑戰。但現在有了轉機。

美國羅格斯大學電腦教授 Babak SalehAhmed Elgammal,發展一套美術認證的電腦程式,用「機器學習」(Machine Learning) 作為工具,來訓練電腦程式識別畫家與作品的風格,結果獲得滿意的精確度。同時也找出畫家之間的關連,繪畫風格之間的關連,這些都是美術史學家多年費心研究的事,上面莫內與畢沙羅的例子,就是這個電腦系統辨認的結果。

對於近代的畫家作品,資料比較齊全,考證的工作也許不難,但這兩位教授收集了縱跨 15 世紀、1,000 名畫家、共 80,000 幅畫作,就加深了難度。進一步,研究人員把繪畫風格分成 27 類,每類擷取超過 1,500 幅畫作,然後再做繪畫內容分類,室內、鄉村、城市等等,建構成基本的圖庫。有了圖庫,目標是電腦每「看見」一幅畫,就要找出畫家是誰,以及這幅畫是什麼風格。

近年的「標記」技術,或許有人把少量畫作加入「元數據」(Meta Data),包括畫家姓名及基本資料,但大多數的畫作都沒有這些資料,幾世紀前的一幅畫要立即知道是誰畫的,並不容易,何況說出畫的風格,所以不是簡單的資料比對,是經過電腦的複雜運算才能找到答案,電腦怎麼運算?是經過學習的結果。

「人工智慧」(Artificial Intelligence) 的發展,讓以前認為不可能的事成為可能,人工智慧的通俗解釋,就是電腦軟硬體的結合,所做的一件事、或一個領域,至少與人類專家做的一樣好,而且通常是做的比人還要好,其中的關鍵就是讓電腦自我學習的「神經網路」(Neural Network)。

神經網路是模擬生物腦子的結構與運作(如下示意圖),資訊從一個點(腦細胞)經過處理,傳送(神經)到多個點,每一個點經過處理再往下一層傳送,這樣反覆運作(學習),最後得到解答。


(左:腦細胞與神經結構、右:電腦模擬的神經網路結構 。取自網路)

神經網路相當軟體工具,可以用來訓練特定領域的運算邏輯,兩位教授用 400 個元素來描述一幅繪畫,發展一套識別畫作的運算邏輯,然後從圖庫取出少量畫作,藉神經網路來「訓練」這個運算邏輯,使增長「智慧」。最後把訓練完成的運算邏輯,套用到整體圖庫運轉,得到了相當好的效果,畫作與畫家的比對高達 60%,風格的準確率也達 45%。

從這個系統的延伸運轉,更找出了美術史的深入關連,像畫家之間,派別之間,畫家與派別之間的關連。

例如電腦對美國印象派畫家哈薩姆 (Childe Hassam) 的畫,就與莫內的畫產生混淆,從這個結果讓美術術史學家發現,原來這位美國畫家曾經受到法國印象派、特別是莫內的強烈影響。電腦教授說,像這類的關連,人類可能要用很長的時才會發現。

另一個有趣的關連,是電腦經常把抽象表現派與行動派混淆,美術專家對這一混淆完全可以了解,因為行動畫派是抽象表現畫派的一支。

電腦系統又篩檢出許多相似的關連,像是表現派與野獸派,矯飾派與文藝復興派,直接的關連有文藝復興前後派,印象與後印象派。這些電腦關連的結果,美術史學家可能早就知道,但這是幾十、甚至幾百年鑽研的結果,電腦僅用了幾個月就「學」到了學者的程度。

兩位電腦專家雖然不是藝術家,但認為美術辨識系統對美術發展史有正面意義,例如找出特質相同的畫作,供美術學者做為工具,探索畫家相互之間還未被發現的影響與意義。

對一般喜歡繪畫藝術的人來說,可以一幅幅跳躍取出近似的畫作,欣賞視覺上的「同義字」。

電腦當然不懂得藝術欣賞,更不是美術專家,但可以從資訊處理的技術上做一些考證,作為美術學者的得利助手,這恐怕是電腦與美術學者雙方以前沒想到的。

對資訊技術有興趣的讀者,建議閱讀這篇論文 (PDF),了解這個電腦系統的幕後。Large-scale Classification of Fine-Art Paintings:Learning The Right Metric on The Right Feature

※本文取材自2015年5月25日「那福忠週一論壇:電腦扮演美術史專家」。
對本文有任何看法,歡迎eMail:frank.na@gmail.com給作者,分享您對本文的看法。