有了AI，人人都可以是藝術家，即使你從來沒有繪畫的功底。
董未名·中國科學院自動化研究所研究員
格致論道第86期 | 2022年9月17日 北京
大家好，我是董未名，來自中科院自動化研究所。非常榮幸得到格致論道的邀請，在這裡能和大家聊一聊科學與藝術的融合。
眾所周知，現在我們已經進入了人工智慧時代，AI已經滲透到了生活的方方面面。比如打車的時候，軟體幫我們匹配最合適的車輛、規劃最合理的路線；網上購物的時候，電商為我們推薦最適合自己的商品……這背後用到的都是人工智慧。
那麼，當人工智慧進入到藝術領域，當它拿起畫筆，又會是什麼樣呢？
先來看這張圖，這是第一張公開展出的、由人工智慧創作的繪畫作品，叫做《埃德蒙·貝拉米的肖像》。它是由機器學習了從14世紀到20世紀的1.5萬張肖像畫之後，自動生成的一張繪畫作品。
右下角本來應該是藝術家簽名的位置，現在變成了一條公式，因為這張作品就是由演算法、機器用這條公式生成的。所以，它的創作者就把這條公式放在了這張畫作的下方。
大家覺得這張畫怎麼樣？藝術水平到底高不高？看來還是有人覺得它畫得好的，你們很有眼光；但絕大多數人都覺得它畫得不好。告訴大家，在2018年，這張畫在佳士得拍賣行以43.25萬美元成交，非常驚人。
你也可以說，物以稀為貴，這是炒作，人工智慧在繪畫的創作方面也就是這個水平了。
▲Théâtre D’opéra Spatial/Jason Allen
我再給大家看一張圖，是今年（2022年）由人工智慧創作的一張圖片，叫《太空歌劇院》。它的構圖、配色以及畫面的細節，已經堪稱完美。這張作品的創作者Jason Allen不是專業的藝術家，而是來自美國科羅拉多州的遊戲設計師。這是他使用AI工具創作的，還在美國的一個數字藝術比賽裡，打敗了眾多由專業藝術家人工創作的作品，獲得了一等獎。
那他是如何創作的呢？這位遊戲設計師在一個叫做「Midjourney」的AI創作工具裡，先輸入了幾個關鍵詞代表，比如光源、構圖、氛圍等，得到了100幅作品，再進行了約80小時的PS修飾，最終選出3幅作品，把圖像列印到畫布上拿去參賽。
這張作品不是個例。現在的人工智慧已經能自由地創作很多極具藝術感的作品。所以，藝術創作的人工智慧時代已經到來。
從模仿濾鏡開始
已完成：10%//////////
當然，人工智慧在藝術方面的創作不是一朝一夕就完成的，也經過了很多研究者們多年的探索。最早可以追溯到上個世紀末，當時的人工智慧繪畫技術叫做「圖像的風格化濾鏡」。
最初的方法也比較簡單，如果有一張自然拍攝的攝影照片，通過一些圖像處理的演算法，把它的像素進行幾何或者色彩上的變換，然後再調節不同的參數，就可以模擬出類似油畫或者水彩畫的風格。
▲源圖像及三張風格化效果圖
Aaron Hertzmann: Painterly Rendering with Curved Brush Strokes of Multiple Sizes. SIGGRAPH 1998: 453-460
這一組圖是在1998年創作的，看起來有一點點繪畫的效果，但水平還是比較低的。
▲MiaoyiWang, Bin Wang, Yun Fei, Kang-Lai Qian, Wenping Wang, Jiating Chen,
Jun-Hai Yong: Towards Photo Watercolorization with Artistic Verisimilitude.
IEEE Trans. Vis. Comput. Graph. 20(10): 1451-1460 (2014)
經過研究者們不斷地探索，不斷地改進技術，到2014年達到了這樣的效果。這是對水彩畫的模擬，已經非常得漂亮了。
但其實，除了這幾張成功的作品之外，更多的是一些失敗的作品。因此這種技術的成功率是很低的。而且，它還有一個比較大的缺點，就是只能從表面上模擬，讓它看起來是一張油畫或是水彩畫，但是如果想具體模擬某位著名藝術家的繪畫風格來生成繪畫作品，這是很難的。
學習藝術家的風格
已完成：20%//////////
所以，研究者們探索了另一條數字繪畫生成的道路——「圖像的風格遷移」。
什麼是圖像風格遷移？舉個例子，左圖是美國舊金山藝術宮的外景照片，在1962年由德裔藝術家梅貝克主持重新修建。中間這張圖是印象派創始人莫內在1901年繪製的作品，叫做《維特依的早晨》。
本來這兩種藝術風格在時間和空間上都沒有交融的機會，但是通過圖像風格遷移技術，就能生成一張看起來由莫內繪製的美國舊金山藝術宮的繪畫作品。
我自己所在的科研團隊也進行了幾年的探索，研發出的技術叫做「任意圖像風格化」。只要機器經過一次學習，比如學習十幾萬張真實照片及幾萬張的真實繪畫作品之後，就可以生成一張從內容上與某張照片相近，而從風格上與某幅繪畫作品相近的數字繪畫作品。
▲Yuxin Zhang, Fan Tang, Weiming Dong, Haibin Huang, Chongyang Ma, Tong-Yee Lee, Changsheng Xu: Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning. SIGGRAPH 2022: 12:1-12:8
通過這樣的技術，就可以模擬不同流派、不同風格的藝術技法，來生成各種風格的藝術圖片。比如右邊兩張圖分別模擬的是左側源圖像的野獸派風格和奧費主義風格。
這是莫內的印象派風格，後印象派風格以及日本的浮世繪風格。
這模擬的是梵高的一幅現實主義作品，中國水墨大師吳冠中老先生的繪畫風格以及素描風格。
還有更多的一些作品，比如這張模擬的是油畫風格。
如果有喜歡二次元的朋友，我們的技術也可以把你的照片變成二次元風格。
這是一匹水墨風格的馬。一般提起畫馬，大家可能首先想到徐悲鴻先生，因為他馬畫得非常好，在世界上享有盛名。而圖上這匹馬是由人工智慧繪製出來的，模擬的是齊白石老先生的風格。齊白石最擅長畫蝦，可能從來沒畫過馬。但是，用人工智慧的風格遷移技術，就可以模擬出齊白石風格的馬。
中國的水墨畫在藝術技法上有個很大的特點——留白。很多的水墨作品，只有一個明顯的前景物體，背景很空，這就是所謂的留白。雖然圖中馬背後有一片草地，但是通過我們的技術，模擬了水墨風格之後，生成的這張水墨繪畫作品的背景是完全乾淨的，很好地模擬了中國水墨畫的留白技法。
除了模擬具體的繪畫作品風格，人工智慧技術還可以進行創新。
左側是一張照片，如果給人工智慧一張素描圖片，或者水彩圖片，用風格遷移技術，就可以生成一幅素描作品或水彩作品。
但是，如果想要將這兩種風格融合呢？也是可以的，這張就是用風格遷移技術生成的圖片，擁有了水彩和素描的中間風格。這個作品既有水彩的柔和與朦朧感，也有素描的立體和明顯的明暗對比感，是一個全新的藝術風格。我們希望這一技術能夠推動新藝術風格的創作和整個繪畫藝術的發展。
創作具有藝術風格的視訊
已完成：50%//////////
我們可以把任意的圖片變成繪畫，那能不能把圖片做成動態的呢？
以《摯愛梵高》這部電影為例，它的所有鏡頭都是梵高的繪畫風格，由125位畫家，花了7年的時間，手工繪製了6.5萬幀油畫作品才製作完成。
如果我們有一種技術，能夠幫助創作這樣的電影作品，是不是更好呢？於是我們就研究了視訊的圖像風格遷移技術。
左上角是江南水鄉的視訊，左下角是一張浮世繪風格的繪畫作品。將這個真實的視訊和這張繪畫作品相融合，就得到了一個有著浮世繪風格的江南水鄉視訊。
通過這個技術，可以極大降低在電影製作中，製作不同藝術風格視訊的時間和人工成本。
再看兩例。這是著名美劇《權力的遊戲》裡的一個片段，我們把它做成了素描風格。
這邊是電影《阿麗塔：戰鬥天使》的片段，我們把它做成了油畫風格。目前這種技術已經應用到了很多影視劇裡。
這是我們與一家公司在某年世界盃比賽期間合作推出的產品。用我們的技術可以把一張人像照片變成卡通頭像，當時引起了很大的反響，有很多網友用這個產品生成卡通頭像分享在社交媒體上。
左側視訊是我們和某家公司合作的產品，可以先用照片製作出卡通形象，再生成短視訊。右邊大家肯定認識，是用王祖藍的卡通形象製成的短視訊。
從文字開始創作繪畫
已完成：70%//////////
現在，就算我們不給AI機器參考素材，它照樣可以創作。
▲Nisha Huang, Fan Tang, Weiming Dong, Changsheng Xu: Draw Your Art Dream: Diverse Digital Art Synthesis with Multimodal Guided Diffusion.
ACM Multimedia 2022
只需要輸入一句話，比如，「我希望要一張仙境般的中國桂林山水畫」，人工智慧技術就可以直接生成一幅這樣的山水畫作品。
▲Nisha Huang, Fan Tang, Weiming Dong, Changsheng Xu: Draw Your Art Dream: Diverse Digital Art Synthesis with Multimodal Guided Diffusion.
ACM Multimedia 2022
再看一個例子，我們給機器輸入這樣一句話：「羅曼·朱安多的油畫《雲中飛翔的蒸汽龐克屋》」，然後人工智慧就可以生成這樣一幅作品。
▲大模型+擴散模型
Alexander Quinn Nichol, Prafulla Dhariwal, Aditya Ramesh, Pranav Shyam, Pamela Mishkin, Bob McGrew, Ilya Sutskever, Mark Chen: GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models.
ICML 2022: 16784-16804
這些作品不但完美復現了句子的語義，而且具有很強的藝術感。背後利用的技術就是最近大家有所耳聞的「圖文預訓練大模型」以及「擴散模型」技術。將這兩個技術組合，就形成了前面這些作品。
人人都可以成為藝術家
已完成：80%//////////
你或許會思考，AI繪畫在將來會不會取代人類藝術家？
再回到這張畫，儘管如此精美，但是在它獲獎後，在網際網路上特別是在藝術家群體間引起了非常大的爭議。
這是我前兩天在搜尋引擎上搜尋該作品結果的截圖，前3個結果都是在講藝術家非常不開心。大家都在討論，這是不是意味著人類創造力的終結。
甚至在國外某個社交網站上，有一個6000多人點讚的帖子，上面說人類的創造力都已經被機器取代，那麼未來會發生什麼事情，真的是不敢想象。
▲英國地圖人像藝術家Ed Fairburn
其實，在研究過程中，我們也曾經和藝術家交流過。因為我們有一項工作就是模擬一位英國地圖人像藝術家的繪畫風格。
他可以在地圖上繪製一張人像，讓人像與地圖完美融合。
我們就設計了一套演算法來模擬他的創作手法。這就是用我們的技術自動生成的一個和他的作品風格非常相似的藝術作品。
工作完成後，我們專門給這位藝術家寫了郵件，把論文也發給了他，來問一問他的看法。沒想到的是，這個藝術家很快就回了封很長郵件。
他的第一句話讓我們非常開心：It was a fascinating read。他說看到論文的時候非常激動。他還說，我從來沒有想過，機器竟然能夠模擬我的藝術作品。
對於人工智慧到底在藝術方面能不能取代人類這個問題，他說：「我一直相信，現在也仍然相信，人類的創造力總會有一席之地；也相信，人工智慧不可能，也不希望它能，佔據那個（藝術）領域。也許（人類和機器）可以共享這個領域。」
在知乎上也有相關討論，有一個比較熱的問題就是「人工AI繪畫是否會讓中低端畫師失業？」。
裡面有一個500多點讚的回答，第一句話就是：「AI取代不了畫師，取代他們的是使用AI的畫師」。
從我個人的角度來講，這句話說的非常有道理。從藝術創作者的角度來講，我們不應該抵制AI，而是應該主動地去擁抱AI。
AI到底能為藝術做什麼？其實，AI藝術和人類藝術不應該是兩個衝突的對立面，而應該是互相融合的狀態。
這裡我也引用劉慈欣小說《三體》裡的一句話：「弱小和無知不是生存的障礙，而傲慢才是」。如果作為人類藝術家，只是去高高在上地抵制、漠視AI，將來有一天使用AI的藝術家很有可能會取代這他們。
而且，現在已經有很多藝術家主動地擁抱AI，比如用AI進行角色設計。
還可以進行婚禮現場的鮮花造型設計。左圖就是用AI生成的鮮花造型，右圖就是把它變成實物的效果。用AI，可以幫助我們創作出更好的藝術作品。
對於普通大眾還有我個人來講，AI其實給我們帶來了更多體驗藝術的機會。
有了AI，人人都可以是藝術家——即使你從來沒有學過藝術，沒有一點繪畫的功底，藉助AI工具也可以非常容易地創作出你自己的藝術作品。
最後，用我特別喜歡的瑞士藝術家保羅·克利說的一句話來進行總結：「藝術不是再現可見，而是使不可見成為可見」。AI現在已經完美實現了這一目標，可以通過機器計算來繪製出很多現實中見不到的場景。
我相信，AI在藝術領域一定還會持續發展，一定會為我們帶來更多更美麗的繪畫作品。
謝謝大家！
