動漫風格遷移AnimeGANv2,發佈線上運行Demo

內容一覽:最強二次元風格遷移模型 AnimeGAN 更新啦,現在可以在線上輕鬆運行模型,還可以調整風格參數,輸出你想要的照片效果。

關鍵詞:風格遷移 機器視覺 二次元

AnimeGANv2 最近發佈了一項更新,由社區貢獻者開發,通過 Gradio 實現了一個可以線上運行的 Demo,發佈在 huggingface 上

訪問

訪問

https://huggingface.co/spaces/akhaliq/AnimeGANv2

即可在線上輕鬆實現 AnimeGANv2 的處理效果(僅支持靜態圖片處理)。

AnimeGAN:三次元通通變二

AnimeGAN 是基於 CartoonGAN 的改進,並提出了一個更加輕量級的生成器架構,2019 年 AnimeGAN 首次開源便以不凡的效果引發了熱議。

AnimeGANv2 線上測試效果

AnimeGANv2 線上測試效果

在初始版本發佈時的論文《AnimeGAN: a novel lightweight GAN for photo animation》中還提出了三個全新的損失函數,用於提升風格化的動漫視覺效果。

這三個損失函數分別是:灰度風格損失,灰度對抗損失、顏色重建損失

AnimeGAN 與其他動漫風格遷移模型的效果對比

去年九月發佈的 AnimeGANv2 最佳化了模型效果,解決了 AnimeGAN 初始版本中的一些問題。

在 v2 中還新增了新海誠、宮崎駿、今敏三位漫畫家漫畫風格的訓練資料集。

AnimeGAN 初代模型運行效果

AnimeGAN 初代模型運行效果

AnimeGANv2 模型運行效果

AnimeGANv2 模型運行效果

以馬斯克為例,AnimeGAN 初代的效果已經很令人驚豔,只是太過於白嫩病嬌,彷彿韓國男團成員。相比之下,v2 更加自然,也更貼合真實氣質。

AnimeGANv2 的更新重點:

– 解決了生成的圖像中高頻偽影的問題;

– v2 更易於訓練,並能直接達到論文所述的效果;

– 進一步減少生成器網路的參數數量。(生成器大小 8.17Mb);

– 加入更多高質量影像資料。

- 加入更多高質量影像資料

風景建築圖片 AnimeGANv2 模型運行效果

項目資訊

項目資訊

TensorFlow 版本環境配置要求

  • python 3.6
  • tensorflow-gpu
    • tensorflow-gpu 1.8.0 (ubuntu, GPU 1080Ti or Titan xp, cuda 9.0, cudnn 7.1.3)
    • tensorflow-gpu 1.15.0 (ubuntu, GPU 2080Ti, cuda 10.0.130, cudnn 7.6.0)
  • opencv
  • tqdm
  • numpy
  • glob
  • argparse

PyTorch 實現

權重轉換

權重轉換

    git clone https://github.com/TachibanaYoshino/AnimeGANv2python convert_weights.py

    推理

      python test.py --input_dir [image_folder_path] --device [cpu/cuda]

      牆內 Colab 運行

      牆內 Colab 運行

      項目 GitHub
      https://github.com/TachibanaYoshino/AnimeGANv2

      線上 Demo
      https://huggingface.co/spaces/akhaliq/AnimeGANv2

      牆內 Colab

      https://openbayes.com/console/open-tutorials/containers/pROHrRgKItf

      相關文章

      機器學習驅動的電池電極高級表徵

      機器學習驅動的電池電極高級表徵

      材料表徵,即通過各種物理、化學等測試方法,揭示和確定材料的結構特徵,是科學家理解鋰離子電池電極及其性能限制的基礎方式。基於實驗室的表徵技術地...