AI版「女媧」來了！文字生成圖像、視訊，8類任務一個模型搞定

編輯：陳萍、小舟

AI會是未來的「造物者」嗎？

近來，視覺合成任務備受關注。幾天前英偉達的 GauGAN 剛剛上新了 2.0 版本，現在一個新視覺合成模型 Nüwa（女媧）也火了。

相比於 GauGAN，「女媧」的生成模式更加多樣，不僅有文字塗鴉生成圖像，還能從文字生成視訊。

隨著 VQ-VAE 這種離散化 VAE 方案的出現，高效和大規模的預訓練被逐漸應用於視覺合成任務，例如 DALL-E（圖像）、GODIVA（視訊）。這些模型雖然取得了巨大的成功，但仍然存在一些侷限性——它們分別處理圖像和視訊，專注於生成其中一種，這限制了模型從圖像和視訊資料中受益。相比之下，「女媧」是一個統一的多模態預訓練模型，在 8 種包含圖像和視訊處理的下游視覺任務上具有出色的合成效果。

論文地址：https://arxiv.org/pdf/2111.12417.pdf

GitHub 地址：https://github.com/microsoft/NUWA

模型概覽

該研究提出了一個通用的 3D transformer——編碼器 – 解碼器框架（如下圖所示），同時涵蓋了語言、圖像和視訊，可用於多種視覺合成任務。該框架由以文字或視覺草圖作為輸入的自適應編碼器和由 8 個視覺合成任務共享的解碼器組成。

「女媧」整體架構圖。

該框架還包含一種 3D Nearby Attention (3DNA) 機制，以考慮空間和時間上的局部特徵。3DNA 不僅降低了計算複雜度，還提高了生成結果的視覺質量。與幾個強大的基線相比，「女媧」在文字到圖像生成、文字到視訊生成、視訊預測等方面都得到了 SOTA 結果。此外，「女媧」還顯示出驚人的零樣本學習能力。

「女媧」的 8 種跨模態合成模式分別是：

文字轉圖像：

塗鴉轉圖像：

圖像補全：

‍

根據文字編輯圖像：

文字轉視訊：

‍

視訊預測：

塗鴉轉視訊：

根據文字編輯視訊：

實驗結果

還研究通過多項實驗評估了合成結果。

首先研究者將「女媧」在三個資料集上進行預訓練：用於文字 – 圖像 (T2I) 生成的 Conceptual Captions，包括 2.9M 文字 – 圖像對；用於視訊預測 (V2V) 的 Moments in Time，包括 727K 視訊；用於文字 – 視訊 (T2V) 生成的 VATEX 資料集，包括 241K 文字 – 視訊對。

與 SOTA 方法比較

文字 – 圖像 (T2I) 微調：該研究比較了「女媧」在 MSCOCO 資料集上的性能，如表 1 和圖 3 所示：在表 1 中，「女媧」明顯優於 CogView，其中 FID-0 為 12.9，CLIPSIM 為 0.3429 。儘管 XMC-GAN 的 FID-0 為 9.3，優於「女媧」，但「女媧」能生成更逼真的圖像，如圖 3 所示。特別是在最後一個例子中，「女媧」生成的男孩臉更清晰，並且男孩旁邊的氣球也很逼真。

文字 – 視訊 (T2V) 微調：該研究在 Kinetics 資料集上評估了「女媧」，結果如表 2 和圖 4 所示。在表 2 中，「女媧」在所有指標上實現了最好的性能。

在圖 4 中，該研究還展示了「女媧」強大的零樣本生成能力，可以生成沒見過的圖像，例如：在游泳池裡打高爾夫球，在海里奔跑：

視訊預測 (V2V) 微調：該研究在 BAIR Robot Pushing 資料集上對「女媧」和其他模型進行了比較，結果如表 3 所示：為了進行公平比較，所有模型都使用 64×64 解析度。雖然只給出了一幀作為條件（Cond.），但「女媧」仍然將 SOTA FVD 得分從 94±2 降到 86.9 。