開挖擴散模型小動作,生成圖像幾乎原版複製訓練資料,隱私要暴露了

該研究表明,擴散模型能從其訓練資料中記憶圖像,並在生成圖像中復現。

去噪擴散模型是一類新興的生成神經網路,通過迭代去噪過程從訓練分佈中生成圖像。與之前的方法(如 GANs 和 VAEs)相比,這類擴散模型產生的樣本質量更高,且更容易擴展和控制。因此,經過快速發展,它們已經可以生成高解析度圖像,而公眾也對諸如 DALL-E 2 這樣的大型模型產生了極大的興趣。

生成擴散模型的魅力在於它們合成新圖像的能力,從表面上看,這些圖像不同於訓練集中的任何東西。而事實上,過去大規模的訓練工作沒有發現過擬合會成為問題,隱私敏感領域的研究人員甚至建議可以用擴散模型來保護隱私,通過生成合成示例來生成真實圖像。這一系列的工作是在擴散模型沒有記憶和重新生成訓練資料的假設下進行的。而這樣做將違反所有的隱私保障,並滋生模型泛化和數字偽造方面的許多問題。

本文中,來自Google、 DeepMind 等機構的研究者證明了 SOTA 擴散模型確實可以記憶和重新生成單個訓練示例。

論文地址:https://arxiv.org/pdf/2301.13188v1.pdf

首先,研究提出並實現了圖像模型中記憶的新定義。然後,研究設計了分為兩階段的資料提取攻擊(data extraction attack),使用標準方法生成圖像,並對一些圖像進行標記。研究將該方法應用於 Stable Diffusion 和 Imagen,從而提取了 100 多個幾乎相同的訓練圖像副本,這些圖像中,既有個人可識別照片也有商標 logo(如圖 1)。

為了更好地理解記憶的方式和其中的緣由,研究者在 CIFAR10 上訓練了數百個擴散模型,以分析模型精度、超參數、增強和重複資料刪除對隱私的影響。擴散模型是研究評估中私密度最低的圖像模型形式,它們洩漏的訓練資料是 GANs 的兩倍之多。更糟的是,研究還發現現有的隱私增強技術無法提供可接受的隱私 – 效用權衡。總的來說,本文強調了日益強大的生成模型和資料隱私之間存在著緊張的關係,並提出了關於擴散模型如何工作以及如何被妥善部署的問題。

為什麼要做這項研究?

理解擴散模型如何記憶和重新生成訓練資料的背後存在著兩個動機。

第一個是了解隱私風險。重新生成從網際網路上抓取資料的擴散模型可能會帶來與語言模型類似的隱私和版權風險。比方說,已經有人指出,記憶和重新生成受版權保護的文字和源程式碼存在著潛在的侵權指標。那麼同理,複製專業藝術家創作的圖像也會被稱為數字偽造,藝術界為此展開了一場爭論。

第二個是理解泛化。除了資料隱私,理解擴散模型如何以及為什麼記憶訓練資料有助於理解它們的泛化能力。例如,大規模生成模型的一個常見問題是,它們令人印象深刻的結果是來自真正的生成,還是直接複製和重新混合訓練資料的結果。通過研究記憶,可以提供生成模型執行這種資料複製速率的具體經驗描述。

從 SOTA 擴散模型中提取資料

從 Stable Diffusion 中提取資料

現在從 Stable Diffusion(最大、最流行的開源擴散模型)中提取訓練資料。

本次提取將先前工作的方法應用於圖像,包括兩個步驟:

1. 使用標準抽樣方式的擴散模型並使用前一節的已知 prompt 生成多個示例。

2. 進行推理,將新一代的模型與已記憶的訓練模型相分離。

為了評估攻擊的有效性,研究從訓練資料集中選擇了 35 萬個重複次數最多的示例,併為每個提示生成 500 個候選圖像(總共生成 1.75 億張圖像)。

首先,研究對所有這些生成的圖像進行排序,以確定哪些是記憶訓練資料生成的圖像。然後,將這些生成的每張圖像與論文中定義 1 下的訓練圖像進行比較,並將每張圖像註釋為提取或未提取。研究發現有 94 張圖像被提取,為了確保這些圖像不僅是符合某些任意的定義,研究還通過視覺分析手動註釋了前 1000 張生成的圖像,這些圖像要麼是記憶的,要麼是沒有記憶的,並且發現另外 13 張(總共 109 張圖像)幾乎是訓練示例的副本,即使它們不符合研究 L_2 範數定義。圖 3 顯示了提取圖像的子集,這些圖像以近乎完美像素的精度再現。

實驗還給出了在有給定帶註釋的有序圖像集的情況下,計算曲線,評估提取的圖像數量與攻擊的假陽性率。攻擊異常精確:在 1.75 億張生成的圖像中,可以識別出 50 張 0 假陽性的記憶圖像,並且所有的記憶圖像都可以以 50% 以上的精度提取。圖 4 包含了兩種記憶定義的精度 – 召回曲線。

從圖像中提取資料

從圖像中提取資料

儘管 Stable Diffusion 是目前公開可用的擴散模型中最佳選擇,但一些非公開模型使用更大的模型和資料集獲得了更強的性能。先前研究發現,較大的模型更容易記住訓練資料,因此該研究對 Imagen(一個 20 億參數的文字 – 圖像擴散模型)展開了研究。

令人驚訝的是,研究發現在 Imagen 中攻擊非分佈圖像比在 Stable Diffusion 中更有效。在 Imagen 上,研究嘗試提取出 500 張 out-of – distribution(OOD)得分最高的圖像。Imagen 記憶並複製了其中 3 個圖像(這三個圖像在訓練資料集中是獨有的)。相比之下,當研究將相同的方法應用於 Stable Diffusion 時,即使在嘗試提取 10,000 個最離群的樣本後,也未能識別任何記憶。因此,在複製和非複製圖像上,Imagen 比 Stable Diffusion 的私密性更差。這可能是由於 Imagen 使用的模型比 Stable Diffusion 更大,因此記得的圖像也就更多。此外,Imagen 在更小的資料集上進行了更多的迭代訓練,這也可以有助於提高記憶水平。

相關文章

機器學習驅動的電池電極高級表徵

機器學習驅動的電池電極高級表徵

材料表徵,即通過各種物理、化學等測試方法,揭示和確定材料的結構特徵,是科學家理解鋰離子電池電極及其性能限制的基礎方式。基於實驗室的表徵技術地...

讓機器狗當守門員,還發了篇論文

讓機器狗當守門員,還發了篇論文

機器狗不僅能跑能跳,踢足球、當守門員都很行。 讓一個機器狗擔當足球守門員,靠譜嗎?靠不靠譜,我們先看看效果在下結論。 工作人員一次很溫和的進...