Hinton組提出基於大型全景掩碼的實例分割框架,圖像視訊場景絲滑切換

本文的創新點一方面在於能夠在大型全景掩碼上訓練擴散模型,一方面在於可以同時適配圖片和流媒體場景。

全景分割是一項基本的視覺任務,該任務旨在為圖像的每個像素指定語義標籤和實例標籤。語義標籤描述每個像素的類別(例如天空、豎直物體等),實例標籤為圖像中的每個實例提供唯一的 ID(以區分同一類別的不同實例)。該任務結合了語義分割和實例分割,提供了關於場景的豐富語義資訊。

雖然語義標籤的類別是先驗固定的,但分配給圖像中對象的實例 ID 是可以互相交換同時不影響識別的。例如,交換兩輛車的實例 ID 不會影響結果。因此,經過訓練以預測實例 ID 的神經網路應該能夠學習從單個圖像到多個實例 ID 分配的一對多對映。一對多對映的學習具有挑戰性,傳統方法通常利用多個階段的管道,包括對象檢測、分割、合併多個預測 。最近,基於可微二分圖匹配,一些學者提出了端到端方法,能夠有效地將一對多對映轉換為基於識別匹配的一對一對映。然而,這些方法仍然需要定製的架構和專門的損失函數,以及用於全景分割任務的內建歸納偏置。

最近的通用視覺模型,例如 Pix2Seq、OFA、UViM 和 Unified I/O,提倡通用的、不限制任務的框架來實現泛化任務,同時還能比以前的模型簡單得多。例如,Pix2Seq 根據圖像生成一系列具有語義意義的序列,來完成一些核心的視覺任務,並且這些模型基於 Transformers 來訓練自迴歸模型。

在一篇新的論文中,Google大腦的 Ting Chen、Geoffrey Hinton 等研究者遵循相同的理念, 從條件離散資料生成的角度理解全景分割任務問題。

論文連結 https://arxiv.org/pdf/2210.06366.pdf

如圖 1 所示,研究者為全景掩碼設計了一個生成模型,併為輸入到模型的每一張圖片都生成一組離散 token。使用者只需將過去幀的預測作為附加條件信號,就可以將此模型應用於視訊資料(線上資料 / 流媒體)。這樣一來,模型就可以自動地學習跟蹤和分割對象。

全景分割的生成式建模非常具有挑戰性,因為全景掩碼是離散的,或者說是有類別的,並且模型可能非常大。例如,要生成 512×1024 的全景掩碼,模型必須生成超過 1M 的離散標記(語義標籤和實例標籤)。這對於自迴歸模型來說開銷還是比較昂貴的,因為 token 本質上是順序的,很難隨著輸入資料的規模變化而變化。擴散模型更擅長處理高維資料,但它們最常應用於連續域而不是離散域。通過用模擬位表示離散資料,本文作者表明可以直接在大型全景掩碼上訓練擴散模型,而無需學習潛在空間。

通過廣泛的實驗,研究者們證明了他們的通用法可以在類似環境中與最先進的專家方法一較高下。

模型架構

擴散模型取樣是迭代進行的,因此在推理過程中必須多次運行網路的前向傳播。因此,如圖 2 所示,研究者有意將網路分成兩個元件:1)圖像編碼器;2) 掩碼解碼器。前者將原始像素資料對映到高級表示向量,然後掩碼解碼器迭代地讀出全景掩碼。

像素 / 圖像編碼器

像素 / 圖像編碼器

編碼器是將原始圖像

對映到

對映到

對映到

中的特徵圖的網路,其中 H’和 w’是全景遮罩的高度和寬度。全景遮罩可以與原始圖像的大小相同或小一點。在這項工作中,研究者們使用 ResNet 作為骨幹網路,然後使用 Transformer 的編碼器層作為特徵提取器。為了確保輸出的特徵圖具有足夠的解析度,幷包含不同尺度的特徵,受 U-Net 和特徵金字塔網路的啟發,研究者使用具有雙邊連接和上取樣操作的卷積從不同的解析度來合併特徵。雖然可以使用更復雜的編碼器,這樣可以使用一些架構設計方面的最新進展,但這不是網路模型的主要關注點,所以研究者只是使用較為簡單的特徵提取器來說明其在模型中的作用。

掩碼解碼器

解碼器在模型推理過程中基於圖像特徵,迭代地細化全景掩碼。具體來說,研究者使用的掩碼解碼器是 TransUNet。該網路將來自編碼器的圖像特徵圖和噪聲掩碼(隨機初始化或迭代地來自編碼過程)的連接作為輸入,並輸出對掩碼的精確預測。解碼器與用於圖像生成和圖像到圖像轉換的標準 U-Net 架構之間的一個區別是,在上取樣之前,本文使用的 U-Net 頂部使用了帶有交叉注意力層的 transformer 解碼器層來合併編碼的圖像特徵。

在視訊模態下的應用

研究者將圖像條件下的全景遮罩建模為:p(m|x)。基於給定視訊的三維掩碼(有一個額外的時間維度),本文的模型就可以直接適用於視訊全景分割。為了適應線上 / 流媒體的視訊設置,可以改用 p(m_t|x_t,m_(t-1),m_(t-k))建模,從而基於當前的圖像和上一時刻的掩碼生成新的全景掩碼。如圖 5 所示,這一變化可以通過將過去的全景掩碼 (m_(t-1),m_(t-k)) 與現有的噪聲掩碼連接起來來實現。除了這個微小的變化之外,其他方面都與視訊基礎模型(p(m|x))相同。這個模型很簡單,對圖像全景模型進行微調就可以應用到視訊場景裡。

實驗結果

實驗結果

本文與兩個系列的最先進的方法進行了比較,即專家方法和通用方法。表 1 總結了在 MS-COCO 資料集上的結果。Pix2Seq-D 在基於 ResNet-50 的主幹上的泛化質量(PQ)與最先進的方法相比有一定的競爭力。與最近的其他通用模型如 UViM 相比,本文的模型表現明顯更好,同時效率更高。

表 2 將 Pix2Seq-D 與無監督視訊物體分割最先進的方法在 DAVIS 資料集上進行了比較,指標使用的是標準的 J&F。值得注意的是基線不包括其他通用模型,因為它們不能直接適用於該任務。本文的方法在沒有專門設計的情況下取得了與最先進的方法相同的結果。

圖 8、9 和 10 顯示了 Pix2Seq-D 在 MS-COCO、Cityscape 和 DAVIS 上的示例結果。