十年前,AlexNet就預定了今天的NeurIPS 2022時間檢驗獎

距離會議召開還有一週的時間,NeurIPS 2022 官方公佈了各類獎項的獲獎論文。

作為當前全球最負盛名的 AI 學術會議之一,NeurIPS 是每年學界的重要事件,通常在每年 12 月舉辦。大會討論的內容包含深度學習、計算機視覺、大規模機器學習、學習理論、最佳化、稀疏理論等眾多細分領域。

今年 NeurIPS 已是第 36 屆,將於 11 月 28 日至 12 月 9 日舉行,為期兩週。第一週將在美國新奧爾良 Ernest N. Morial 會議中心舉行現場會議,第二週改為線上會議。今年 NeurIPS 官方收到了 10411 篇論文投稿,其中 2672 篇獲接收,接收率為 25.6%。

今日,大會公佈了各類獎項,包括 Main Track 傑出論文獎、資料集和基準 Track 傑出論文獎以及時間檢驗獎。其中,Main Track 傑出論文獎共授予 13 篇論文,資料集和基準 Track 傑出論文獎授予了 2 篇論文,時間檢驗獎授予了大名鼎鼎的 AlexNet 論文。

Main Track 傑出論文

論文 1:Is Out-of-Distribution Detection Learnable?

  • 機構:雪梨科技大學、威斯康星大學麥迪遜分校等
  • 作者:Zhen Fang、Yixuan Li、Jie Lu、 Jiahua Dong、Bo Han、Feng Liu
  • 論文地址:https://openreview.net/forum?id=sde_7ZzGXOE

獲獎理由:這項工作提供了分佈外 (OOD) 檢測的理論研究,重點關注此類模型可學習的條件。該工作使用 PAC(probably approximately correct)學習理論表明 OOD 檢測模型僅在資料分佈空間和預測模型空間的某些條件下是 PAC 可學習的。該研究還提供了 3 個具體的不可能定理,可以用來確定 OOD 檢測在實際環境中的可行性,為現有的 OOD 檢測方法提供了理論基礎。這項工作還提出了新的理論問題,例如關於 near-OOD 檢測的可學習性。該研究將在 OOD 檢測這個重要的研究領域產生廣泛的理論和實踐影響。

論文 2:Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding

  • 機構:Google研究院
  • 作者:Chitwan Saharia、William Chan、Saurabh Saxena等
  • 論文地址:https://openreview.net/forum?id=08Yk-n5l2Al

獲獎理由:基於擴散過程的高質量圖像生成模型已在機器學習領域產生巨大的影響。該研究代表了此類模型的 SOTA 水平之一,並創新性地展示了獨立訓練的大型語言模型與大規模圖像解碼器的有效結合。這種實用的解耦很可能成為大規模文字到圖像模型的主導範例。該研究的成果令人印象深刻。

論文 3:Elucidating the Design Space of Diffusion-Based Generative Models

  • 機構:NVIDIA
  • 作者:Tero Karras、Miika Aittala、Timo Aila、Samuli Laine
  • 論文地址:https://openreview.net/forum?id=k7FuTOWMOc7

獲獎理由:這篇論文通過調查思考,將先前的研究組織成一個連貫的共同框架,以促成新的建模改進,這是該研究的研究方法。該研究的重點是包含某種形式擴散過程的圖像生成模型,儘管訓練此類模型存在困難,但這種模型最近變得非常流行。這篇論文對基於擴散過程的模型的理解和實現做出了重要貢獻。

論文 4:ProcTHOR: Large-Scale Embodied AI Using Procedural Generation

  • 機構:艾倫人工智慧研究院、華盛頓大學
  • 作者:Matt Deitke、Eli VanderBilt、Alvaro Herrasti等
  • 論文地址:https://openreview.net/forum?id=4-bV1bi74M

獲獎理由:這項工作提出了一種新框架,用於在大量資料上訓練具體的 AI 智慧體,為這些智慧體創造從擴展中受益的潛力,類似於語言和圖像生成模型。該框架的核心是一個引擎,用於構建程序生成的、支持物理的環境,智慧體可以與環境互動。該引擎與大量資料和環境控制相結合,可以生成大量不同的環境組合。研究者證明該框架可用於為多個具體 AI 任務訓練 SOTA 模型。此外,該研究已將框架和程式碼開源。

論文 5:Using natural language and program abstractions to instill human inductive biases in machines

  • 機構:普林斯頓大學神經科學研究所、DeepMind 等
  • 作者:Sreejan Kumar、Carlos G. Correa、Ishita Dasgupta等
  • 論文地址:https://openreview.net/forum?id=buXZ7nIqiwE

獲獎理由:該研究表明程序抽象(program abstraction)和自然語言的共同訓練可以將人類偏見納入機器的學習過程。研究者提出了一種結合人類偏見的 clean 方法,該方法對程序抽象也很穩健。

論文 6:A Neural Corpus Indexer for Document Retrieval

  • 機構:微軟、清華大學等
  • 作者:Yujing Wang、Yingyan Hou、Haonan Wang等
  • 論文地址:https://openreview.net/forum?id=fSfcEYQP_qc

獲獎理由:這項工作提出了一種神經索引器,它將查詢作為輸入,並通過解碼器結合集束搜尋(beam search)輸出與索引中相關文件對應的 ID 列表。這種新方法加入了一個小型但不斷增長的研究系列,這種新範例允許使用標準深度學習演算法和框架對目標應用程序的索引器進行基於梯度的最佳化。該研究提出的方法引入了架構和訓練選擇,與之前的工作相比,這些選擇帶來了顯著改進。該研究闡明瞭神經索引器的廣泛應用前景。

論文 7:High-dimensional limit theorems for SGD: Effective dynamics and critical scaling

  • 作者:Gerard Ben Arous、Reza Gheissari、Aukosh Jagannath
  • 論文地址:https://arxiv.org/pdf/2206.04030.pdf

獲獎理由:本文研究了對 SGD 的擴展極限。它展示瞭如果 step 很大,SGD 可以有多複雜。該研究還描述了 SDE 的性質,並將其與 step 較小時的 ODE 進行比較,以深入了解非凸最佳化情況。

論文 8:Gradient Descent: The Ultimate Optimizer

  • 機構:MIT CSAIL、Meta
  • 作者:Kartik Chandra、Audrey Xie、Jonathan Ragan-Kelley等
  • 論文地址:https://openreview.net/pdf?id=-Qp-3L-5ZdI

獲獎理由:本文通過開發一種最佳化超參數以及遞迴最佳化 hyper – 超參數的方法,降低了梯度下降中對超參數的敏感性。由於梯度無法不在,因此這項工作具有巨大的潛在影響。

論文 9:Riemannian Score-Based Generative Modelling

  • 機構:巴黎文理研究大學、牛津大學
  • 作者:Valentin De Bortoli、 Emile Mathieu、Michael John Hutchinson 等
  • 論文地址:https://arxiv.org/pdf/2202.02763.pdf

獲獎理由:本文通過識別影響生成模型成功的主要因素,將基於分數的生成模型 (SGM) 從歐氏空間泛化到緊湊的黎曼流形。這種方法是一種新穎的、技術上有用的貢獻。

論文 10:Gradient Estimation with Discrete Stein Operators

  • 機構:史丹佛大學、清華大學、 DeepMind 等
  • 作者:Jiaxin Shi、Yuhao Zhou、Jessica Hwang 等
  • 論文地址:https://openreview.net/pdf?id=I1mkUkaguP

獲獎理由:本文探討了分佈呈離散時的梯度估計問題。大多數常見梯度估計器都存在過度方差,因此為了提高梯度估計的質量,研究者引入了一種基於離散分佈 Stein 運算元的方差縮減技術。儘管 Stein 運算元很經典,但這項工作為梯度估計提供了一種很好的解釋,並在實驗中顯示了實際改進。

論文 11:An empirical analysis of compute-optimal large language model training

  • 機構:DeepMind
  • 作者:Jordan Hoffmann、Sebastian Borgeaud、Arthur Mensch 等
  • 論文地址:https://www.deepmind.com/publications/an-empirical-analysis-of-compute-optimal-large-language-model-training

獲獎理由:該研究提出一個問題:給定固定的 FLOPs 預算,模型的大小和訓練 token 數應該如何權衡?該研究對這種權衡進行了建模,並基於該模型進行預測,同時訓練與該預測相對應的模型。由此產生的模型明顯更小,但包含了更多的 token,性能優於其對應模型,同時由於模型尺寸更小,在下游任務中也更實用。總而言之,這項工作為社區在語言模型背景下思考規模的方式提供了新的思路,這也可能對 AI 的其他領域有用。

論文 12:Beyond neural scaling laws: beating power law scaling via data pruning

  • 機構:史丹佛大學、圖賓根大學、Meta AI
  • 作者:Ben Sorscher、Robert Geirhos、Shashank Shekhar 等
  • 論文地址:https://openreview.net/pdf?id=UmvSlP-PyV

獲獎理由:這項工作重新關注選擇高質量資料作為實現最佳擴展的方法的重要性。研究者精心設計了一項分析調查,開發了一個資料質量影響的理論模型,它與 ImageNet 上一系列資料過濾指標的實證實例化保持一致。這項工作富有洞察力又非常及時,將塑造關於機器學習中多個維度權衡取捨的辯論。

論文 13:On-Demand Sampling: Learning Optimally from Multiple Distributions

  • 機構:Berkeley
  • 作者:Nika Haghtalab、Michael Jordan、Eric Zhao
  • 論文地址:https://openreview.net/pdf?id=FR289LMkmxZ

獲獎理由:本文研究了使用隨機零和遊戲博弈的多重分散式學習。對於具有接近最優結果的一類問題,該技術得出了非常有趣的理論結果。

資料集和基準 Track 傑出論文

該獎項旨在表彰面向資料工作的研究,今年有兩篇論文獲得了該獎項,分別由 LAION、英偉達等機構研究者摘得。

論文 1:LAION-5B: An open large-scale dataset for training next generation image-text models

  • 機構:LAION 、UC 柏克萊等
  • 作者:Christoph Schuhmann 、 Romain Beaumont 、 Richard Vencu 等
  • 論文地址:https://openreview.net/pdf?id=M3Y74vmsMcY

獲獎理由:對諸如 CLIP、DALL-E 等語言 – 視覺模型的訓練需要數十億對圖像 – 文字資料集。到目前為止,還沒有這樣規模的資料集向研究團體公開提供。這項工作提出了 LAION-5B,一個由 58.5 億 CLIP-filtered 的圖像 – 文字對組成的資料集,旨在對大規模多模態模型進行研究。此外,該研究使用這些資料成功複製了 CLIP、GLIDE 和 Stable Diffusion 等基礎模型,提供了幾個最近鄰指數,以及改進的網路界面等。

論文 2:MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge

  • 機構:英偉達、加州理工學院、史丹佛大學等
  • 作者:Linxi Fan、Guanzhi Wang、Yunfan Jiang 等
  • 論文地址:https://arxiv.org/pdf/2206.08853.pdf

獲獎理由:自主智慧體在雅達利遊戲和圍棋等專業領域取得了巨大進步,但通常無法泛化到更廣泛的任務。本文引入 MineDojo,這是一個建立在 Minecraft 遊戲上的新框架,在其仿真套件裡面,包含數千種不同的開放式任務和一個具有網際網路規模的知識庫,包含 Minecraft 視訊、教程、wiki 頁面和論壇討論。此外,MineDojo 還提出了一種新穎的智慧體學習演算法,能夠解決以自由形式語言指定的各種開放式任務。該研究同時還提供了一個開源仿真套件、知識庫、演算法實現和預訓練模型,以促進對通用智慧體的研究。

時間檢驗獎

NeurIPS 2022 時間檢驗獎頒給了論文《ImageNet Classification with Deep Convolutional Neural Networks》,又名 AlexNet 論文。

這篇論文發表於 2012 年,論文作者是當時來自多倫多大學的 Alex Krizhevsky 、 Ilya Sutskever 以及 Geoffrey E. Hinton 。

論文地址:https://papers.nips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

獲獎理由:2012 年,該研究作為第一個接受 ImageNet 挑戰訓練的 CNN,遠遠超過了當時最先進的技術,從那時起,它對機器學習社區產生了巨大的影響。

AlexNet 之後的 ImageNet 冠軍全都採用了卷積神經網路結構,使得 CNN 成為圖像分類的核心模型,從而開啟了深度學習新一波浪潮。

Alex Krizhevsky 為該論文的一作,是 Hinton 的博士生,此外他還是 CIFAR-10 和 CIFAR-100 資料集的創建者。他的許多關於機器學習和計算機視覺的論文經常被其他研究人員引用。

Ilya Sutskever 為該論文的作者之一,也是 Hinton 的博士生,為 OpenAI 聯合創始人兼首席科學家。此前,他還在史丹佛大學 Andrew Ng 的團隊做博士後。

最後一位作者為深度學習三巨頭之一的 Geoffrey E. Hinton ,以其在類神經網路方面的貢獻聞名。Hinton 是反向傳播演算法和對比散度演算法的發明人之一,也是深度學習的積極推動者,被譽為深度學習之父,於 2018 年的被授予圖靈獎。

參考連結:https://blog.neurips.cc/2022/11/21/announcing-the-neurips-2022-awards/

相關文章