學術休假一年,ACM計算獎得主 Scott Aaronson 加盟OpenAI

機器之心編輯部

一年之後,Scott Aaronson 將繼續回到 UT Austin 全職教學。

近日,量子計算大牛、知名量子計算機專家 Scott Aaronson 要加盟 OpenAI 的訊息引起了社區極大的關注。

Aaronson 宣佈他將離開 UT Austin 一年,到知名 AI 研究機構 OpenAI 從事理論研究,特別是研究防止 AI 失控的理論基礎,以及計算複雜性對此有何作為。

Scott Aaronson 為此寫了一篇部落格,以下為部落格主要內容:

我非常興奮,至少對於我來說,從下週開始,我將從 UT Austin 離開一年,去 OpenAI 工作。GPT-3 和 DALL-E2 的創造令人震驚,這些研究不僅給我和我的孩子們帶來了無盡的樂趣,而且重新改變了我對世界的理解。在 OpenAI 我將從事理論研究,思考 AI 安全和一致性的理論基礎。

我要用一整年的時間進行理論研究,我對兩個方面比較感興趣:一是短期,即新想法是可以快速測試的;以及 AI 的濫用,AI 被廣泛應用於垃圾郵件、監視、宣傳和其他邪惡目的,已然成為主要的社會問題,這種問題會長期存在,眾多研究者開始擔心一旦 AI 在所有領域超越人類,接下來會發生什麼。

在我們開始閱讀有關 AI 安全的文章時,會驚訝的發現有兩個獨立的社區:一類主要擔心機器學習會導致種族、性別偏見長期存在,另一類主要擔心超越人類的 AI 將地球變成一團亂麻——AI 之間不能協調工作,彼此格格不入,互相指責對方沒有抓住重點。然而,我堅持認為,這些只是 AI 中兩個比較極端的情況。通過弄清楚如何使 AI 與當今的人類價值觀保持一致——不斷將我們的理論思想與現實相抗衡,使我們能夠更好地將 AI 與未來的人類價值觀保持一致。

由於家庭原因,我將主要在德克薩斯州的家中完成這項工作,可能有時也會前往 OpenAI 在舊金山的辦公室。我還將花費 30% 的時間繼續在 UT Austin 運營量子資訊中心,並與我的學生和博士後一起工作。在今年年底,我計劃回到全職教學、寫作和思考量子問題,這些仍然是我生活中主要愛好。在我轉向量子計算之前,我在讀博士時開始研究 AI 領域,此時的 AI 已經以我們不能忽視的方式接管了世界。

也許這是我加入 OpenAI 的一個契機,在我的部落格 Shtetl-Optimized 中,包括 Max Ra 和 Matt Putz 在內的一些評論者直截了當地問我,怎樣才能促使我致力於 AI 對齊(AI alignment)研究。我的回答是這主要不是為了錢,而且:

核心問題是圍繞 AI 對齊找到一個可能有答案的技術問題,即使只是一個小問題,但我覺得我有一個不同尋常的角度,都能讓我產生興趣。總的來說,我在研究主題方面有著絕對糟糕的記錄,因為我抽象地覺得我應該研究它們。我的整個科學生涯基本上只是讓自己被一個接一個的謎題所困擾。

以上就是我的回答。總之,OpenAI 的 Jan Leike 看到了這段交流,並寫郵件問我是否對他的研究感興趣。在與 OpenAI 的 Jan 以及更多的 AI 安全領域的人進行了深入交談後,我最終決定前往 OpenAI。

實際上,我整個星期都在灣區,會見了許多 AI 安全人員,當然還有研究複雜性和量子的人員,他們無論走到哪裡,都帶著一堆關於 AI 安全的技術論文。當我與 AI 安全專家交談時,我感到震驚的是,他們不僅重視複雜性理論的潛在相關性,而且比我更熱衷。

這不禁讓我想到,傳統上是學生追隨教授的腳步。但在嘗試將複雜性理論引入 AI 安全時,我實際上是在追隨我學生的腳步:Paul Christiano,我在 MIT 的本科生之一,畢業後 Paul 在柏克萊獲得了量子計算博士學位,師從我曾經的導師 Umesh Vazirani ,他業餘時間還從事 AI 安全工作。Paul 隨後離開量子計算,全職從事 AI 安全工作——事實上,他與 Dario Amodei 等人一起幫助 OpenAI 建立了安全小組。之後 Paul 離開 OpenAI,成立了自己的 AI 安全組織——Alignment Research Center (ARC),但還與 OpenAI 的人保持著良好的關係。我很感謝 Paul 的指導和鼓勵,以及在這個交叉路口工作的其他人,比如 Geoffrey Irving 和 Elizabeth Barnes。

我將在 OpenAI 實際從事哪些項目?過去一週我一直在試圖弄清楚這一點,我仍然不知道,但也有了一些眉目。

  • 首先,我可能會制定一個關於樣本複雜性等的一般理論,以用於在危險環境中學習,即了解在哪裡做出錯誤的查詢可能會殺死系統。
  • 其次,我可能會研究機器學習的可解釋性和可依賴性:給定一個產生特定輸出的深度網路,我會解釋為何產生這種輸出。
  • 第三,我可能會研究弱智慧體驗證強智慧體行為的能力。當然,如果 P≠NP,那麼解決問題的難度和識別解決方案的難度之間的差距有時會很大。事實上,即使在經驗機器學習中,生成對象(例如貓圖片)的難度與區分它們和其他對象的難度之間通常存在差距,後者更容易。但這個差距通常不是指數級的,正如對 NP 完全問題所推測的那樣:它比這小得多。與直覺相反,我們可以轉而使用生成器來改進鑑別器。我們如何抽象地理解這一點?我們可以在多大程度上擴大生成器 / 判別器的差距?

當然,OpenAI 的名字中就有 Open 這個詞,其創始使命是確保通用人工智慧造福全人類。但它也是一家營利性企業,擁有投資者、付費客戶和競爭對手。因此,在這一年中,我不會分享任何專有資訊,即使我沒有簽署 NDA。但我會在部落格中寫下我對 AI 安全發展的一些看法,歡迎讀者進行反饋。

過去,我經常對超級智慧 AI 將變得具有自我意識並很快摧毀世界的說法持懷疑態度。我從 2005 年就知道有 AI 風險社區的存在, 其領導者 Eliezer Yudkowsky 以及 Eliezer 勸告人們放棄他們正在做的事情,努力應對 AI 風險。即使我同意這是一件值得擔心的大事,我還是想問,我們到底怎麼做呢?我們對未來的超級智慧 AI 及其行為方式知之甚少,以至於我們今天採取的任何行動都可能毫無用處或適得其反。

然而,在過去的 15 年裡,我和 Eliezer 的觀點發生了戲劇性和諷刺性的逆轉。如果你閱讀過 Eliezer 的 litany of doom,你會發現他現在已經聽天由命了:因為他的早期警告沒有受到重視,他認為,人類幾乎可以肯定註定要毀滅,一個沒有對其(unaligned) AI 很快就會摧毀人類世界。Eliezer 表示,在 AI 安全研究中基本上沒有有希望的方向:對於學者指出的對齊策略,都可以通過解釋 AI 如何明智地執行計劃來輕鬆地反駁它,AI 會假裝支持我們的計劃,同時秘密地反對我們。

奇怪的是,正如 Eliezer 在對 AI 對齊方面取得任何進展的前景感到越來越悲觀一樣,我卻變得越來越樂觀。我樂觀的部分原因是因為像 Paul Christiano 這樣的人已經為豐富的數學理論奠定了基礎。更多的是因為我們現在生活在一個擁有 GPT-3、DALL-E2 和其他系統的世界中,雖然它們還不是 AGI,但足夠強大。我們終於可以根據這些系統來測試我們的直覺,這可能是人類在任何事情上取得成功的唯一途徑。

我沒有預測到如此令人印象深刻的機器學習模型會在 2022 年出現,我相信你們中的大多數人都沒有預測到。顯然 Eliezer Yudkowsky 也沒有,但它發生了。在我看來,科學的一個決定性優點是,當經驗現實給你帶來明顯的衝擊時,你會更新和適應,而不是消耗你的智慧來想出其他理由來解釋它無關緊要。

我的目標是學習一些新事物,做一些有趣的研究,寫一些相關的論文,享受教學後的休息,最後祝自己可以成功!

無人不知 Scott Aaronson

在量子計算這個領域,Scott Aaronson 毫無疑問稱得上「先驅」。

Scott Aaronson 是德克薩斯大學奧斯汀分校電腦科學教授,主要研究領域為理論電腦科學,研究興趣包括量子計算機的能力與侷限性以及計算複雜性理論等。Aaronson 畢業於康奈爾大學,並獲得加州大學柏克萊分校的電腦科學博士學位。過往所獲榮譽包括 Tomassoni-Chisesi 物理學獎(2018 年)、Simons 研究者獎(2017 年)和美國國家科學基金會的 Alan T. Waterman 獎(2012 年)。2019 年,Scott Aaronson 因「對量子計算和計算複雜性的貢獻」當選 ACM Fellow。

2021 年,Aaronson 獲得 ACM 計算獎。

在公告中,ACM 這樣總結 Scott Aaronson 的主要研究貢獻:

玻色子取樣:2011 年,Scott Aaronson 與 Alex Arkhipov 合著的論文《線性光學的計算複雜性》證明了完全由線性光學元素構成的基礎量子計算機無法通過經典計算機進行有效模擬。此後,Aaronson 致力於探索量子優越性實驗如何實現量子計算的關鍵應用,即密碼隨機比特的生成。

2020 年底,中科大潘建偉研究團隊等成功構建了 76 個光子 100 個模式的高斯玻色取樣量子計算原型機「九章」,研究發表在《Science》雜誌。Scott Aaronson 也是這篇論文的審稿人之一,並在自己的部落格中詳細分析了這項重大突破。

量子計算機的侷限:Aaronson 在 2002 年的論文《碰撞問題的量子下界》中證明了碰撞問題的量子下界,這項工作界定了量子計算機在多對一功能中發現衝突的最短時間,從而證明了密碼學的基本構成部分將保持量子計算機的安全。

經典複雜性理論:Aaronson 與 Avi Wigderson 共同提出了「代數化(Algebrization)」,這是一種用於理解分離和摺疊複雜性類的代數技術侷限性的方法。

量子計算的科普工作:除了技術上的貢獻,Aaronson 也始終致力於將量子計算推向大眾,併成為了該領域頗具名氣的「佈道者」。在他的部落格 Shtetl-Optimized 中,Aaronson 時常以簡單易懂的方式介紹量子計算領域的熱門話題,不管是基礎理論問題還是量子設備的探討,這些文章都廣受歡迎並引發了很多有趣的討論。Aaronson 還著有《自德謨克利特以來的量子計算》一書。

參考連結

參考連結:

https://awards.acm.org/about/2020-acm-prize

https://www.solidot.org/story?sid=71870

https://scottaaronson.blog/?p=6484

相關文章