夢晨 Alex 發自 凹非寺
AI大牛何愷明有了最新動向,而且是迴歸學術界。
MIT CSAIL實驗室發佈公告,3月13日下週一,何愷明將到MIT做學術演講。
此事引起AI圈廣泛關注。在相關知乎問題下,MIT博士@Charles指出,何愷明參加的這個研討會全是Job Talks(求職演講)。

杜克大學教授陳怡然也表示,一直聽說何愷明在尋找教職,現在終於能確認了。

求職演講是學術界一大傳統,指申請博士或教職者到校做學術報告,內容是他們自己的研究成果,通常正是在每年三四月份集中進行。
並且進入這個階段,就代表何愷明至少已經通過了簡歷篩選,研究成果和能力受到了MIT的認可。
還有網友預測,鑑於之前李飛飛到MIT演講座無虛席,何愷明這回講座恐怕也會非常火爆,成為深度學習大型追星現場。
但也有網友在評論區補充到,這不代表最終何愷明就會選擇去MIT,也可能會去其他學校,但總之在找教職基本可以確定了。

或成為全MIT引用最高的人
雖然不確定何愷明最終的選擇,但眼尖的網友已經發現,如果他真去了MIT,被引用次數將成為全校最高。
目前,MIT全校被引用次數最高的,是化學與生物醫學工程系的重量級教授Robert Langer,次數為38萬+。

△圖源:Google學術
而何愷明被引用次數高達40萬+。

△圖源:Google學術
儘管不同學科無法直接這麼對比,但何愷明的引用次數實在是太引人注目了。
有網友表示,雖然引用量不一定能說明太多問題,不過「引用量是天文數字的一定是大神」。
要論何愷明最高引研究,必須是ResNet。在2021年底突破10萬大關,如今已經漲到15萬。
ResNet本身雖為計算機視覺領域研究,但其核心思想殘差連接已經跨界成為現代深度學習模型的基本元件。
開啟上一次AI熱潮的AlphaGo Zero就是結合了ResNet+強化學習+蒙特卡洛搜尋共同完成。
而開啟最新AI熱潮的ChatGPT,其中的「T」也就是Transformer網路中同樣使用了殘差連接。

在計算機視覺上,何愷明的主要貢獻還包括Faster R-CNN及後續的Mask R-CNN等一系列研究,在很多年都是目標檢測的主流方法。
他的近期主要研究興趣是無監督學習,21年底提出的MAE,將語言模型的掩碼預訓練方法用在視覺模型上,為視覺大規模無監督預訓練大模型開路。
最近他還將掩碼方法引入眾多AI繪畫應用的基礎模型CLIP,把訓練速度提升了3.7倍。
在MIT即將進行的演講中,何愷明準備的主題也是「視覺智慧」。
包括他在ResNet、目標檢測方面的成果,以視覺無監督學習對未來研究的影響。

至於何愷明可能要加入的MIT CSAIL(麻省理工電腦科學與人工智慧實驗室),是麻省理工最大的實驗室,也是世界著名的計算科學和AI實驗室。
這裡雲集了眾多電腦科學和AI領域的知名人物,包括全球資訊網發明人Tim Berners-Lee,分散式運算和併發演算法專家、圖靈獎得主Leslie Lamport和Barbara Liskov等等。
當Meta AI有了產品壓力
何愷明本科就讀於清華大學,博士畢業於香港中文大學,2011年他加入微軟亞洲研究院。
自2016年起他加入Facebook AI Research,也就是大名鼎鼎的FAIR,繼續研究計算機視覺。
但就在最近一年之內,該部門已發生兩次重大調整,都是增強應用型研究,削減基礎研究。
去年6月,受公司轉型元宇宙影響,FAIR被降級為元宇宙部門Reality Labs的下屬組織。
同時,支持旗下各大APP的演算法團隊轉移進產品工程團隊。新架構給了產品團隊更大許可權,加速技術的應用落地。

今年2月底,祖克柏面對ChatGPT熱潮再次做出調整,宣佈成立頂級AI產品團隊。
把全公司搞AIGC的都集中起來。

多年前,在LeCun卸掉FAIR管理層、就任首席AI科學家時,還在FAIR的田淵棟、吳育昕等研究員都曾表示,在這一部門沒有產品的壓力。
但近期一系列調整下來,Meta流失不少研究型人才,包括帶領過強化學習研究的Edward Grefenstette等至少4位知名學者離職,甚至位於倫敦的AI實驗室失去了大部分頂級研究者。
從何愷明迴歸學術界的動向來看,他還是更傾向於搞基礎研究。
One More Thing
就在這段時間,關於學術界與工業界的對比再次成了AI圈熱點話題。
一方面,有網友指出工業界大廠的日子不好過,工程、應用型的崗位增加,研究型的越來越少。

另一方面則是大模型當道,AI科研成本指數級增加,連頂刊Science都在正刊發文表示:學術界與工業界掌握的算力已不在一個數量級。

兩者夾擊之下,AI大牛迴歸學術界和離開大廠創業成了同時存在的兩股趨勢。
迴歸學術界的代表除了何愷明,代表人物還有GoogleTensorflow創始成員Pete Warden。國內也有螞蟻金服原副總裁漆遠加盟復旦、商湯原執行研究總監代季峰加盟清華等。
離開大廠創業的代表人物則有GoogleTransformer作者們出走成立Adept AI、Character.AI,以及前兩天剛曝出的亞馬遜李沐與Alex Smola攜手創業。
在《如何看待Kaiming面試MIT教職?》的知乎熱議話題下面,一個高贊回答是:

參考連結:
[1]https://www.csail.mit.edu/event/eecs-special-seminar-kaiming-he-pursuit-visual-intelligence
[2]https://weibo.com/2199733231/4877346375735190
[3]https://www.zhihu.com/question/588205714