被裁後,前 Google 工程師揭露:Google Brain 沒落的真實原因!

【CSDN 編者按】一週之前,為了更好地追趕 OpenAI,Google 做了一個重大的決定:Brain 和 Deepmind 合併,這件事引得很多人的關注與不解。最近波及其中的 Google Brain 高級工程師 Brian Kihoon Lee 於上週被解僱,他畢業於麻省理工學院,一直深耕在機器學習的領域,推出了 AutoGraph 編譯器和 Effective TF 2 。Google Brain 部門究竟存在何種問題?它的研究方向出現了哪些偏差,作為在 Google Brain 部門剛剛離職的高級工程師 Brian Kihoon Lee 給出了他的見解。

作者 |Brian Kihoon Lee

譯者|陳靜琳 責編 | 屠敏

這篇文章初稿最初寫於2022年12月,當時我正在思考關於我工作的前景和未來,所以擱置了這篇文章,因為我不確定在受僱於 Google Brain 時,發表這樣的文章是否合適。但是,Google在一月份解僱了我,所以我的決定就變得簡單。上週,我的遣散費結清了, Google 也取消了獨立的 Google Brain 團隊,將 Google Brain 和 DeepMind 合併為一個新的部門,取而代之的是 ” Google DeepMind “。作為一個擁有獨特視角的人,我希望我的分享能對 Brain 的存在問題提供一些啟示。我將闡述 Google Brain 存在的許多原因,並評估它在今天的經濟條件下的持續有效性。

研究自由的學術界 vs 高薪的產業界

研究自由的學術界 vs 高薪的產業界

我想首先解釋一下有關學術與產業的悖論。

很多學者一直在研究可以更為自由的學術界和能拿到高薪的產業界之間糾結。作為一個機器學習(ML)專家,可以肯定的說,Google會付給你豐厚的報酬讓你去做機器學習(ML),但是換來的結果通常是,你不得不從事推薦系統、廣告最佳化、搜尋排名這些研究之外的工作,而不是純粹的研究。

說白了,Google Brain 團隊之所以存在的一個重要原因是它主導了很多有直接或間接盈利的項目,例如,許多研究人員專注於改進最佳化器、架構搜尋和超參數搜尋,這種研究是直接盈利的,因為它降低了計算成本,有效提升了性能。

需要解釋的是,為什麼Google Brain(與DeepMind、OpenAI、FAIR和其他公司一起)資助數百名 ML 研究人員從事純粹的研究,看起來只是為了研究而研究,同時還比學術界的薪資多出一個數量級。舉個例子,我的團隊致力於嗅覺的機器學習,Google就資助關於嗅覺的研究?這有什麼好處呢?我想展開進行解釋。

聲望帶來的的巨大價值

聲望帶來的的巨大價值

大多數學術界專家認為,Brain 正在為聲望而努力:” Google Brain 正在與僱用最好的研究人員,增強實力來與其他工業研究實驗室進行競爭,這樣他們就能成為最有聲望的研究小組,反過來反向再吸引更多頂尖研究員加入」。坦白來說,美國的學術界就是這樣運作的:資金、學生/博士後和主要研究人員(PI)三位一體,相輔相成。資金流向最有才華的首席研究員和學生/博士後;學生/博士後也去追尋最有才華的首席研究員和資金所在的地方;首席研究員又去找到有才華的學生/博士後和資金所在的地方。

在這樣的直接激勵下,大學最大限度地去提高聲望,並且這個費用從所有的研究經費中抽取(令人吃驚的多)。行業研究實驗室則不是這樣,因為與其說維持一個有聲望的實驗室來獲利,不如防止頂級研究人員流失而減少損失。就像 Uber 人工智慧實驗室似乎就完全是為了聲望而存在的,在新 CEO Dara Khosrowshahi 接替 Uber 創始人 Travis Kalanick 後就被正式取消。

當實驗室有聲望之後,主要會帶來兩個好處:無論是在純研究領域還是在應用機器學習(ML)、消費者領域,積極的品牌形象都會更容易得到機會。例如,幾年前,我在找工作時甚至沒有考慮過要申請加入蘋果公司,因為他們在機器學習維度的研究並不是那麼多,也或許基於發展理念他們根本不需要機器學習的專家。但是,如果你確實需要僱用幾千名 ML 工程師,那麼資助少數頂級 ML 研究人員來提升聲望,其實是有意義的。同樣在我的團隊中,聲望對於嗅覺方面的 ML 工作也起到了推動作用。

今天,以提升聲望為導向的研究,並且作為一種招聘策略仍然是有意義的,但鑑於行業正在集體削減招聘預算,用於提升聲望的支出也必須減少。

MBA 的介入與 Google Brain 的文化相沖突

很明顯,Google投資純研究的下一個原因是它已經發現相關的項目能產生並能實現持續的有突破性發現。Google Brain 團隊給了Google TensorFlow、TPU、JAX 等項目巨大幫助。而且這些只是在開始時研究的項目,如果放寬限制,名單會更長,例如用於醫學成像的 ML 以及 AutoML 等等。

可以說, GoogleBrain 的這種自由自在、自下而上、以研究人員為中心的特質是產生這些突破的原因。Jeff Dean 負責研究工作,正是因為他能夠堅持體現這些特質,如果換成一個擁有 MBA 商業文化的人來控制這個部門,MBA 文化就會滲透下去,以致於殺死下「金蛋」的鵝。

隨著時間的推移,有兩個因素最終導致了 Google Brain 的落幕:

  • 第一個是經濟背景:隨著經濟緊縮,以及來自 OpenAI/VC 資助的人工智慧初創公司的競爭加劇,Google感到有必要對其研究投入更多精力和指導。

  • 第二是 ML 越來越成熟,在深度學習的早期,沒有人知道它能有什麼能力,研究人員被賦予了研究願景的特權。可是今天,公司老闆們隨意地對 ML 可以應用在何處並如何發揮作用發表他們的意見,而企業高管直接以他們的意見取代了專家們的觀點。其結果是減少了研究人員的自由和增加了自上而下的指導。

還有一個有趣的軼事,Google的研究人員晉升標準在一段時間內與外部對其研究意義的認可有關。如果Google的宣傳委員會(由高級研究人員組成)不能確定他們自己的研究是否有意義,那企業老闆們將更不會懂了,在不久的將來,我預計研究人員的晉升標準將會以他們所提供的商業價值的評估,而不是對其研究影響的外部認可。

當下,在 LLM (大模型) 的研究人員也出現了類似的問題,企業老闆們無法準確評估研究人員們的能力,無法得到外部的認可也就很難展示自己的能力。即便如此,每個 LLM 研究人員都能感覺到高管們給到他們的壓力,而在深度學習興起的時候,情況並非如此。

ChatGPT給 Google Brain 的生存帶來了嚴重的挑戰

Google資助開放式研究的另一個原因是為了保持其在機器學習方面的領先地位。

在大規模系統程式設計方面,Google已經領先於業界十多年了。而可行的替代品,像MapReduce(Hadoop)、Spanner(CockroachDB)和Zanzibar(AuthZed)這樣的系統,競爭對手花了5-10年時間才開發出來。當Google開源 TensorFlow 時,很明顯,他們又做到了領先競爭對手,這一切都是Google通過慷慨的資助而實現的。

不幸的是,這種早期的領先優勢在短短几年內就被打破了,PyTorch/Nvidia GPU 輕鬆超越了 TensorFlow/Google TPU 。坦白來說,機器學習還是研究尚淺,人工智慧公司持續的鉅額資金投入帶來了供應的激增,在過去的十年裡, ML 研究人員的數量每年都在增長25%。在相對較短的兩年時間裡,我自學了足夠多的 ML 技能,來融入 Google Brain 的研究群體,其他許多人也是如此。沒有人能夠負擔得起把錢扔進一個無底洞,即使是Google也無法做到。

在某一領域的早期領先優勢,只有在將研究優勢轉化為產品的情況下才有價值。Brain最近的人才外流在很大程度上是由於內部認為Google是在坐等突破性的研究,而不是開發它的潛力。ChatGPT的到來,給 Google Brain 的生存帶來了嚴重的挑戰。如果我們把Google無法執行研究轉化作為一個常態,那麼內部投資於開放式的投機性研究是否有意義?Google對Anthropic AI的4億美元投資是一個不好的現象:Google的 CEO 正在對沖他們在外部研究團體上的研究賭注。

催化劑理論

催化劑理論

Google Brain 的一個不尋常之處在於其自由的出品政策, Google Brain 經常在頂級ML會議的論文輸出量上超過整個大學。在為開放式研究投入大量資金後,為什麼要將成果免費贈送?輸出的主要原因是:(1)聲望;(2)研究人員可以退出並帶走他們的成果;(3)催化一個領域的發展。

催化劑理論認為,通過發表與Google核心業務相關領域的關鍵研究,該研究方向將以有利於Google的方式發展。例如,Google一直對更好的NLP感興趣,2014 年 seq2seq 和 2017 年 Transformers 等關鍵研究的發表,催化了整個 NLP 領域的發展。

在和平時期,花XXX美元來擴大整體蛋糕是有意義的,只要你的那塊蛋糕的增長超過X美元。但是 OpenAI 與微軟的聯盟意味著有另一個巨頭的存在,這一巨頭既擁有消費者市場,又擁有擴大 ML 部署的計算能力。隨著Google過渡到戰時模式,催化劑理論在Google肯定是行不通的。

兩種工作模式的切換

兩種工作模式的切換

DARPA 的任務聲明是 “防止和創造技術驚喜”。最好的防禦其實是良好的進攻,但擁有一個穩定的技術專家,能夠迅速了解和應對該領域的意外發展,肯定不會有什麼損失。當形勢好的時候,這些專家可以專注於原創性研究,而當形勢不好的時候,這些專家將被徵召去從事防禦性項目。

看起來很合理,但是這個計劃的缺點是沒有辦法保證當取消專家們的項目時,這些專家真的會堅持下去。為了消除疑問,Google也可以直接解僱他們。撇開諷刺不談,Google解僱我並沒有錯,5個月前我開始寫這篇文章的時候,就給我一個強烈的信號,我應該尋找新的工作。

現在的時代很糟糕,我希望看到Google呼籲其研究人員關注相關的法律學習。

跨學科趨勢

跨學科趨勢

Google Brain 的許多開放式研究項目是相當跨學科的。如前所述,我的團隊致力於嗅覺的 ML , Google Brain 也在醫學成像、天氣建模、神經元成像、DNA 變體、音樂和藝術、蛋白質註釋等方面的 ML 方面取得了開創性的進展,可能還有更多我錯過的方面,也有許多成功的故事,如 AlphaGo 和 AlphaFold 。

毫無疑問,這些跨學科的努力已經取得了很多成果。然而,兩個相反的趨勢降低了Google繼續資助這些努力的意願。

第一個是研究人員的人口統計學,沒有什麼比一個物理學家遇到一個新的領域更令人討厭的了。另一方面,沒有什麼比其他領域的專家學習物理學(或機器學習)更有超越性。考慮時間問題,絕大多數早期的 ML 研究人員基本不會攻讀博士項目,大多都是自學成才,從其他領域交叉而來。這為跨學科工作的發生創造了條件。不幸的是,這種過渡性的反常現象被大多數人誤解,認為是機器學習顛覆現有領域的固有屬性,其實不然。

現如今,絕大多數新招聘的 ML 研究人員都是剛畢業的博士,他們只從ML的角度研究過問題。在任何情況下,我預計後來的跨學科項目的質量和成功率會相應下降。即使Google的高管們不了解這一趨勢的本質,他們也會注意到突破的質量在下降。

第二是,從商業角度來看,事實證明,在職人員學習機器學習比Google學習一個新的商業模式要容易得多。Google健康是最突出的例子,但我已經看到這種模式在其他領域反覆上演。我對 DeepMind 的 Isomorphic 實驗室能否走得更遠表示懷疑。另一方面,像 Recursion Pharmaceuticals 和 Relay Therapeutics 這樣的生物醫藥公司,由職業生物學家和化學家轉行的 ML 工程師組成,已經做得很好。跨學科的 ML 突破所帶來的好處似乎歸於在職者,並不構成Google新業務線的強大基礎。

Brain 與 DeepMind 的合併

  • Google高管顯然認為 DeepMind 品牌比 Google Brain 品牌更強大。或者,DeepMind CEO Demis 拒絕簽署合併,除非保留 DeepMind 名稱。

  • 此次合併可能是更大重組的前奏

  • 雙方都沒有「贏」,我認為 Brain 和 DeepMind 都輸了。我預計在接下來的幾個月裡會看到許多項目取消、項目合併和人員重新分配,以及人員減員。

  • 由於要進行的項目越來越少,我預計會看到很多中層管理人員被裁員或離職。

  • 由於 DeepMind 自上而下的文化與 Brain 自下而上的文化發生衝突,我預計會有很多動盪將合併效率的收益降至零,甚至還會虧損。

未來的發展還一片朦朧

未來的發展還一片朦朧

儘管 Brain 通過其對開放式 ML 研究的早期資助創造了巨大的價值,但Google越來越明顯地意識到它不知道如何捕捉這種價值。Google當然沒有義務資助開放式研究,但如果Google拒絕投資,這對研究人員和全世界來說都是悲傷的一天。

Google已經是許多消費者和商業產品供應的第二推動者,而且在 ML 研究中似乎也是如此。我希望Google至少在第二名方面做得很好,成為機器學習方面的贏家有很大發展的空間。

原文連結:moderndescartes.com/essays/why_brain/

相關文章

最強 AI ChatGPT 真要取代程式設計師?

最強 AI ChatGPT 真要取代程式設計師?

【CSDN 編者按】ChatGPT 一出,「程式設計師要失業了」、「程式設計師要下崗了」之聲不絕於耳,引得程式設計師們不由得一陣驚慌,最強 ...

重磅,GPT-4 API 全面開放使用!

重磅,GPT-4 API 全面開放使用!

整理 | 屠敏 遙想今年 3 月剛推出GPT-4的 OpenAI 僅邀請了部分提交申請的開發者參與測試。眼瞅 OpenAI 聯合創始人 Gr...