前段時間，Bengio、LeCun 等人聯名寫了一份白皮書，呼籲美國政府加大對神經 AI 的投資，以攻破「具身圖靈測試」（參考：《Bengio、LeCun 等人聯名上書，呼籲美國投資神經AI，攻破「具身圖靈測試」》）。然而，這份白皮書卻在Twitter上引起了一些爭議。在這篇文章中，中科院深圳理工大學（籌）生命健康學院智慧交叉科學中心助理教授、中科院深圳先進技術研究院腦所腦資訊中心副研究員周鵬程博士悉心整理了這些討論並發表了自己的看法。
剛剛過去的一個週末，twitter上的神經科學圈發酵了一起不大不小的爭論，引得領域內多個著名學者，包括Yann Lecun的參與。最初爭論的焦點是「神經科學是否推動了人工智慧」，後來就更多變成了「未來的人工智慧是否需要神經科學」。
吃完瓜後，感覺裡邊還是有一些很不錯的觀點，在此小記覆盤一下。其中的翻譯並非按照原文逐詞翻譯，只是換成我個人語言理解而已。拋磚引玉，歡迎大家有更多的觀點和討論。中國在類腦智慧領域的投入也在增加，「該不該類腦」以及「如何類腦」這樣的問題都值得在廣泛範圍內討論。
爭論的起點
10月15號時候，神經科學領域和人工智慧領域一群大佬，如Terry Sejnowski, Yoshua Bengio，Yann LeCun，Eero Simoncelli，James DiCarlo，Alex Pouget 以及今天爭論的主角Konrad Kording， 在arXiv上發表了一篇白皮書文章
文章連結：https://arxiv.org/abs/2210.08340
文章的觀點非常簡單，摘要只有兩句話：Neuroscience has long been an important driver of progress in artificial intelligence (AI). We propose that to accelerate progress in AI, we must invest in fundamental research in NeuroAI.
概括起來就是：神經科學+人工智慧非常有前途，政府請打錢！
一般這種事情都是大佬們利用自己的聲音，對領域的發展提出一個方向，向政府建言爭取更多資源支持，對自己江湖地位和聲望有好處，熱度炒起來了，相關從業的小蝦米也開心。
所以文章發表之後，作者之一，賓夕法尼亞大學教授的Konrad Kording就開開心心的發了條tweet推廣這篇文章，並呼籲了 一些東西。前兩天還相安無事兒，大家其樂融融。
沒想到兩天後，可能是週末比較清閒，來自DeepMind的David Pfau對著Kording的這篇tweet開噴了：
神經科學從來都沒推動過人工智慧，你們白皮書中還說continue to drive AI progress
你們真的認為發明Transformers / ADAM的人看過一篇神經科學論文嗎？你們就假裝在為人工智慧做貢獻吧。要點臉吧！(原文：”it’s embarrasing”）
這樣的回覆立馬就炸雷了，引起了後面很多人的「參戰」。
這裡簡單提一下這位Pfau，他其實是正兒八經的神經科學博士，畢業於哥倫比亞大學的神經生物學專業，博士期間在Center for Theoretical Neuroscience （CTN）。跟我（博後期間）同一個導師，只不過我們時間上沒有交集，並沒有任何交流。
說這個背景，主要是讓大家不要覺得Pfau是不懂任何神經科學，盲目自大，他是受過完整神經科學訓練的。並且在CTN裡邊有Larry Abbott和Ken Miller等計算神經科學大佬，畢業生中走出了很多在人工智慧領域的佼佼者，如David Sussillo (下文會出現）。Pfau對於這神經科學和人工智慧兩個領域都不陌生。
諸神參戰
David Sussillo
Pfau的評論一出，上文我們所提到的David Sussillo就出來說話了：
過去幾年，我在Google Brain跟Transformer的主要貢獻人交往很多。我雖然不能冒昧地推定到底是什麼啟發了他發明transformer，但是他對神經科學是發自內心的感興趣，問了很多神經科學的問題。
格局打開，深度學習/人工智慧的科學原理早晚都需要被解決，我押寶計算/理論/神經科學領域的人。
Pfau直接回復：
人工智慧的人對神經科學感興趣沒問題，這和神經科學推動AI進展是兩碼子事兒。
Sussillo你自己在運動控制方面的神經科學工作非常有影響力，你能舉出來任何這些工作在機器人領域的應用嗎？
對此，Sussillo倒是也坦誠
沒，我在運動控制領域的工作在AI中沒什麼影響。我曾經試圖將動力學系統方面的思路引入到深度學習的理解中，但是沒什麼大成果。這個領域不太鼓勵進展緩慢的增量式工作。
Kording一看Sussillo這麼坦誠，被Pfau將了一軍，趕緊出來發言助攻。
Emo Todorov在運動控制方面的工作在人工智慧領域的應用比比皆是。
Pfau對此也毫不客氣
得了吧，Todorov的主要身份就不是神經科學家。他是做過一些神經科學的工作，但是我認為人工智慧領域所認可他的工作主要來自控制理論。
Kording也立馬回覆
他的控制理論一開始就是為了解釋神經科學的運動行為的。
至此，我們可以看出來分歧已經出現在：到底什麼才能被定義為神經科學？
為了解釋神經系統功能所用到的控制理論、數學、物理、統計、計算機手段是否還能被認為是神經科學？我的個人觀點在後邊說，大家繼續看戲。
Sussillo這時候估計也是覺得這樣辯論就沒意思了，趕緊總結了自己的觀點，給雙方臺階下，準備退出
算了，如果你就是不爽Kording所說的「神經科學繼續推動人工智慧」的話，那就算是吧。
過去的十年，深度學習領域到處都在跑馬圈地，偶爾有一系列真正令人驚歎的想法出現。我認為神經科學在這個過程中沒有貢獻。我承認這一點，並且同意目前神經科學對人工智慧的貢獻遠不如後者對前者的大。
但我不爽的是，你說「神經科學家宣稱對人工智慧有貢獻」就是embarrassing的。你說的太過了。
人工智慧的歷史吸納了很多不同領域的人到一起。就拿NIPS為例，神經科學也依然在這個會議中有一席之地。
這裡我簡單插入一點內容：近些年在中文網際網路上， NIPS的文章討論已經幾乎全部是計算機領域的了，但實際上它是有一部分留給神經科學的。
有趣的是，我在wiki上看NIPS的介紹，說的還是NIPS is a machine learning and computational neuroscience conference，以及說NIPS was designed as a meeting for researchers exploring biological and artificial neural networks。但是現在NIPS的官網上mission statement說的是foster the exchange of research advances in Artificial Intelligence and Machine Learning，與腦智慧已經毫無關係了。
這可真是從「小甜甜」到「牛夫人」的轉變。NIPS都如此，這也難怪現在人工智慧領域的新生代不屑於了解神經科學。而在上個世紀，最早那一批做人工智慧的對腦智慧還是非常感興趣的。
最後Sussillo給Pfau推薦了幾篇做人工智慧可以看看的神經科學文章，然後退出了爭論。
https://www.biorxiv.org/content/10.1101/2022.08.15.503870v1.abstract
https://arxiv.org/abs/2004.08013
https://proceedings.neurips.cc/paper/2021/hash/a57ecd54d4df7d999bd9c5e3b973ec75-Abstract.html
Ken Miller
Ken Miller是Pfau所畢業的哥倫比亞大學理論神經科學中心的大佬，他肯定是認識Pfau的。Ken是一個非常受人尊敬的理論神經科學家，致力於研究大腦皮層環路的計算規則，是研究腦智慧的一座山，現在突然聽到Pfau這番言論，肯定是很不爽的。於是連發了三條評論就離開了，而Pfau也沒有直接回復Ken，不知道是否是出於一種尊重，或者是他覺得Ken這種說法太泛了。
Pfau你小子，真覺得一個從沒聽說過神經元和突觸相關概念的人會想到使用人工神經網路來實現智慧嗎？
你忘了1990-2012年的神經網路寒冬了嗎？一幫受腦智慧啟發的頭鐵的牛人給神經網路續了命，雖然那段時間整個人工智慧/機器學習領域都拋棄了他們。
人類擅長抽象推理模式，但這是不會帶領我們想到通過神經網路/卷積網路來實現智慧的。而那幫頭鐵的老傢伙們就是堅信「大腦可以做到，那人工神經網路也行」，靠著這個信念堅持走過了人工神經網路的黑暗時期。
現在你居然在問「神經科學為人工智慧做了什麼」？真拿神經科學是牛夫人了？
上一次神經科學對人工智慧的貢獻在於認識到大腦是通過層級間的神經元和突觸連接實現資訊處理這一抽象的概念，我認為下一波重大貢獻將來自於我們真正理解大腦如何完成計算的。目前我們還遠沒到這個地步。
Yann Lecun
大佬出馬了，直接就一句”You are wrong”甩到Pfau老兄臉上了
你錯了 。神經科學極大並且直接啟發了我和Hinton。Hubel和Wiesel的動物視覺機制研究直接啟發了我。
另外神經網路通過調節突觸權重來實現學習這一整套想法確定無疑來自神經科學。
當然了，好不容易遇到和大佬對線的機會，Pfau也不會輕易放棄，趕緊說
從一些經典工作獲得一些概念上的啟發和直接從最近研究中獲得啟發是不同的。
你有從Neuron或者Cell雜誌上的最新文章受到任何啟發，並作出新的工作嗎？如果有的話，我沒注意到你文章中有這些體現。
這裡我覺得Pfau有點太偏執了，神經科學的第一任務是理解大腦的工作原理，而不是為了整天為人工智慧提供新的啟發。你這對比就是拿classic和latest research對比。LeCun估計也是覺得這樣說就沒意思了，就直接不回覆了。
此外，Pfau又補了一句
Mike Jordan說當年的PDP group都非常討厭backprop，因為它在生物學上不現實。
直到你們這波人不管生物學意義後，才變得流行了。大佬，你當年因為一些神經學家過分追求生物合理性而被刁難的日子，你都忘了嗎？
Tony Zador
Tony Zador 是冷泉港實驗室的一個大佬，他也是前文提到的白皮書作者之一。他看到Pfau對LeCun的回覆後，就開噴了
你丫這麼說就類似於問一個物理學家是否看過哪些最近發表的數學論文，並啟發自己完成一些新的工作？
「嘿，費曼，你最近看過Acta Mathematica上的論文嗎，有沒有直接推動你工作的？如果沒有的話，那物理學家不需要學數學了」
Pfau也挺善戰，立馬就說
你要說費曼，我就不困了。在《別逗了，費曼先生》一書中，他說他覺得純數太繁瑣並且不相關。他有問題就直接去找數學家問了
不過我覺得這回答的是個什麼？Zador也作出了回應（如下，我就不翻譯了）。
在另外一條線中，Zador也參與了一點爭論。起因是有人說Hinton在報告中提到Dropout的發現是因為他注意到神經元的活動是隨機的。
我查了Hinton的那篇文章，沒有提任何neuroscience的事情，也沒有引用。對文章撰寫來說，這也是很正常的，文章最後的組織和表述不用完全反映真實的心路歷程。
然後Pfau估計那天也是殺瘋了，上來就說
我懷疑Hinton從來沒有看過任何一篇神經科學的論文。被一些high-level的直覺啟發，跟被實際的神經科學研究啟發是兩回事兒。
於是Zador就說
你是不是指望神經科學文章中的某個圖片結論直接被應用到某些 人工智慧演算法中？如果這是你期待的話，那肯定不是這樣的。
事實上，我們從神經科學獲得一些啟發，然後把那些重要的想法移植到AI中並進而改善它。
Pfau也直接回復
實際上你說的這種形式也不常見。有些人從神經科學中尋找啟發，其他人完全無視神經科學也沒什麼，依然可以作出領域內的重大貢獻。
這裡我是不認同Pfau關於Hinton不看神經科學論文這一說法的。Terry Sejnowski在The Deep Learning Revolution一書中花了很多篇幅寫自己和Hinton的關係。
人工智慧領域的新生代可能不了解Terry，他是美國的National Academy of Sciences， American Academy of Arts and Sciences， American Association Advancement of Science, National Academy of Engineering, National Academy of Medicine, National Academy of Inventors 多院的院士（學術稱號buff加滿的存在），計算神經科學領域的先驅，高山仰止那種角色。
他和Hinton早期有很多關於神經網路方面的合作。後來兩個人的研究方向分別走向了兩個領域：一個注重利用人工神經網路實現人工智慧，另外一個專注於理解大腦工作原理。我相信兩位大佬是希望這兩個領域是可以互相促進的。在Terry的書中，他寫了這麼一段話
Every few years, I get a call from Geoffrey that begins with “I figured out how the brain works.” Each time, he tells me about a clever new scheme for improving neural network models.
It has taken many such schemes and refinements for deep learning in multilayered neural networks to achieve a level of performance comparable to humans in recognizing speech on cell phones and objects in photos.
從這裡我們看出，Hinton每次對他網路的修改，總是想和大腦對應上，尋求二者原理上的共性。所以我覺得這裡Pfau是太武斷了。
Gary Marcus
Gary Marcus 曾經是NYU心理系最年輕的榮譽退休教授。他對Pfau所說的神經學家過度關心生物合理性也回應了一下
是的，對神經網路生物合理性的要求過度了。但我同意LeCun，Pfau這小子太口無遮攔了，缺乏對歷史背景的了解。
Pfau老哥怎能服氣，立馬就槓上了
你瞎說，我當然知道歷史背景。我只是認為幾個教科書中關於抽象的啟發完全不等於是主要推動力。
Marcus也很老道，不跟他硬槓
好吧，你這麼說也沒毛病。那咱們就說「60年代有一些是有實際貢獻，1970年以後就沒什麼大的推動了」
最後這個Markus還是非常善意的提供了一些神經科學中可供AI領域參考的概念，然後消失了，深藏功與名。
Eran Mukamel
Eran Mukamel是UCSD認知神經科學系的一個教授，溼實驗比較多。我知道他是因為我之前一些工作經常會拿他的一個演算法對比。Mukamel和Pfau倆家簡單鬥了一下嘴，沒什麼特別有趣的爭論。大家自己看截圖吧。
鳴金收兵
後來雙方都很累了，Pfau也沒想到自己直接點燃了一個火藥桶，一個週末就這麼荒廢了，全程與各位對戰，也承認自己處境很尷尬，不過他是堅決不認輸。
爭論中的另一個主角也不開心地發了個佛系的tweet。
個人觀點
我是戰火結束了才跑去吃瓜的，吃得還是挺開心。我很欣賞David Pfau這樣的人拋出來這個話題，並且面對各個大佬都從容應對。雖然我不是很認同他的某些說法，但是我覺得Nicole Rust下邊的這條評論基本表達了我的感受：
這條twitter下的爭論還有很多，我原本想著一會兒工作就整理完了，結果我嚴重低估了工作量。剩下的我就暫時先不整理了。如果感興趣的話，可以去圍觀另外一條主線，來自Harvard的教授Sam Gershman也開闢了一個戰場，下面依然有Tony Zador大神的火力輸出。https://twitter.com/gershbrain/status/1583785652516098049
另外大家不要覺得都是噴Pfau的，其實也有很多人是支持Pfau，並且認為「根本不用關心neuroscience進展的」，以及「neuroscience在這一波deep learning浪潮中什麼也沒幹」，對此我覺得也沒什麼不妥。
早在2015年時候，就有一個知乎討論，有個回答也是說「不覺得做人工智慧一定要先學點生物」，對此我是認同的。神經科學不需要所有人都學習。(相關知乎問答：https://www.zhihu.com/question/27716888/answer/37809407)
最後發表一下筆者本人的一些看法，歡迎討論。
人工智慧有很多途徑，NeuroAI只是一個選擇
我覺得這裡沒必要厚此薄彼。有人覺得神經科學 ->人工智慧是一條不錯的道路，有人覺得完全不需要神經科學也一樣可以做地很好。那沒問題，各走各的道，誰也別想著干涉誰。神經科學對於過去十年的所謂的「人工智慧」發展沒什麼大的貢獻，這是事實；如果有，那也是早年的先驅概念性啟發，跟當代的神經科學沒什麼大的關係，沒必要去邀功。
但是你要說未來是否有貢獻，那我覺得是會的。有人覺得不會，那也沒關係，就像1990-2012年間那樣，大部分人覺得人工神經網路不值得研究一樣。
另外Pfau這種「神經科學對人工智慧沒有貢獻的說法」，我覺得有一個很大的問題：誰來定義人工智慧？
有人從工程角度研究，有人從腦智慧啟發。後者目前慢，但是就直接否定了其存在，從人工智慧領域踢出去是否合適？我們是否換個角度看，研究腦科學就是研究人工智慧？如果我能夠完全理解了大腦工作原理，那實現人工智慧就會是一個水到渠成的事情。
總結起來就是，做神經科學的不要隨意邀功，免得給反對者一種「我祖上闊過」的印象；而做非神經相關的AI研究者，也不要隨意貶低其它領域的研究。
屬於腦科學的「空氣動力學」還未到來
大家經常會拿鳥和飛機來類比腦科學和人工智慧。白皮書中也對此有一個回應，主要是強調這個類比不合理。造飛機的目的不是為了像鳥，但是人工智慧的一個目的是為了像人（此處有爭議，有些覺得人工智慧不需要像人，但是要超越人類的水平）。
我個人覺得除了白皮書中所說的，還有一條就是屬於腦科學的空氣動力學還未到來。人們從研究鳥發現了空氣動力學，然後就可以拋開鳥類，專注空氣動力學就可以造出來更大更快的飛機。但是對於腦智慧來說，我們還沒有發現可以解釋其計算原理的理論，在類腦智慧領域尚沒有可以脫離大腦可以獨立發展的「空氣動力學」。所以我覺得Ken Miller的評論是中肯的。
神經科學如何界定？
Pfau在爭論中有個觀點其實是具有迷惑性的。他只承認實驗得到的神經科學結論，而拒絕認為來自控制理論、數學、認知科學的研究屬於神經科學。
如果持有這個觀點，那麼他很難在辯論中失敗。因為所有被人工智慧所吸收的理論都會被他說成是另外一個學科，而非神經學科。
但實際上神經科學的定義非常模糊，我迄今都沒有嚴格區分neuroscience, neurology, neurobiology, coginitive neuroscience等細分方向。我覺得凡是以神經系統為研究對象，為此開發的理論、方法以及實驗發現都屬於神經科學。
畢竟現代神經網路的先驅們很多都是數學、物理等方向，大多都是懷著對人類智慧的興趣而進行相關的探索。他們有的走向人工神經網路，有的走向生物腦的原理解析。
對於歷史上的大師而言，他們眼中沒有細分的專業，而只有人類未解之謎。如果需要，他們可以自己創造一個專業。
目前神經科學還處於初級階段，但已經是最好的時代
神經科學是一個非常吸引人的學科，裡邊的未解之謎實在太多。有很多人在年輕時候都試圖去研究它，進了一些神經科學的博士項目。
但真正進入了之後，才發現我們的研究手段如此初級，離自己想象差距好大，感嘆在有生之年估計是無法解答自己的疑惑。（文章在知乎發表後，好幾個以前的好朋友都對這句話感觸頗深）。
比如Jeff Hawkins進入了UC Berkeley的神經科學PhD項目，讀了一段時間覺得有點希望渺茫，於是就輟學去了矽谷，創建了Palm Computing公司，賺了大錢後，在UC Berkeley贊助了一個Redwood Center for Theoretical Neuroscience，繼續贊助一幫大佬進行神經科學研究。
圖片致謝：中科院深圳先進院徐放老師
我之所以認為現在是神經科學發展最好的時代，是因為隨著更多領域的人加入，神經科學研究的工具越來越多，手段越來越多樣化，很多過去受技術限制而不能回答的問題正變得可能。正如上圖所說，「科學的進步取決於新技術、新發現和新思想，可能是按照這個順序」，所以我對神經科學的發展是樂觀的。
對人工智慧的啟發可以有很多種
神經元和突觸連接這些概念對於最早期的人工神經網路來說，我認為是肯定很關鍵的。這是從其它實體中很難獲得的一種啟發，其難度應該可以類比從我們日常生活想象量子力學一樣。對智慧的研究發展到今天，要得益於人類歷史上一些偉大的實驗科學家和一群對智慧原理孜孜不倦思索的理論家。
但是具體到某些演算法，可獲得的啟發就可以來自方方面面了。Hinton在reddit上提了關於發明dropout的一些歷程。其中提到了2004年時候，他覺得大腦執行一個任務只用部分神經元激活即可，因此有了dropout的想法。後來他又從銀行工作人員輪流上班而不影響客戶辦理業務，也覺得部分神經元可以隨機休息。這兩種事情都促使他有了最初的 dropout想法。
未來的NeuronAI政府資助
與此次爭論無關的幾條回覆來自美國的IARPA的一個負責人David Markowitz，他是我之前參與的一個MICrONS項目的政府方面的管理者。MICrONS算是美國政府投入非常大的一個NeuroAI項目。David從經費管理者角度上回應了這篇文章，總體上是支持這一領域，但是科學家們需要拿出更多成果，給經費分配者以信心。
作者簡介
周鵬程，中科院深圳理工大學（籌）-生命健康學院-智慧交叉科學中心助理教授，中科院深圳先進技術研究院-腦所-腦資訊中心副研究員。周鵬程博士的DAMI實驗室(dami-lab.top)，主要以腦科學實驗資料為核心，以科學問題為驅動，開發智慧化分析方法（Data Analysis）理解資料，並通過建模（Modeling）來解釋實驗發現，檢驗關於大腦計算原理的理論，最終希望可以為智慧（Intelligence）提供啟發。
