明敏 發自 凹非寺
量子位 | 公眾號 QbitAI
語不驚人死不休的LSTM之父Jürgen Schmidhube，又來了。
這一回，他把「矛頭」對準LeCun，聲稱其前不久發表的最新62頁論文中，沒有正確引用自己實驗室1990-2015年的成果。
沒錯，就是LeCun那篇介紹自己未來10年研究方向的論文《A Path Towards Autonomous Machine Intelligence》。
儘管LeCun已經在論文中聲明，其中的很多想法都是來自不同作者。
但Jürgen表示，很多內容讀起來似曾相識，「而他並沒有正確引用我的論文」，並且列出10個方面論述了自己的觀點。
其中不乏LeCun眼中的下一代AI架構世界模型、JEPA等引起熱議的部分。
Jürgen直言，自己如此較真並不是因為存在利益衝突，而是希望自己的工作能夠得到認可。
目前，LeCun對此還沒有回應。
「他引用的論文都太新了」
在這次發文中，Jürgen表示LeCun引用的很多論文都太新了，卻沒有引用早年間的一些「最原創」的論文。
這些早年的研究，正是來自他的團隊。
就拿LeCun此次重點提到的世界模型來說。
Jürgen表示，他1990年發表的一篇論文中，就介紹到了其中的幾個概念。
這篇論文中，描述了兩個循環神經網路，可以稱為控制器（controller）和世界模型（world model）。
控制器負責嘗試發出一系列動作，以在最初的未知環境中儘可能多地積累輸入。
世界模型用來學習控制器發出動作後產生的結果。
這種模式也就是現在的rollout演算法。
在LeCun的論文中，關於這部分的引用是來自論文「Dyna, an integrated architecture for learning, planning, and reacting」，發表於1991年8月。
但Jürgen認為，其中提到的集合學習、規劃和反應的架構，在此之前就被提出了，正是來自於他們1990年的工作。
因此，LeCun的引用有問題。
除此之外，他還提到LeCun引用的2014年發表的論文Generative Adversarial Nets，也是基於他們的工作。
這一點在他之前的發聲中就有提及過。
去年，Jürgen表示ResNet、GAN等五大網路都有他的功勞。
還有LeCun在論文中提到的核心——聯合嵌入預測架構 (JEPA)。
Jürgen認為這是他在1997-2002年時提出過的工作。
諸如此類的問題，Jürgen在部落格中列舉了將近10處，並列出了大量論文進行論證。
網友：機器學習的所有工作都是他的註腳
Jürgen一波操作自然又引來了不少網友圍觀。
有網友覺得，LeCun也沒有說這些想法都是他自己的，他的立場更多是綜合了大家想法下提出一個願景，而且也提供了適當的引用作為參考。
大概他也應該提到你的這些論文！
當然更多人是出來吐槽Jürgen了……
你的確是AI領域的一位大佬，但你更出名的是總出來說別人剽竊了你的想法吧。
機器學習的所有工作都是Jürgen的註腳。
更直接的調侃還有，「Jürgen發明了火」，「還有輪子」。
不過這也不能怪網友們嘴狠，畢竟Jürgen的嘴炮歷史非常悠久。
去年他還提出「目前引用次數最高的5項神經網路工作都是基於我團隊的成果」。
這五項工作分別是：LSTM、ResNet、AlexNet和VGG Net、GAN、Transformer。
當時就有不少人說，Jürgen太美化自己的貢獻了。
不過不管咋說，Jürgen的成就還是有目共睹的，作為深度學習領域的開拓者，他提出的LSTM解決了一般RNN存在的長期依賴問題。
而對於Jürgen多年來的激烈表達，網友們似乎也習慣了。
甚至在當年圖靈獎頒給「深度學習三巨頭」後，還專門為Jürgen寫了首歌來讓他振作起來（doge）。
參考連結：
[1]https://people.idsia.ch/~juergen/lecun-rehash-1990-2022.html#DYNA90
[2]https://twitter.com/SchmidhuberAI/status/1544939700099710976
[3]https://www.reddit.com/r/MachineLearning/comments/vtcrej/d_lecuns_2022_paper_on_autonomous_machine/
