圖靈獎得主LeCun評ChatGPT不算創新,被網友罵檸檬精

豐色 發自 凹非寺

ChatGPT並不算創新。

OpenAI做的這個東西跟其他實驗室相比,根本算不上什麼進步。

這兩天,圖靈獎得主LeCun公開和大熱趨勢「唱反調」,瞬間引發網友圍觀。

,瞬間引發網友圍觀

要知道,ChatGPT功能強大又好玩,火爆全網,任誰看了都得感嘆一句「技術也太強了吧」,AI大佬對此卻「不敢苟同」

對此,不少網友稱LeCun就是在「酸」OpenAI的成就:

「OpenAI現在讓Google和Meta都處於ChatGPT的陰影之下。這就是為什麼它不算革命性的創新。」

但也有學者為他撐腰,稱「ChatGPT就是一年前的InstructGPT的改進版本,我必須同意LeCun的這個說法」。

具體是怎麼回事兒?

具體是怎麼回事兒?

「ChatGPT不算技術創新,只是組合得很好罷了」

LeCun是在上週於Zoom的媒體和高管小型聚會上發表了這些觀點。

說ChatGPT不創新,是就底層技術而言。

他表示,過去許多公司和實驗室都建立了ChatGPT這種資料驅動的人工智慧系統,因此OpenAI的這個作品算不上獨樹一幟。

儘管ChatGPT在這裡面可能最強大,公眾都被它的能力所折服,覺得它能給大家的工作和生活帶來非常大的變化,但它也真的算不上革命性的科學。

他指出,除了GoogleMeta,還有6家初創公司都擁有著非常相似的技術。

「這些技術都是公開的,算不上rocket science,如果你願意一探究竟的話,可以發現它背後沒有任何秘密可言。」

(Ps. rocket science即火箭科學,指特別困難的事情。)

他稱ChatGPT僅僅是「組合得很好」。

具體都「組合」了以下這些關鍵技術:

首先,它的核心就是以自監督學習的方式預訓練的Transformer架構。

其中,自監督學習是「我LeCun」早就提倡的。有多早?那時OpenAI都還沒誕生呢。

Transformer呢,更不用多說。是Google2017年就提出的,GPT-3等大量語言模型都是基於它。

而說起語言模型,它的歷史就更早了。

第一個神經網路語言模型,是Yoshua Bengio在大約20年前提出的。(注意力機制的概念最早也是Bengio發明的,然後被Google採納用於Transformer,然後成為所有語言模型中的關鍵元素)。

也就是說,ChatGPT不僅用的都是別人的技術,還是很早就有的技術

另外,LeCun還指出OpenAI的程序都用到了強化學習,也就是通過人類agent對機器的輸出進行的排名(就像Google的網頁排名一樣),來改善系統性能。

而這種方法不是OpenAI,而是Google的DeepMind部門首創。

總而言之,LeCun認為,ChatGPT並非「憑空而來」,而是在此前這麼多年這麼多項技術的積累上組合出來的。

所以,它算不上底層技術上的創新:

與其說是科學突破的案例,不如說是體面的工程案例。

有趣的是,LeCun還給ChatGPT找到了同樣的例子。

那就是贏得了DARPA 2005年挑戰賽的自動駕駛汽車,來自企業家Sebastian Thrun。

他表示,該獲獎項目用到的這個技術也是在基礎科學方面並不是特別創新,只是設計得非常好。

好了,不管是現場聽眾還是螢幕前的你,現在肯定會問了:

你說OpenAI的ChatGPT「沒什麼大不了的」,那為什麼Google和Meta等公司都沒人做出來呢?

對此,LeCun「有備而來」,笑著自問自答道:

它們不是不能,是不想,因為做這種東西太費錢了,得不到什麼收益。

網友:你就酸吧

媒體ZDNet將LeCun的這些觀點整理成文章進行了發表,得到了LeCun本人的親自轉發。

並在轉發語中再次強調ChatGPT和其他大型語言模型LLM並非憑空而來,而是數十年來不同人貢獻的成果。

因此,沒有AI實驗室已經明顯領先於其他實驗室。(也就是說OpenAI還是那個OpenAI,沒有因為ChatGPT就比別人更牛了)

對於此番言論,有網友的評價卻是

對於此番言論,有網友的評價卻是:

LeCun,你在嫉妒在「酸」。

具體be like:

「LeCun這個觀點多有意思啊,就是想說Meta的技術與其他實驗室不相上下,沒有產品只是因為Meta領導層不願意做。」

「如果Galactica(Meta的語言模型)也獲得了類似ChatGPT的成功,你就不會說這僅僅是幾十年來各種人的貢獻的結果。你的觀點聽起來讓人覺得是你很嫉妒。我認為如果你能衷心祝賀OpenAI,大家可能還會對你讚許有加。」

言辭可以算是很犀利了

言辭可以算是很犀利了。

於是,就在今天,LeCun又作出了這樣一個公開說明:

我不是在批評OpenAI的工作或他們的主張。

而是想糾正一下公眾和媒體的看法,大家說它是一個「全新的突破」這樣評價真的太高了。

你認為ChatGPT究竟配不配得上這樣的評價呢?

參考連結:

[1]https://www.zdnet.com/article/chatgpt-is-not-particularly-innovative-and-nothing-revolutionary-says-metas-chief-ai-scientist/

[2]https://twitter.com/ylecun/status/1617921903934726144

[3]https://twitter.com/ylecun/status/1617609026820542464

相關文章