Yann LeCun:ChatGPT缺乏創新,沒什麼革命性;網友:早點離開Meta做出點突破吧

在外界看來,ChatGPT 是一項巨大突破,但圖靈獎得主、Meta 首席人工智慧科學家 Yann LeCun 不這麼認為。

自從去年底推出以來,對話式 AI 模型 ChatGPT 火遍了整個社區。

用過 ChatGPT 的人都能體會到,它是一個真正的「六邊形戰士」:不僅能拿來聊天、搜尋、做翻譯,還能寫故事、寫程式碼、debug,甚至開發小遊戲、參加美國高考…… 有人戲稱,從此以後人工智慧模型只有兩類 —— ChatGPT 和其他。

由於功能過於強大,ChatGPT 的火爆讓頂級科技公司Google都如臨大敵。Google內部將 ChatGPT 稱為「red code」,擔心它的出現會影響自家的搜尋業務。因此,前段時間,許久不出山的兩位Google創始人 —— 拉里・佩奇和謝爾蓋・布林 —— 也被請了回來,就「聊天機器人搜尋引擎」召開高層會議。

當然,並不是所有的科技巨頭都如此恐慌。在前段時間的一次小型媒體和高管線上聚會上,Meta 首席人工智慧科學家 Yann LeCun 也發表了他對 ChatGPT 的看法。

在他看來,「就底層技術而言,ChatGPT 並沒有什麼特別的創新,」也不是「什麼革命性的東西」許多研究實驗室正在使用同樣的技術,開展同樣的工作。

ZDNet 一篇題為「ChatGPT is ‘not particularly innovative,’ and ‘nothing revolutionary’, says Meta’s chief AI scientist」的報道披露了 LeCun 演講的一些細節。

ChatGPT 的背後沒有秘密

ChatGPT 的背後沒有秘密

從報道來看,LeCun 的很多發言都在努力澄清公眾對於 ChatGPT 的一些誤解。

首先,LeCun 指出,「ChatGPT 並不是什麼革命性的東西,儘管公眾是這麼認為的。」

LeCun 表示,過去很多公司和研究實驗室都構建了這種資料驅動的人工智慧系統,認為 OpenAI 在這類工作中是孤軍奮戰的想法是不準確的。「與其他實驗室相比,OpenAI 並沒有什麼特別的進步。

「不僅僅是Google和 Meta,還有幾家初創公司基本上都擁有非常相似的技術。」「我不是說這件事做起來很簡單,但確實不只是 OpenAI 在做。如果你願意探索的話,它背後沒什麼機密。」

此外,LeCun 還進一步指出,ChatGPT 及其背後的 GPT-3 在很多方面都是由多方多年來開發的多種技術組成的。

「你必須意識到,ChatGPT 使用的 Transformer 架構是以這種自監督的方式預訓練的,」「自監督學習是我很長一段時間以來一直倡導的,甚至可以追溯到 OpenAI 出現之前,」他說。

另外,「Transformer 是Google的發明,」這類語言項目的工作可以追溯到幾十年前。

「大型語言模型,第一個神經網路語言模型是由 Yoshua Bengio 在大約 20 年前發明的。以當時的標準來看,這個模型很大,以今天的標準來看,它很小。」Bengio 關於注意力概念的工作後來被Google用於 Transformer,併成為所有語言模型的關鍵元素。

此外,OpenAI 的 ChatGPT 還廣泛使用了一種名為「RLHF(通過人類反饋進行強化學習」的技術,即讓人類對機器的輸出進行排名,以提高模型性能,就像Google的網頁排名一樣。他說,這種方法不是 OpenAI 首創的,而是Google旗下的 DeepMind。

「所以,ChatGPT 和其他大型語言模型並不是憑空而來的,而是不同的人數十年貢獻的結果。」LeCun 說。

因此,LeCun 認為,與其說 ChatGPT 是一個科學突破,不如說它是一個像樣的工程實例。當然,公眾體會不到這種循序漸進的感覺也很正常,畢竟不是誰都會一篇一篇去看論文。

或許是由於說話過於直白,LeCun 的言論引來了一些爭議。有人批評他太過傲慢,自己沒有做出類似的東西,卻在別人做出來的廣泛可用的產品裡挑刺。

OpenAI CEO Sam Altman 似乎也聞到了火藥味,專門前來講和。

看到這些,LeCun 抓緊站出來澄清,表示自己沒有「挑事兒」的意思,雙方一直相處得很好,還在彼此的工作上構建了自己的項目。

Meta 未來要做什麼?

Meta 未來要做什麼?

不管是不是可以稱之為「突破」,ChatGPT 的成功是毋庸置疑的。因此,大眾不免好奇,LeCun 組建的 Meta 人工智慧團隊 FAIR 是否會像 OpenAI 那樣在公眾心目中取得突破。

對此,LeCun 的回答是肯定的。「不僅是文字生成,還有創作輔助工具,包括生成藝術,」他說,「我認為這將是一件大事。」

他表示,Meta 將能夠通過自動生成宣傳品牌的媒體資料來幫助小企業進行自我宣傳。

「Facebook 上有 1200 萬家商店在做廣告,其中大多數是夫妻店,他們沒有足夠的資源來設計一個全新的、設計精美的廣告。所以對他們來說,生成藝術可能會有很大幫助。」

在被問及為什麼Google和 Meta 沒有推出類似 ChatGPT 的系統時,LeCun 回答說,「因為Google和 Meta 都會因為推出編造東西的系統遭受巨大損失」。而 OpenAI 似乎沒有什麼可失去的。

鑑於 Meta 目前的處境,大家對於 LeCun 所描述的願景多少有些擔心。甚至有人勸他早日離開 Meta,去「有資源的地方」,做一些類似 ChatGPT 的項目或者生物醫學應用研究。不知道 LeCun 本人是否有此想法。

參考連結:https://www.zdnet.com/article/chatgpt-is-not-particularly-innovative-and-nothing-revolutionary-says-metas-chief-ai-scientist/

https://twitter.com/scottwww/status/1617924797153050625

相關文章