數學論證GPT-4不是隨機鸚鵡:真如此的話整個宇宙都會坍縮

克雷西 發自 凹非寺

對於ChatGPT的工作原理,一個常見的解釋是根據統計學規律預測下一個詞。

但最近一位叫Jacob Bayless的工程師用數學方法得出驚人結論:

若是如此,所需的資訊量足以讓整個宇宙都坍塌成黑洞

這一資料量是500008000,根據貝肯斯坦上限(Bekenstein bound)原理,如果把這些資訊分配到空間當中,所需要的資訊密度已經遠超宇宙能承受的最大值。

而這僅僅是把資料儲存起來的消耗,更不必說還要進行運算了。

而ChatGPT與單純統計預測的區別,可以做這樣的類比:

如果天文學家通過歷史觀測記錄推算出月食的週期,這可以算是統計學。

但當他們總結出牛頓萬有引力定律的時候,就已經超越了統計學。

什麼是「隨機鸚鵡」

一個流傳很廣的說法,所謂大語言模型實際上相當於一個「隨機鸚鵡」——

與我們觀察其輸出時的情況相反,語言模型只是將其在龐大的訓練資料中觀察到的語素胡亂拼接在一起,根據概率生成文字,但不清楚文字背後的任何含義,就像一個隨機的鸚鵡。

出自論文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big

這對過去的語言模型,或許確實成立

這對過去的語言模型,或許確實成立。

比如曾經流行的n-gram演算法。

比如當我們在搜尋引擎中進行搜尋時,出現的聯想詞就能用此方法實現。

具體來說,下面的三行文字中,第一行純粹是隨機生成,第二行考慮了單詞在英語中整體的出現概率,第三行則考慮了單詞在前一個詞後面出現的概率。

n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…

n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…

n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…

不難看出,隨著n值的升高,文字越來越接近人類語言。

而n-gram模型根本不需要掌握其中的語義或理解其中的抽象概念,就能生成像模像樣的句子。

據此有人猜想,GPT-4會不會也只是一種高級的n-gram呢?

Bayless提出,GPT必須學會抽象才能有如今的效果,至少GPT-4肯定如此。

GPT-4不只是「隨機鸚鵡」

要證明這一點,可以先看下棋機器人的例子。

如果有一種下棋機器人,儲存了巨量棋譜資料,對於每個棋局都能推薦下一步。

那它就能通過「背譜法」模仿其他任何棋手或程序的下法。

比如Stockfish是最先進的國際象棋程序,如果僅通過對戰而不看原始碼,是無法確定Stockfish是否在背譜。

但實際上,包含所有情形和步驟的棋譜資料量可能超到2154

而Stockfish的程序只佔用了不到50MB的空間,根本不可能存下需要的所有棋譜。

所以Stockfish肯定是通過更高級的方法來實現下棋的。

人類語言的複雜度遠超過棋類遊戲,因此GPT的資料量更是同理。

僅在是上一代的GPT-3的token字典中就有超過5萬token。

如果對每個詞都逐一建立統計資訊,n-gram模型中n值將高達8000。

屆時,需要儲存的情景數量將達到500008000

正如文章開頭所提到,這簡直是天文數字,足以讓整個宇宙坍縮。

因此,GPT是「隨機鸚鵡」的猜測在理論上得到了一定程度的批駁。

「隨機鸚鵡」達不到的高度

僅在理論上進行說明是不充分的,因此研究人員還進行了兩個實驗,意圖證明大模型在學習過程中已經抽象出了演算法。

第一個實驗關於一道經典的農夫過河問題。

一個農夫有一條船,和狼、羊、菜,農夫要把這3樣東西運到河到另一邊,農夫每次最多只能通過這個船運一樣東西,要防止狼吃羊、羊吃白菜(即不能在沒有農夫在的情況下同時在同一岸邊),該怎麼過?

研究人員將這個問題中的農夫、船、河分別替換成地球人、蟲洞和銀河系。

狼、羊和菜則分別換成火星人、金星人和月球人。

替換的目的是因為網際網路上不太可能出現類似語料,可以判斷大語言模型是不是真的掌握了通用方法。

如果GPT不是「隨機鸚鵡」,那麼它至少不會犯下只有「隨機鸚鵡」才會犯的錯誤。

GPT-4針對替換後的問題給出了正確的回答,GPT-3.5則沒有。

但它們並沒有犯研究人員預想的「鸚鵡」錯誤——即在回答中出現狼、船、河等已被替換掉的詞語。

回答中使用的句子,也無法在網際網路中被檢索到。

這些現象都證明了現在的大語言模型的生成方式已經超越了「概率預測」。

第二個實驗則是數字排序。

如果讓GPT學習數字排序,它們究竟是隻會記住給出過的數字順序,還是真的研究出排序演算法呢?

其實只要從GPT的輸出當中就可以看出來了。

假如從1-100中隨機選擇10個數字,並將其順序打亂,將一共有這麼多種情形:

如果再考慮數字的重複出現,又或者數字的數量發生變化,根本不可能儲存如此之多的情形。

因此,只要GPT能夠針對未知的排序問題給出正確的回答,便可以說明它們是真的研究出了排序演算法。

研究人員訓練了一款特斯拉前AI總監Andrej Kaparthy發明的語言模型nanoGPT,專門讓它做數字排序。

結果顯示,隨著訓練步數的增加,模型給出的數字順序越來越完美。

雖然在訓練步數達到16萬左右時突然出現了大量錯誤,但也很快得到了糾正。

這說明這款模型並不是僅僅根據學習的素材對未知的數字進行排序,而是已經掌握了背後的方法。

這個測試只是在一臺膝上型電腦、算力非常有限的GPU上進行的。

更不必說GPT-4了。

參考連結:

https://jbconsulting.substack.com/p/its-not-just-statistics-gpt-4-does

相關文章

馬斯克機器人炫技引千萬網友圍觀!

馬斯克機器人炫技引千萬網友圍觀!

夢晨 克雷西 發自 凹非寺 特斯拉機器人,開始幹家務了。 馬斯克通過最新視訊,晒起特斯拉擎天柱機器人疊衣服,引發大量網友圍觀。 現在機器人疊...