被嫌棄的貝葉斯派的逆襲

多數人第一次聽說貝葉斯定理應該是在中學課堂上。那個公式看起來並不複雜,在一眾花裡胡哨的考點中顯得平平無奇。

但是很快,我們就知道了什麼叫深藏不露。從高校教材到研究實戰,貝葉斯這三個字頻繁地出現在資訊科學的重要議題中,它甚至從一個定理變成了一種思想。

這樣的轉變當然不是一朝一夕完成的。在歷史上,貝葉斯主義者花了大約兩百多年的時間,衝破重重阻力,才讓人們看到貝葉斯定理所蘊含的豐富寶藏。

01

不被認可的新思路

貝葉斯定理

貝葉斯定理

貝葉斯定理看起來確實不怎麼驚豔,就連提出者貝葉斯本人也不太重視這個成果,甚至沒有在有生之年發表它。在他去世兩年後,貝葉斯定理才正式進入人們的視線。

事實上,第一位真正的貝葉斯主義者是拉普拉斯。1774年,這位數學家兼天文學家提出了能夠從貝葉斯公式推出的拉普拉斯接續法則

簡單來講,這個法則說的就是,在一件不斷重複發生的事件中,人們可以根據以往出現的結果來預判未來的結果。比如,以往太陽天天升起,那麼它明天十有八九還是會升起。

但這個體現了貝葉斯式智慧的法則卻引來了一大波群嘲。直到19世紀,學界主流仍在批判它。

數學家喬治·克里斯特爾甚至斷言,「(這些概率)已經死了,我們應該將它們體面地埋葬在看不到的地方,而不是在課本和試題中介紹它們……我們應該允許自己悄悄忘卻偉人的魯莽之處。」

為什麼會這樣?

因為在那時,多數人把客觀性當作不能碰觸的原則。人們認為,你統計到位,計算正確,就可以找到答案,否則就是錯了。拉普拉斯接續法則卻給概率引入了一定的主觀性。

假設我們是遠古時代的巨靈,只見過太陽昇起五次,如果在這個時候應用拉普拉斯接續法則,那麼關於太陽是否會再次升起,我們就會算出一個比較小的概率。隨著時間的推移,我們的得數還會變化。在很多人看來,這著實奇葩。

強調客觀性的主流學者形成了頻率派。依然相信主觀性在概率中蘊藏著巨大價值的學者形成了貝葉斯派。

進入20世紀,頻率派對貝葉斯派的排擠和打壓如此猛烈,頻率派的代表人物羅納德·費希爾甚至用上了「謬誤的垃圾」這種極具侮辱性的字眼。

貝葉斯派不得不在夾縫中求生。甚至有時,貝葉斯主義的智慧已經得到證實,貝葉斯派仍然沒有機會走到臺前。

第二次世界大戰

第二次世界大戰

在第二次世界大戰期間,艾倫•圖靈帶領團隊破譯了德軍的恩尼格密碼,立下大功。貝葉斯定理在其中發揮了重要作用。可惜這件事涉及太多政治因素,在戰爭結束後,英國政府選擇繼續保密。貝葉斯主義失去了一個正名的機會。

在20世紀50年代,英國精算師亞瑟•貝利發現有些同事在使用一些「來歷不明」卻格外實用的公式。那時的貝利還不知道,這些公式都和貝葉斯定理有著千絲萬縷的聯繫,只是頻率派佔據著主導地位,把它們全都關在了正統教育的門外。

考慮到貝葉斯主義被排斥了兩百多年,很難估計這一類的事件還有多少。但可以肯定的是,再怎麼氣勢洶洶,頻率派也無法改變事實。

02

時代給出了答案

事實就是,在頻率派無能為力的問題上,貝葉斯派自有妙招。雖然被統計學的小圈子排擠,但在更加註重實幹的領域,情況在悄悄改變。

比如,羅伯特•施萊弗和霍華德•賴法藉助貝葉斯主義視角提出了包含不確定性的決策論。傑爾姆•科恩菲爾德在研究菸草的致癌問題時實踐了貝葉斯統計,得出了重要結論。

美國國家航空航天局也曾聘請掌握了貝葉斯主義工具的機構,預測火箭發射出現重大事故的概率。在所有這些例子中,貝葉斯派理論都比頻率派理論更有活力。

終於,貝葉斯派等到了逆襲的最佳的時機,那就是電腦科學的誕生和興起。20世紀60年代,雷·所羅門諾夫將圖靈的可計算性理論和貝葉斯公式結合起來,搭建了人工智慧一般性框架的前身。

20世紀80年代,蒙特卡羅方法給貝葉斯公式的實際應用帶來了革命。一個名為吉布斯抽樣貝葉斯推斷的程序更是宣佈了貝葉斯主義的勝利。

貝葉斯派迎來新的發展。貝葉斯早已不再等同於一個公式或是一種主張,它的方法越來越先進,理論根系越來越發達。

統計學領域有一句名言:「所有模型都是錯的,但有些是有用的。」出自在貝葉斯推斷等方面做出重要貢獻的統計學大師喬治·博克斯。這句話在某種意義上也成為了貝葉斯主義方法論的體現。

頻率派很像老派的經典科學,喜歡強調確定性,而貝葉斯派則更像同樣在20世紀掀起爭議的量子力學。在頻率派看來,參數就算未知也是客觀的,而貝葉斯派則會說,參數也是千變萬化的。他們深知任何一件事都有數不清的前因後果,尋找絕對客觀幾乎是不可能的。

既然如此,那就應該以動態的眼光看待模型,甚至想辦法儘量多融入一些資訊,再針對更為具體的目的產出結果。對於純粹貝葉斯主義者來說,互不相容的模型不僅可以同時存在,還是件好事。

這種聽起來有些不可思議的行事方法卻在計算機的幫助下大放異彩。現在,貝葉斯式的智慧已經滲透到了人類社會的方方面面,涉及的領域包括但不限於:醫學診斷、保險、金融、人工智慧、神經科學、廣告、物流、信號處理、航空航天工程……

可以說,沒有一個現代人的生活與貝葉斯派毫無關係。

03

用貝葉斯主義者的眼睛看世界

更加令人驚奇的是貝葉斯主義和一些終極問題之間的關聯。

圖靈-丘奇論題告訴我們,宇宙中的任何東西都不能完成圖靈機無法完成的計算。這意味著擁有足夠的資料時,通用圖靈機可以模擬整個宇宙。

既然如此,未來人們有沒有可能擁有科幻小說中那種計算一切的機器呢?能不能用它來破解宇宙中的一切秘密呢?

雷·所羅門諾夫以貝葉斯主義者的方式回答了這個問題。他提出一個有趣的公式,叫「所羅門諾夫歸納法」。這個公式也被一些年輕的貝葉斯主義者稱為貝葉斯定理的終極形態。

理論上講,如果輸入的資料中含有某種模式,這個公式最終會找到它,所需時間和所羅門諾夫複雜度成正比。這似乎是一個樂觀的結論,然而所羅門諾夫歸納法是不可計算的。計算一切的機器依然要留在人們的幻想裡。

那麼這個理論還有什麼用處呢?

有的,它說明了完備性和可計算性之間的矛盾。所羅門諾夫指出,所有可計算的知識哲學都不可能檢測出資料中的所有規律。換個說法,任何可計算的知識哲學都有可能在某種條件下持續給出錯誤的預測,這和哥德爾的不完備性定理形成了微妙的映照。

即便突破了種種不可能,擁有了滿足條件的圖靈機,可以運行所羅門諾夫歸納法,宇宙也有辦法欺騙我們,只要有一段程式碼的所羅門諾夫複雜度大於提供的資訊量即可。如此一來,即便擁有無窮無盡的計算能力,你也無法確認任何真理。

從另一個角度看,支配自然界甚至人類社會的規律也隱藏著貝葉斯式的邏輯。如果我們對生物學中的洛特卡-沃爾泰拉方程進行一些代數運算,推出支配種群中不同變種所佔比例變化的方程,就會發現它和貝葉斯公式有著驚人的相似之處。

自然界的演化智慧創造了人腦,我們現在才開始嘗試用人工智慧來模仿它。而在人類文明演進的歷史中,不同民族、不同背景的人觀念和習俗的形成背後,也藏著先驗概率和後驗概率的強大引導。

既然如此,我們究竟生活在一個什麼樣的世界裡呢?

從貝葉斯派的視角來講,即便你說「我們的世界是假的,是神的虛擬程序」,這個回答也不必馬上被打上「荒謬」的標籤。這樣宏偉的問題也許永遠不會有定論,但假設真的存在所謂的神,那祂一定是個淘氣又充滿活力的貝葉斯主義者。

寫在最後

頻率派喜歡說貝葉斯派不客觀,或者說持有偏見,但貝葉斯派的智慧恰恰是一種關於偏見的智慧

在現實中,沒有誰是全知全能的。有的人因為害怕犯錯而不再前進,有的人乾脆否認偏見的普遍存在,把經過有限驗證的道理當成普適真理。

而貝葉斯派則接受偏見的存在,他們相信,所謂追求真理,就是人們從偏見出發,一步步走向客觀的過程。

他們願意以動態的視角看待真理,也願意不斷學習,不斷走出偏見——貝葉斯派的精神就在於此。

關於貝葉斯主義,值得詳細了解的內容還有很多。比如貝葉斯主義造就的所羅門諾夫妖,比如貝葉斯方法和過度擬合,再比如貝葉斯大腦。

所有這些內容,你都可以在這本書裡找到——《貝葉斯的博弈》

相關文章