祖師爺夏農,到底有多神?

1916年,第一次世界大戰激戰正酣。

在這一年的4月30日,遠離戰場的美國密歇根州佩託斯基(Petoskey),一個男嬰呱呱墜地。這個男嬰,就是我們這篇文章的主角——夏農。

夏農的全名,叫做克勞德·艾爾伍德·夏農(ClaudeElwoodShannon)。他是美國著名數學家、發明家、密碼學家,也是資訊論的創始人。

換句話說,我們現在所有IT人和通訊人的共同祖師爺,就是他。

帥哥夏農

帥哥夏農

夏農從小就在一個名叫蓋洛德(Gaylord)的小鎮生活。他的父親,是這個小鎮的法官,名字叫克勞德·艾爾伍德·夏農(沒錯,他老爹給兒子取了和自己一毛一樣的名字)。

夏農的母親,是小鎮的中學校長,名叫梅布爾·沃爾夫·夏農(Mabel Wolf Shannon)。

父親是法官,母親是校長,這樣的知識分子家庭,教育氛圍當然不會差。

讀書時候的夏農,已經表現出驚人的數學天賦。在8歲的時候,他就輔導他姐姐做高等數學作業。後來,他姐姐大學畢業,成為了數學教授。。。

除了數學之外,小夏農特別喜歡搞發明創造,其中就包括電報機、電動船,以及各自機械動物。

小時候的夏農,看上去就很叛逆

小時候的夏農,看上去就很叛逆

這個興趣愛好,估計和他的爺爺有很大的關係。他爺爺是一位農場主兼發明家,發明過洗衣機和很多農用機械。

值得一提的是,夏農還有一個遠房親戚,也很喜歡搞發明。這位親戚的名字,叫愛迪生。

1936年,20歲的夏農從密歇根大學本科畢業,順利拿到了數學和電子工程雙學位。隨後,他進入麻省理工學院繼續深造。

兩年後,夏農完成了他的碩士論文——《繼電器與開關電路的符號分析》。

在論文中,他首次提出,可以用布爾代數來描述電路。他將布爾代數的”真”與”假”和電路系統的”開”與”關”對應起來,並用了數學中最簡單的兩個數字——「1」和「0」來表示。

喬治·布爾(1815-1864),英國數學家

1847年,他提出了布爾代數,這是一種計算命題真偽的數學方法。

夏農的這篇論文,雖然僅僅是碩士論文,但具有劃時代的意義。它奠定了數位電路的理論基礎。後來出現的計算機等設備,都以此為設計思路。

後來,著名電腦科學家赫爾曼·哥爾斯坦評價這篇論文是「有史以來最重要的一篇碩士論文」,「從藝術到科學上改變了電路的設計。」

赫爾曼·哥爾斯坦

赫爾曼·哥爾斯坦

世界上第一臺現代電子數字計算機ENIAC的研製者之一

因為這篇論文,夏農獲得了電子工程界的大獎——美國Alfred Noble協會美國工程師獎。

正當世人以為這位電子工程天才會繼續大展拳腳的時候,他卻沒了下文。直到兩年後,他發出了自己的博士論文——《理論遺傳學的代數學》,並憑此獲得了麻省理工的數學博士學位。

是的,這傢伙玩了個跨界,竟然從電子工程學跨到了生物遺傳學。。。

年輕時的夏農(有點像福爾摩斯)

年輕時的夏農(有點像福爾摩斯)

此後,夏農去普林斯頓高等研究院待了一年,與愛因斯坦、馮·諾依曼等大師級人物有過交集。他的研究方向,變成了機械模擬計算機。

1941年,夏農發表了新的論文——《微分分析器的數學理論》,通過機械式計算機來求解微分方程。

當時的微分分析器

當時的微分分析器

同年,夏農加入了著名的貝爾實驗室(此後一直工作到1972年)。

最開始進入貝爾實驗室的時候,夏農是去的數學部,從事和戰爭相關的工作——研究火力控制系統和密碼學。

他所在的密碼破譯團隊,主要負責追蹤納粹德國的飛機和火箭。他還用數學手段,推導了X系統的安全性。這個X系統,就是指英國首相邱吉爾和美國總統羅斯福之間的專用電話線路。

1943年,英國著名數學家、密碼學家阿蘭·圖靈訪問貝爾實驗室,並與夏農共進午餐。

阿蘭·圖靈(1912-1954)

阿蘭·圖靈(1912-1954)

鑑於兩人的特殊工作性質,他們並沒有進行密碼學的交流,反而更多的是討論人造思維機器(也就是後來的AI人工智慧)。

當時,夏農告訴圖靈,他不僅僅滿足於向這臺「大腦」裡輸入資料,還希望把文化的東西灌輸進去。

這個想法震驚了阿蘭·圖靈,他感到非常不可思議,驚呼道:「他(夏農)想給它來點音樂!」

後來,隨著對密碼研究的不斷深入,夏農逐漸形成了一套完整的密碼學理論。與此同時,他開始思考有效通訊系統的問題。現代資訊論的思想雛形,逐漸在他的腦海裡形成。

1945年,他向貝爾實驗室提交了一份備忘錄——《密碼學的一個數學理論》。

1948年6月至10月,夏農在《貝爾系統技術雜誌》連載了那篇改變人類社會發展軌跡的論文——《通訊的數學理論》。次年,夏農又在該雜誌發表了另一篇著名論文——《噪聲下的通訊》

在這兩篇論文中,夏農給出了通訊系統的基本模型,提出了資訊熵的概念以及數學表達式。

計算資訊熵H的公式

計算資訊熵H的公式

大家如果是工科出身且還記得通訊原理的話,就知道,一條資訊的資訊量大小,和它的不確定性有直接關係。

舉個例子:如果我告訴你,世界是圓的。這種非常確定的內容,資訊量是0(等於一句廢話)。如果我告訴你,XX樹下埋了一百萬美金,那這個資訊量就很大。上面那個公式,就是根據確定性大小算資訊量的,考研必考題。

夏農指出,資訊是可以被量化的,用數字編碼可以代表任何類型的資訊。資訊進行數字化後,可以經壓縮再傳輸,極大地減少傳輸時間和傳輸成本。

夏農還推出了比特的概念(他將發明這個詞的榮譽歸功於自己的同事約翰·圖基),將其稱為「用於測量資訊的單位」。

bit

比特(bit),其實就是二進位制數(binary digit)的縮寫。

眾所周知,比特後來成為了資訊時代的基石。我們今天在網際網路上所有的資訊,都在用它來表達。

除了資訊熵之外,夏農還在論文中提出了大名鼎鼎的夏農公式

夏農公式

夏農公式

簡單來說,資訊熵討論的是資訊量及資料壓縮的臨界值。而夏農公式,則是討論通訊速率的極限值。

具體細節我們就不討論了哈,不然人都跑光了。

我們只需要知道,直到現在的5G,我們還沒有逃脫夏農公式的「魔爪」。有些人一輩子幹的事,就是無限逼近夏農公式的極限。

兩篇論文的發表,奠定了資訊論的基礎,對學術界造成了巨大的震動,影響力絲毫不亞於1947年12月世界上第一個電晶體的發明(同樣來自貝爾實驗室)。

當時,因為資訊論的觀點非常超前,還引起了一些質疑和反對。後來,隨著時間的推移,資訊技術迅速發展,資訊論的價值越發顯現,夏農也確立了自己「資訊和通訊雙料祖師爺」的地位。

忘了說了,發表論文時的夏農,才33歲。

忘了說了,發表論文時的夏農,才33歲

1949年,夏農在備忘錄《密碼學的一個數學理論》的基礎上,又發表一篇重要論文——《保密系統的通訊理論》

這篇論文再次震驚學術界。波士頓環球報稱:「這一發現將密碼從藝術變成為科學」。

論文開闢了用資訊論來研究密碼學的新思路,奠定了現代密碼理論的基礎。夏農也憑此成為近代密碼理論的奠基者和先驅。

1949年3月27日,夏農迎娶了自己在貝爾實驗室的同事,瑪麗·伊莉莎白·摩爾(Mary Elizabeth Moore),然後繼續從事自己熱愛的科學研究工作。

1952年,夏農夫婦共同推出了著名的「會走迷宮的老鼠」——忒修斯

夏農和忒修斯

夏農和忒修斯

這是一隻木製的、帶有銅須的玩具老鼠。它能通過不停地隨機試錯,穿過一座由金屬牆組成的迷宮,直到在出口處找到一塊金屬的「乳酪」。

最厲害也最具獨創性的是:「忒修斯」能夠記住這條路線,甚至在下一次任務中,迷宮的牆壁有所移動,都難不倒它。

當時,夏農還專門拍攝了一段影像,製作成電視節目,展示這隻老鼠。這個節目引起了公眾的極大興趣,在人們看來,這就是一隻「會思考」的老鼠啊。

其實,走迷宮的秘訣並不在老鼠身上,而是在迷宮上。迷宮各處隱藏了75個繼電器開關,通過這些簡單的只具有開關功能的設備,最終實現了老鼠的所謂「智慧」。

1956年,夏農成為麻省理工學院(MIT)的客座教授。1958年,成為終生教授。

1961年,夏農和同事索普做出一個香菸盒大小的小型計算機,小盒子藏在口袋裡,用大腳趾控制藏在鞋子裡的開關。這個設備用來幹什麼呢?用來預測賭場的輪盤賭結果,計算小球落在輪盤不同位置的概率。

憑藉這個設備,他們倆還真的在拉斯維加斯贏到了錢。後來,因為被盯上,所以趕緊放棄並離開了。

夏農另一個著名的發明,是一個會下國際象棋的機器。這個機器用了150個繼電器開關,具備不錯的計算能力。1965年,夏農帶著這個機器跑去挑戰當時的世界冠軍Mikhail Botvinnik。雖然最後還是輸了,但表現不賴。

1973年,在以色列阿什凱隆召開的資訊論國際研討會上,IEEE命名了夏農獎,並把這一獎項授於夏農本人。這種自己領自己名字命名的獎的做法,後來被人戲稱為「夏農套路」。

1985年,在英格蘭布萊頓舉行的「國際資訊理論研討會」上,夏農突然現身,引起了全場轟動。參加會議的年輕學者簡直不敢相信自己的眼睛,竟然親眼看見了資訊理論的祖師爺!更讓人瞠目結舌的是,夏農竟然在會場上表演起了拋物雜耍,讓整個會場更加沸騰。。。

夏農當年還是投資大師、炒股高手,擅於採用套利的手法,迅速賺取財富。

1986年8月11日,著名的《巴倫週刊》曾彙總了1026家共同基金的近期表現,夏農排名第一。。。

剛才我們提到夏農在會場表揚拋物雜耍。其實,夏農終身都熱愛雜耍。在很年輕的時候,他就學會了騎獨輪車和拋接球。當年在貝爾實驗室上班的時候,他經常特立獨行地騎獨輪車去上下班,成為一道靚麗的風景線。

被科學耽誤了的雜技天才

被科學耽誤了的雜技天才

到了晚年時期,夏農對雜耍的熱愛簡直到了痴迷的地步。他花了很多時間刻苦練習,不斷提高雜耍水平。他甚至還擁有一張雜耍學博士證書,視為至寶。

除了雜耍之外,他還熱衷於製造玩具。他建造了火焰噴射喇叭、火箭驅動飛盤、自動下棋機器人等各種奇怪的玩具。

在後來人工智慧先驅馬文·閔斯基的啟發下,他設計了一個被稱為「終結機器」的機器人。當你把開關撥到「開」,盒子打開並伸出一個機械手,它把開關撥回到「關」,然後機械手縮回到盒子裡去。

「終極機器」……

在馬薩諸塞州溫徹斯特夏農的家中(夏農稱為「熵宅」),堆滿了他的小發明。他的車庫中存放了至少30輛奇特的獨輪車,其中包括一個沒有腳蹬的獨輪車,一個是方形的輪胎的獨輪車,一個特為兩個人騎的獨輪車。。。

真正的老頑童

真正的老頑童

夏農還把玩雜耍上升到理論的高度,開始撰寫《統一的雜耍場理論》。。。

遺憾的是,這篇作品還沒有完成,夏農就因阿茲海默症於2001年2月26日去世了,享年85歲。

著名學者理查德·布拉胡特(Richard Blahut)教授在夏農雕像(位於夏農老家蓋洛德鎮)的落成典禮上,是這麼評價夏農的:

「在我看來,兩三百年之後,當人們回過頭來看我們的時候,他們可能不會記得誰曾是美國的總統。他們也不會記得誰曾是影星或搖滾歌星。但是仍然會知曉夏農的名字。學校裡仍然會教授資訊論。」

致敬!偉大的資訊論之父——克勞德·艾爾伍德·夏農!

相關文章

高錕:光纖之父的故事

高錕:光纖之父的故事

1933年11月4日,在江蘇金山縣(今上海市金山區)一個姓高的大戶人家裡,出生了一個男嬰。 男嬰是家中長子,他的父母對他有很深的期望,於是用...

積體電路,到底是誰發明的?

積體電路,到底是誰發明的?

1923年11月8日,在美國密蘇里州傑斐遜城的一個普通家庭裡,誕生了一個男嬰。 男嬰的父親名叫赫伯特·基爾比(Hubert Kilby),是...