他們開源了GitHub上最火的雙語對話模型,還說AI胡說八道不需要被糾正

衡宇 發自 凹非寺

國產對話機器人ChatGLM,和GPT-4誕生於同一天。

由智譜AI和清華大學KEG實驗室聯合推出,開啟alpha內測版。

這個巧合讓

這個巧合讓智譜AI創始人兼CEO張鵬有一種說不清的複雜感覺。但看到技術被OpenAI做到這麼牛,這名被AI新進展轟炸麻了的技術老兵又猛然亢奮起來。

特別是在追GPT-4發佈會直播時,他看一下螢幕裡的畫面,就埋頭笑一陣,再看一段,又咧嘴笑一會兒。

從成立起,張鵬帶隊的智譜AI就是大模型領域的一員,定下「讓機器像人一樣思考」的願景。

但這條路坎坷不斷。和幾乎所有做大模型的公司遇到的問題一樣,缺資料、缺機器,同時還缺錢。好在一路走來,有一些機構和公司提供無償支持。

去年8月,公司聯合一眾科研院所,開源的雙語預訓練大語言模型GLM-130B,能在準確性和惡意性指標上與GPT-3 175B (davinci) 接近或持平,也就是後來ChatGLM的基座。和ChatGLM同時開源的還有個62億參數版本ChatGLM-6B,千元單卡就可跑的那種。

除了GLM-130B,智譜另一個有名的產品是AI人才庫AMiner,學界大佬都在玩:

這一回和GPT-4撞到同一天,

這一回和GPT-4撞到同一天,OpenAI的速度和技術,讓張鵬和智譜團隊都有些壓力山大。

「一本正經的胡說八道」需要被糾正嗎?

ChatGLM內測後,量子位第一時間拿到名額, 出了一波人肉測評。

先不說別的,幾輪測試下來就不難發現,ChatGLM身上有著包括ChatGPT、新必應在內都擁有的一項本領:

一本正經胡說八道,包括但不限於在雞兔同籠問題中算出-33只小雞崽。

對大多數把對話AI當「玩具」或辦公助手的人來說,怎麼才能提高準確度,是格外被關注和看重的一點。

對話AI一本正經胡說八道這回事,可以糾正嗎?又真的需要糾正嗎?

ChatGPT的經典胡說八道語錄

張鵬在表達個人意見時說,要去糾正這個「頑疾」,是一件本身就很奇怪的事情。

(保證說的每一句話都正確)這件事連人自己都做不到,卻想讓一個人造的機器不犯這樣的錯。

關於這個話題的不同看法與不同人對機器的理解息息相關。張鵬看來,抨擊AI有這一行為的人,可能一直以來對機器的理解都是一絲不苟的,它們非0即1,嚴苛而精確——持有這種觀念的人,潛意識認為機器不應該也不能犯錯。

知其然與知其所以然同樣重要,「這可能源於大家對整個技術的演進和變化,以及技術的本質沒有深入理解。」

張鵬用人的學習作為類比

AI技術的邏輯和原理,其實還是在模擬人的大腦。

面對學習過的東西,一是知識本身可能有錯,或有更新迭代(如珠穆朗瑪峰的海拔);二是學習的知識之間也存在互相沖突的可能了;三是人也總有犯錯、犯迷糊的時候,AI犯錯好比人犯錯,原因是缺少知識,或者錯誤運用了某項知識。

總之,這是很正常的事情。

總之,這是很正常的事情

與此同時,智譜當然關注到了OpenAI向CloseAI的默默轉身。

從GPT-3選擇閉源,到GPT-4進一步掩蓋架構層面的更多細節,OpenAI對外回應的兩個原因,一是競爭,二是安全。

OpenAI的用心,張鵬表示理解。

「那走開源路線,智譜沒有競爭和安全方面的考慮嗎?」

「肯定也會有。但難道閉源就一定能解決安全問題嗎?我看未必。而且我相信世界上聰明人很多,競爭是促進整體行業和生態快速往前推進的優質催化劑。」

比如和OpenAI同臺競技,哪怕只是奮起追趕,也是競爭中的一環。

這裡的追趕是在陳述過程,建立在認為OpenAI研究方向是通往更遠目標路徑上的必經之路,但追趕上OpenAI並不是最終目的

追趕上,不代表可以停下;追趕過程,不代表要原樣照搬矽谷模式,甚至可以發揮中國調動頂層設計集中力量辦大事的特色和優勢,才有可能去彌補發展速度上的差異。

雖然有2019年至今4年多的經驗,但智譜還不敢給出什麼避坑指南。不過,智譜了解大致對的方向,這也是智譜透露的正在和CCF聊的共同想法——

大模型技術的誕生,是一個非常綜合、複雜的系統化工程

它不再是幾個聰明的腦袋在實驗室裡琢磨,掉幾根頭髮,做點實驗,發點paper就了事。除了原始的理論創新,還需要很強的工程實現和系統化能力,甚至還需要很好的產品能力。

就像ChatGPT這樣,選擇合適場景,設定和封裝一個上到80歲、下到8歲都能接觸使用的產品。

算力、演算法、資料,具體到背後都是人才,尤其是系統工程的從業者,重要程度遠遠大於往日。

基於這種認知,張鵬透露道,在大模型領域中加入知識系統(知識圖譜),讓二者像左右腦一樣系統工作,是智譜在研究和實驗當中的下一步。

GitHub最火雙語對話模型

ChatGLM整體參考了ChatGPT的設計思路。

也就是在千億雙語基座模型GLM-130B中注入程式碼預訓練,通過有監督微調等技術,實現人類意圖對齊(就是讓機器的回答符合人類價值觀、人類期望)。

背後1300億參數的GLM-130B,由智譜和清華大學KEG實驗室共同研發。不同於BERT、GPT-3以及T5的架構,GLM-130B是一個包含多目標函數的自迴歸預訓練模型。

去年8月,GLM-130B對外發布,同時開源。Standford報告中,它的表現在多項任務上可圈可點。

對開源的堅持,源於智譜不想做通往AGI道路上孤獨的前行者。

這也是繼開源GLM-130B後,今年繼續開源ChatGLM-6B的原因。

ChatGLM-6B是模型的「縮小版」,62億參數大小,技術基底與ChatGLM相同,初具中文問答和對話功能。

持續開源,理由無外乎兩點。

一個是希望把預訓練模型的生態做大,吸引更多人投入大模型研究,解決現存的很多研究性問題;

另一個是希望大模型作為基礎設施沉澱下來,以幫助產生更大的後續價值。

加入開源社區確實很吸引人。ChatGLM內測的幾天內,ChatGLM-6B在GitHub上已有8.5k星標,一度躍升trending排行榜上的第一位

從本次對話中,量子位還從眼前這位從業者身上聽到這樣的聲音:

同樣bug頻出,但人們對OpenAI推出的ChatGPT,和對Google對話機器人Bard、百度文心一言的容忍程度差別明顯。

這既公平,又不公平。

從純技術的角度來說,評判標準不一,這是不公平所在;但Google、百度之類的大廠,佔據更多資源,大家天然覺得它們技術實力更強,做出更好的東西的可能性更高,期待值就更高。

「希望大家可以給更多的耐心,無論是對百度,對我們,還是其他機構。」

除了上述內容,在本次談話中,量子位還和張鵬具體聊了聊ChatGLM的體驗感受。

下面附上對話實錄。為了方便閱讀,我們在不改變原意的基礎上做了編輯整理。

對話實錄

量子位:內測版本給自己打的標籤好像沒那麼「通用」,官網給它的適用領域框定了三個圈,教育、醫療和金融。

張鵬:這跟訓練資料沒什麼關係,主要是考慮到它的應用場景

ChatGLM和ChatGPT類似,是一個對話模型。哪些應用領域天然更接近對話場景?像客服,像醫生問診,或者比如線上金融服務。這些場景下,更適合ChatGLM的技術去發揮作用。

量子位:但醫療領域,要看病的人對AI的態度還是比較謹慎的。

張鵬:肯定不能直接拿大模型往上懟啊!(笑)想要完全替代人類,還是要慎重。

現階段不是用它去代替人工作,更多的是輔助作用,給從業者提供建議來提升工作效率。

量子位:我們把GLM-130B的論文連結扔給ChatGLM,讓它簡要概括一下主題,它叭叭半天,結果說的根本不是這篇。

張鵬:ChatGLM的設定就是不能獲取連結的東西。倒不是技術上的困難,而是系統邊界的問題,主要是從安全角度考慮,不希望它任意訪問外部連結。

可以試一下把130B的論文文字copy下來扔給輸入框,一般不會瞎說。

量子位:雞兔同籠我們也扔給它了,算出了-33只雞。

張鵬:在數學處理、邏輯推理方面,它確實還有一定缺陷,做不到那麼好。內測說明裡我們其實寫了這件事。

量子位

量子位:知乎有人做了測評,寫程式碼能力好像也一般。

張鵬:至於寫程式碼的能力,我覺得還行啊?不知道你們的測試方式是什麼。但具體也要看跟誰比了,和ChatGPT比的話,ChatGLM本身在程式碼資料的投入可能就沒有那麼多。

就像ChatGLM和ChatGLM-6B比,後者只有6B(62億)的參數,整體能力,比如整體的邏輯性、回答時的幻覺和長度上,縮小版和原版的差距就很明顯。

但是「縮小版」能在普通電腦上部署,帶來的是更高的可用性和更低的門檻。

量子位:它有個優點,對新資訊的掌握度不錯,知道Twitter現在的CEO是馬斯克,也知道何愷明3月10日迴歸學界的事情——雖然不知道GPT-4已經發布了,哈哈。

張鵬:我們做了一些特殊的技術處理。

量子位:是什麼?

張鵬:具體細節就不展開講了。但對時間比較近的新資訊,是有辦法處理的。

量子位:那透露下成本?GLM-130B訓練一次的成本還是有幾百萬,ChatGLM進行一輪問答的成本目前壓到什麼程度?

張鵬:我們大概測試和估算了一下,和OpenAI倒數第二次公佈的成本差不多,比他們略低一些。

但OpenAI的最新報價縮減到原來的10%,只有0.002美元/750個單詞,這就比我們更低了。這個成本確實是很驚人的,估計他們做了模型壓縮、量化、最佳化等工作,否則不可能降到這麼低。

我們也在做相關的事情,期望能把成本壓下去。

量子位:假以時日,能和搜尋成本一樣低嗎?

張鵬:什麼時候能降到這麼低?我也不知道。還需要一點時間。

我之前看過對每次搜尋價格平均成本的計算,其實與主營業務相關。比如搜尋引擎主要業務就是廣告,所以要用廣告總收入作為上限來計算成本。這樣計算的話,其實要考慮的並不是消耗的成本,而是企業盈利收益的平衡點。

做模型推理需要的是AI算力,肯定比搜尋這類只用CPU算力的成本是要更高的。但大家也在努力吧,很多人提出一些想法,比如持續去做模型的壓縮量化。

甚至有人想把模型做一些轉化,讓它在CPU上跑,因為CPU更便宜,量更大,跑起來的話,成本下降就會很明顯。

量子位:最後還想聊兩句人才方面的話題,現在大家都在搶大模型人才,智譜怕招不到人嗎?

張鵬:我們從清華KEG的技術項目孵化出來,和各個高校的關係一直都不錯。而且公司對年輕人來說氛圍比較open,75%的同事都是年輕人,我這種已經算老傢伙了。大模型人才現在確實奇貨可居,但我們還沒什麼招人方面的擔心。

反過來,其實我們現在比較擔心被別人撬牆角(狗頭)。

聯繫作者

相關文章

OpenAI 的 GPT-3:史上最強 AI 模型

OpenAI 的 GPT-3:史上最強 AI 模型

2020年註定是不平凡的一年。除了新冠疫情之外,今年還可能是「天網元年」。因為在這一年誕生了「比特幣之後人類最重大發明」、顯示卡毀滅者——史...