整理 | 蘇宓
GPT-3 發佈的兩年後，我們沒等來它的親弟弟 GPT-4，而是在今天親眼見證了 OpenAI 帶來了一種全新的 AI 聊天機器人——ChatGPT，也可以稱之為是 GPT-3 家族裡面的親戚，它不僅可以解釋程式碼、編寫情景喜劇腳本，也可以為使用者的查詢提供對話式回答，而且回答幾乎能夠滿足網友的」小心思「。
目前，ChatGPT 處於測試階段（chat.openai.com），只要有 OpenAI 賬戶就可以免費使用。萬萬沒想到，此超級對話模型一經開放，很多人便深陷其中，無法自拔。就連 OpenAI 背後的投資者馬斯克不忘調侃一句，」很多人瘋狂地陷入了 ChatGPT 循環中。「
ChatGPT 的背後
對此，我們不禁好奇，ChatGPT 到底有什麼樣的魔力，吸引這麼多人去嘗試？它與 GPT-3 又有什麼不同之處？
根據 OpenAI 官方介紹，與 GPT-3 最大的不同應該就是 ChatGPT 提供了一個使用者友好的對話界面，並且非常有道德，即可以強烈限制一些有害的輸出，如暴力、髒話等不當的請求。
ChatGPT 是 InstructGPT 的兄弟模型，它被訓練為在提示中遵循指令並提供詳細的響應。
之前了解過 OpenAI 的工程師們，想必對 InstructGPT 還有印象。今年年初，OpenAI 為了好好調教 GPT-3，便給它帶來了」調教師「—— InstructGPT，它採用了」從人類反饋中強化學習「（RLHF）來訓練這個模型，可以讓彼時的 GPT-3 輸出的更為準確。
最新的 ChatGPT 使用的方法與 InstructGPT 相同，也是使用了 RLHF，有些不同的地方主要體現在資料收集設置上。
對此，OpenAI解釋道，」ChatGPT 使用監督微調訓練了一個初始模型：人類 AI 培訓師提供對話，他們在對話中扮演雙方–使用者和 AI 助手。AI培訓師通過由模型生成的建議，以幫助 AI 不斷調整回覆的內容。「
當然，為了創建一個用於強化學習的獎勵模型，OpenAI 也需要收集比較資料，其中包括兩個或更多按質量排名的模型回覆。為了收集這些資料，OpenAI 收集了 AI 培訓師與聊天機器人的對話，並隨機選擇了一個模型編寫的訊息，抽查了幾個備選的回覆，再讓 AI 培訓師對這些回覆進行排名。此外，利用這些獎勵模型，這項研究使用近似策略最佳化演算法對模型進行微調，並對這個過程進行了多次迭代。
根據官方介紹，ChatGPT 是對 GPT-3.5 系列中的一個模型微調而成，該模型在 2022 年初完成了訓練。值得注意的是，ChatGPT 和 GPT-3.5 是在 Azure AI 超級計算基礎設施上訓練的。
百態橫生的 ChatGPT，玩出新花樣
到目前為止，很多人對 ChatGPT 進行了各種測試，發現了各種潛在的用途。比如說：
它可以是程式設計師得力小助手，幫助開發者解決編碼問題：
就像這樣：
甚至還能解釋氣泡排序演算法：
它也是很好的調試小夥伴，程式設計師再也不用害怕 Debug 了？
它也能充當詩人。當問及」能否寫一首關於伊隆-馬斯克接管 Twitter 的押韻詩？「時，它能流暢自然地分享道（不知大家能打幾分）：
伊隆·馬斯克現在至高無上
在 Twitter，他是終極國王
他拇指一彈就發推文
他的追隨者想要屈服
充滿想法和計劃的頭腦
他總是大步前進
……
對藝術家也有一定的啟發：
還能進入影視圈，寫寫劇情腳本：
另外，它也能」一本正經「地解釋各種科學概念，比如說」熱力學「：
甚至它還能寫一篇學術論文。當然在學術圈的論文上面，還是不建議大家使用的，或許接下來 ChatGPT 也會成為高校老師們頗為頭疼的產品工具。
除此之外，根據 OpenAI 分享的官方示例中，其表示還能為日常提供一些實質性的建議。
使用者：幫我寫一封簡短的說明，向我的鄰居介紹自己。
ChatGPT：
你好呀，我的名字是 [你的名字]，我剛搬到隔壁。我想伸出手來介紹自己。我期待著認識你和附近的人。如果您有任何需要或只是想聊天，請隨時過來或給我打電話。
最好的，[你的名字]
使用者：你能讓它更正式嗎？
ChatGPT：
親愛的鄰居，我寫信是為了自我介紹。我的名字是 [你的名字]，我最近搬到了隔壁。我想花點時間伸出手打個招呼。我期待著結識您和附近地區。
如果有什麼我可以做的好鄰居，或者如果您有任何需要，請隨時告訴我。我很樂意盡我所能提供幫助。
此致，[你的名字]
使用者：你能幫我寄嗎？
ChatGPT：
很抱歉，我是一個基於文字的 AI 助手，沒有能力為您發送一封實體信件。我只能提供關於寫什麼的建議和建議。您可以接受該建議並自己發送這封信。
可以說上知天文下知地理，前能寫程式碼，後能編劇本，ChatGPT 比 GPT-3 強得不止這些。
侷限性與挑戰
當然，現實來看，ChatGPT 畢竟依然是由人訓練出來的，其雖然智慧，但也依然避不開一些無厘頭以及錯誤。
在 Twitter 上，當計算生物學教授CarlBergstrom要求 ChatGPT 寫一篇關於他生活的維基百科條目時，ChatGPT沉著冷靜地做到了這一點，但不妨礙它寫的內容裡面包含了幾個完全虛假的傳記細節。
針對這種錯誤，OpenAI 也在官方公告中強調，當前的 ChatGPT 存在一定的侷限性，其直言「想要完全解決這個問題是非常有挑戰性的」，因為：
(1) 在 RL 訓練期間，目前沒有真實世界的資料來源；
(2) 模型被訓練得更加謹慎，導致它拒絕回答它可以正確回答的問題；
(3) 監督訓練誤導了模型，因為理想的答案取決於模型知道什麼，而不是人類演示者知道什麼。
ChatGPT 對輸入措辭的調整或多次嘗試同一」提示「很敏感。例如，給定一個問題的措辭，模型可以聲稱不知道答案，但只要對問題的措辭稍加修改，它就可以給出正確回答。
該模型的回答內容往往過分囉嗦，並過度使用某些短語。例如重申它是由 OpenAI 訓練的語言模型。這些問題來自於訓練資料的偏差（訓練者更喜歡看起來更全面的長篇答案）和眾所周知的過度最佳化問題。
理想情況下，當使用者提供了一個模稜兩可的問題時，模型會提出質疑。然而與之相反的現實是，如今的模型往往會猜測使用者的意圖。
對此，OpenAi 解釋稱，「雖然我們已經努力使模型拒絕不適當的請求，但它有時會對有害的指令作出回應或給出有偏見的回答。我們正在使用 Moderation API 來警告或阻止某些類型的不安全內容，但我們預計它目前不一定會立即見效。因此，我們渴望收集使用者的反饋，以幫助我們正在進行的工作，改善這個系統。」
將向 Google 搜尋發起挑戰？
儘管如此，不可否認的是，ChatGPT 的輸出質量似乎比之前 GPT-3 模型有了顯著的改進，而且回答的內容覆蓋多維度，甚至在一定程度上，可以直面」搜尋引擎「與」問答社區「。
為此，也有網友將 Google 和 ChatGPT 進行了對比：
其分別在 Google 搜尋和 ChatGPT 中提出了同一個問題：
幾番比對下來，這位網友表示，Google 的搜尋結果都可以不用貼上來了，因為這些問題在它的平臺上沒有什麼好的結果。與此同時，其附上了來自 ChatGPT 詳細的結果。
雖然對於這樣的結果，來自 Google 母公司 Alphabet 的一位工程師 @hncel 解釋道：
我在 Alphabet 工作，最近我去參加了一個內部技術講座，是關於在Google部署這樣的大型語言模型。作為免責聲明，我首先要說明這不是我的專業領域，我只是參加了這個技術講座，因為它聽起來很有趣。
像 GPT 這樣的大型語言模型是Google在 ML 維度主要研究的領域之一，而且有大量相當明顯的應用，它們可以被用來回答查詢、索引資訊等。
在Google，有一個巨大的預算，用於配備人員來研究這些類型的模型並進行實際的訓練，這非常昂貴，因為需要大量的計算能力來訓練這些超級巨大的語言模型。然而，我從講座中了解到，在Google最大的產品（如搜尋、Gmail）中實際使用這些語言模型的經濟性還不太成熟。放置一個演示，讓感興趣的人們玩玩是一回事，但如果考慮到服務成本、增加的延遲以及像Google搜尋本身收入已經接近無限小的事實，試圖將它深入地整合到一個每天提供數十億次請求的系統中是另一回事。我想我記得演講者說過這樣的話：在將這樣的模型整合到搜尋等產品中之前，他們至少要將成本降低 10 倍。
在未來幾年，10 倍甚至 100 倍的改進顯然是一個可實現的目標，所以我認為這樣的技術將在未來幾年出現。
就現下而言，ChatGPT 的出現，是否會在未來短短几年內吸引大量使用 Google 搜尋這類工具的開發者、創作者、設計者們，或許還需要看看 ChatGPT 正式上線之後的效果，我們也將拭目以待。
參考：
https://openai.com/blog/chatgpt/
https://news.ycombinator.com/item?id=33817682
https://www.theverge.com/23488017/openai-chatbot-chatgpt-ai-examples-web-demo
☞騰訊文件企業版正式發佈；曝蘋果 AR/VR 頭顯將運行 xrOS 作業系統；Chrome 108 正式版發佈|極客頭條
☞Hinton、DALL-E 2 皆上榜，盤點 AI 圖像 10 年合成史！
☞這 11 種程式語言，還「活著」嗎？
