整理 | 屠敏
研發具有創新性的 ChatGPT 究竟給其背後的公司 OpenAI 帶來了什麼？
據 The information 報道，ChatGPT 的誕生不僅給 OpenAI 帶來了前所未有的關注度，吸引了微軟「多年、數十億美元」投資擴展。
更為不容忽視的是，對於這家開發了 ChatGPT 的初創公司而言，因為大模型需要耗費巨大的算力資源和資料，以及其背後運營也要付出不菲的開銷，僅是在 2022 年，OpenAI 總計損失達到了 5.4 億美元，與之形成鮮明對比的則是其產生的收入只有 2800 萬美元。
訓練、運行 ChatGPT 需要花費多少錢？
那要問 OpenAI 為什麼會虧得這麼厲害，想必不少人都會直接說一句：不砸錢必定搞不出大模型。
其實自去年 11 月 OpenAI 推出 ChatGPT 以來，外界對於 ChatGPT 的運行成本持以高度好奇。
一直以來，OpenAI 並沒有直接對外公開過具體的開銷成本。不過，很多網友還是找到了蛛絲馬跡，推算出了大概。
據悉，最早在 2020 年，OpenAI 使用的是 Google 雲服務，彼時花費高達 7500 萬美元，直到後來使用微軟的 Azure 平臺，才逐漸減少雲服務託管方面的支出。
然而，此前微軟曾在部落格上透露，「為支持 OpenAI 模型的落地，其不僅使用了上萬顆 GPU，也花費了數億美元」：
當時為了支持 OpenAI 訓練大模型，微軟開發了一套新的 Azure 人工智慧超級計算技術，也在 Azure 中建立超級計算資源，這些資源的設計和專用性使 OpenAI 能夠訓練一套日益強大的 AI 模型。
為了訓練出這套模型，微軟在基礎設施中使用了數以千計的英偉達人工智慧最佳化 GPU，它們被連接在一個高吞吐量、低延遲的網路中，該網路基於英偉達量子 InfiniBand 通訊，用於高效能運算。
對此，促成微軟和 OpenAI 合作的關鍵人物——負責戰略合作伙伴關係的微軟高級主管 Phil Waymouth 表示，OpenAI 訓練其模型所需的雲端運算基礎設施的規模是前所未有的，比業內任何人試圖建立的網路 GPU 集群都要大得多。後來據彭博社報道，微軟在該項目上已經花費了數億美元。
正是基於此，微軟的 Azure 雲如今託管 ChatGPT 項目，這樣 OpenAI 就不必投資物理機房。
有外媒曾分析過，考慮到微軟目前的收費標準，一個 A100 GPU 的費用是每小時 3 美元，ChatGPT 上生成的每個詞的費用是 0.0003 美元。至少有八個 GPU 在使用，才能在一個 ChatGPT 上運行。因此，按照 ChatGPT 生成的回覆通常至少有 30 個單詞來計算，只要 ChatGPT 回覆一次，OpenAI 公司將花費近 1 美分。通過這樣的估算，OpenAI 每天可能要花費至少 10 萬美元或每月 300 萬美元的運行成本。
此外，研究公司 SemiAnalysis 的首席分析師 Dylan Patel 曾在接受採訪時表示，當使用 ChatGPT 寫求職信、生成課業規劃和在約會應用上潤色個人簡介等操作時，每天可能會燒掉 OpenAI 多達 70 萬美元，每次查詢要花掉 36 美分。這是因為 ChatGPT 需要大量的計算能力來對使用者的提示詞做出快速響應。
與此同時，從算力角度來看，有分析表明，目前一個 NVIDIA A100 GPU 可以在大約 6 毫秒內運行一個 30 億個參數的模型。按照這個速度，單個 NVIDIA A100 GPU 大約需要 350ms 秒才能在 ChatGPT 上輸出一個單詞。由於 ChatGPT-3.5 擁有超過 1750 億個參數，且目前 ChatGPT 每秒大約能夠輸出 15-20 個英文單詞，所以如果使用者想要獲得單個查詢的輸出結果，背後需要至少 8 個 A100 GPU 來執行操作。
其實，大模型無論是閉源還是開源，非常耗錢這件事，只要從事 AI 模型方面的從業者，心裡都有數。此前，Meta 在發佈開源的 LLaMA 大模型時，在論文中也提到，「當訓練一個 65B 參數的模型時，我們的程式碼在 2048 A100 GPU 和 80GB 的記憶體上處理大約 380 個 token /秒/GPU。這意味著在我們包含 1.4T 標記的資料集上進行訓練大約需要 21 天。」
來源：https://arxiv.org/pdf/2302.13971.pdf
為此，也有微博博主@BohuTANG 做了一下換算：
2048 個 GPU * 21*24 * 1$ ~ 100w刀，這還是確定資料集和參數後一次的訓練成本
毋庸置疑，參數量更大、資料集更廣的 ChatGPT 即使沒有透露出具體的訓練、運行成本，只是想想，也不會低。
招攬頂尖的人才也是一筆不菲的開銷
當然，OpenAI 支出與收入之間形成巨大落差的根源，不僅是訓練語言模型的高成本，還有一部分花在了聘請昂貴的技術人才上。
今年 2 月，有外媒曾報道，OpenAI 已經從 Google 挖走了超過 12 名 AI 方面的技術專家。而就在 OpenAI 推出 ChatGPT 之前，便有至少 5 名前 Google 研究人員參與其中。
其中，Google 前研究人員 Barret Zoph、Liam Fedus、Luke Metz、Jacob Menick 和 Rapha Gontijo Lopes 等人都出現在了 OpenAI 官宣 ChatGPT 部落格文章的致謝部分。
與此同時，OpenAI 聯合創始人、首席科學家 Ilya Sutskever 也曾是 Google Brain 團隊成員。他曾在 2012 年與 Alex Krizhevsky、Geoffrey Hinton 共同提出了著名的 AlexNet，推動了深度學習的革命。2015 年，他從 Google 離職，於次年加入了 OpenAI。現如今，他也是 ChatGPT、GPT-4 背後最為重要的主導者之一。
招攬這些頂尖的人才，OpenAI 除了營造舒適的學術、研究、商業氛圍之外，薪酬、福利待遇也是必不可缺的。
據紐約時報報道，2016 年，OpenAI 向 Ilya Sutskever 支付了超過 190 萬美元。
另外，根據 OpenAI 官方的招聘資訊顯示，其在招的職位超過 40 個，普通的 ChatGPT 軟體工程師、機器學習研究科學家的薪資水平在 20 萬美元 – 37 萬美元（約 138.2 萬-255.7 萬元）。
主管的級別更高一些，薪資也會隨之提升，譬如 ChatGPT 移動端工程主管的薪酬在 30 萬美元至 50 萬美元（約 207.4 萬-345.6 萬元）。
相較而言，如果是直接挖過去的人才，預估薪酬會更高一些，畢竟能力和薪酬往往成正比。
外媒：OpenAI CEO 計劃融資 1000 億美元，為實現 AGI 而奮鬥
當然為了保證 OpenAI 可持續研究 AI 的腳步，有訊息人士透露，OpenAI CEO Sam Altman 可能打算在未來幾年內籌集高達 1000 億美元的資金，用於實現公司創建通用人工智慧（AGI）的目標。
現實來看，隨著 ChatGPT 使用者量的增多，支出將水漲船高。
一方面，為支持語言模型和訓練新版本，OpenAI 預期在雲端運算方面投入會比以往更大。
另一方面，隨著 Reddit 和 StackOverflow、Twitter 等平臺紛紛發聲，想要拒絕被「白嫖」，欲向 AI 模型公司收取訪問器先前免費資料集的費用。此前據《紐約時報》報道，伊隆·馬斯克在發現 OpenAI 每年只支付 200 萬美元后終止了 OpenAI 對 Twitter 資料集的訪問。因此，在新的一年裡，要想獲取更多新的資料集，OpenAI 的資料成本無疑也將飆升。
最後，雖然在今年年初，微軟表示，將向 OpenAI 投資數十億美元。不過，據 The Verge 透露，作為這項投資的一部分，微軟在前期有權獲得 OpenAI 75% 的利潤，直到它收回投資的 100 億美元，以及微軟早期投資該公司的額外 30 億美元。隨後當 OpenAI 的利潤達到 920 億美元后，微軟獲得 OpenAI 利潤的比例降至 49%。最後，當 OpenAI 的利潤達到 1500 億美元之後，OpenAI 才能獲得公司 100% 的股份。這期間，微軟還獲得了對 OpenAI 軟體的優先訪問權，使其能夠將 OpenAI 的軟體連同其利用 OpenAI 技術的人工智慧產品一起轉售給其 Azure 客戶。
為此，OpenAI 虧損去年翻倍，也便不足為奇。不過，隨著 OpenAI 推出 ChatGPT Plus、API 等付費服務逐漸走上「正軌」，OpenAI 預計 2023 年的收入為 2 億美元。也有一些投資者認為，ChatGPT 在未來的某一個時點，可能成為該公司的賺錢利器。而當下，OpenAI 至少已經實現了在大模型領域處於領跑地位。
參考資料：
https://arxiv.org/pdf/2302.13971.pdf
https://www.businessinsider.com/chatgpt-openai-google-ai-employees-hired-report-2023-2
https://www.artisana.ai/articles/openai-suffers-usd540m-loss-in-2022-contemplates-usd100b-more-to-conquer-ai
https://www.theverge.com/2023/1/23/23567448/microsoft-openai-partnership-extension-ai
https://www.ciocoverage.com/openais-chatgpt-reportedly-costs-100000-a-day-to-run/
