ChatGPT 不僅是 AI 的成功,也是雲端運算的成功

作者 | 多顆糖 責編 | 夢依丹

最近 ChatGPT 佔據了各大新聞板塊頭條,國內外各大公司陸續跟進。無論是不是AI相關人士,都躍躍欲試要搞個賬號來玩一把。一時之間,ChatGPT 點燃了整個網際網路,人們為之興奮,討論著如科幻小說裡的未來,OpenAI 這家公司一時風光無兩。

作為一個非 AI 從業者,我不懂 ChatGPT 用到的演算法和模型,但我嘗試從一些我了解的方向——雲端運算和分散式系統——來談談 OpenAI 的架構和技術路線。

首先,根據公開資料,OpenAI 的 ChatGPT 和其他關鍵 AI 產品依賴於微軟 Azure 雲端運算服務,多年來微軟共對 OpenAI 進行了共上百億的投資,這些資金幫助 OpenAI 在 Azure 雲平臺上運行和訓練其模型(有傳聞說微軟一部分投資以雲端運算服務交付的,但我沒有找到具體的資料)。

OpenAI 的所有模型和演算法——包括 ChatGPT、Codex(類似於 Github Copilot)和 Dall-E 2(人工智慧繪畫)都獨家運行在 Azure 上,通過 Azure 的 HPC、彈性、資料儲存和計算服務來完成模型計算和演算法調試;當 OpenAI 的產品成熟後,除了可以公開 to c 使用,還可以作為 Azure 的一項 PaaS 服務 Azure OpenAI Service 來售賣,企業或個人可以通過 OpenAI 的 API 來開發自己的人工智慧應用——而微軟當然是首先吃螃蟹的人,最近微軟已經宣佈全線產品整合 ChatGPT,並且已經推出基於 ChatGPT 的 New Bing(這顯然嚇壞了 Google),和基於 Dall-E 2 的 Microsoft Designer。

這是一種完美的相輔相成、合作共贏的商業模式。

也許我們可以這麼理解,OpenAI 基於 Cloud Native 來做應用開發,基於雲端運算提供的方便的高效能運算來運算模型和打磨演算法,並對外銷售產品和 API;而微軟基於 AI Native 來提升搜尋、繪畫、Github 等產品,未來我們應該還可以在 Office,Teams,甚至作業系統等微軟產品中用到 OpenAI 提供的能力。

一邊是 Cloud Native 做開發,一邊是 AI Native 做產品。

new Bing with AI 讓 Google 徹底慌了

這種 Cloud + AI 的商業模式,其實也並不新鮮,我們在開源資料庫、開源中介軟體上就見過 Cloud + Infra 模式,但由於 AI 對於大量算力的需求使其從開始就考慮 Cloud Native(開源軟體的研發並不強需要雲,開發者在自己的電腦上也能編譯運行),而由於其產品可以直達普通使用者(開源軟體難以引起如此轟動),組合起來才產生了如此巨大的影響力,以至於各大全公司紛紛跟進 AI Native。

據傳 OpenAI 運算一次成本非常昂貴,我們可以想象自建一個算力如此巨大、GPU 如此之多的資料中心需要多大的成本,以及需要額外付出多少運維運營成本,而直接「租用」 Azure 的基礎設施,按量付費,可以有效地節省早期的支出,並且縮短早期創業啟動期,將研發的時間投入到真正有價值的事情。

圖示為 AI 場景下各家雲廠商 VM 性能對比,Azure佔優。

我們可以根據公開資料看看 ChatGPT 會用到哪些雲服務(網路、安全組等等就不說了)。首先是高效能運算 HPC 作為算力基礎。其次 ChatGPT 作為一個 web 服務,會使用一些基礎的雲伺服器,並且受益於雲的彈性,作為一個 to c 服務,ChatGPT 可以根據請求流量自動彈性伸縮計算、儲存和網路資源;當請求減弱時,可以適當釋放資源以節省成本。

另外,根據資料,ChatGPT 還使用了雲資料儲存和計算服務,包括:

  • Azure SQL Database 和 PostgreSQL,資料庫用來儲存結構化資料,例如模型相關的語料和文字;

  • Azure Blob Storage,用來儲存非結構化資料;

  • 以及資料湖儲存 Azure Data Lake Storage,用來儲存各種非結構化資料、半結構化和結構化資料;

    同時 OpenAI 還可以使用雲上類似 Hadoop 之類的計算引擎來進行分散式運算,以加速模型計算任務和提升負載。

想象一下,在沒有雲端運算的時代,幹這麼一件事所需要的成本,不僅需要自建機房提供計算、儲存和網路,還要自己維護一堆 PaaS 服務,其啟動成本讓人望而卻步。

OpenAI 不僅展示了 AI 的強大,也從底層展現了雲端運算的重要性。要是沒有雲端運算,我想 OpenAI 沒有這麼快做出 ChatGPT。

也許,未來的網際網路應用在服務上 Cloud Native,在產品上 AI Native。

參考資料:

[1] Azure OpenAI Service: https://azure.microsoft.com/en-us/products/cognitive-services/openai-service

[2] ChatGPT and OpenAI’s use of Azure’s Cloud Infrastructure: https://dgtlinfra.com/chatgpt-openai-azure-cloud/

本文轉載自公眾號「多顆糖」,經作者授權發佈!

 

相關文章

ChatGPT 設計了一款晶片

ChatGPT 設計了一款晶片

ChatGPT 可以幫助軟體工程師解決編碼的煩惱,那是否可以幫助硬體工程師設計出晶片呢?來自澳洲雪梨南威爾士大學的教授進行了一次嘗試。 原文...

SEO 已死,LLMO 萬歲

SEO 已死,LLMO 萬歲

「北風那個吹,雪花那個飄」,我手捧一杯咖啡,聽著白毛女。朋友坐在對面高談闊論:「有了 ChatGPT,我再也不缺內容了,SEO 的春天就要來...

人工智慧和程式設計的終章

人工智慧和程式設計的終章

【CSDN 編者按】隨著人工智慧以及大型語言模型的崛起,人工程式設計真的來到了終章了嗎?作者通過對 ChatGPT 的一些小測試,來檢驗人工...

最強 AI ChatGPT 真要取代程式設計師?

最強 AI ChatGPT 真要取代程式設計師?

【CSDN 編者按】ChatGPT 一出,「程式設計師要失業了」、「程式設計師要下崗了」之聲不絕於耳,引得程式設計師們不由得一陣驚慌,最強 ...