整理 | 屠敏
ChatGPT 是否會取代軟體工程師?
在這項產品引發一場前所未有的 AI 科技浪潮之際,想必無數玩家提出過這樣的疑問。對於 ChatGPT 自身而言,它給出的回答非常肯定:
「不!ChatGPT 不會取代軟體工程師。ChatGPT 是一種可以協助完成某些任務的工具,但它不能完全取代人類軟體工程師的創造力、解決問題的能力和批判性的思維能力。此外,ChatGPT 需要人類的監督和指導才能有效運行。」

那麼,能夠在日常提供強有力編碼建議的 ChatGPT,在程式設計領域,到底處於一個什麼樣的水平?
Google,以及德國與英國的研究團隊試了試。

ChatGPT 被評測為 Google L3 級別工程師
據 CNBC 報道,Google 近期對多個 AI 聊天機器人進行測試,也包括了 ChatGPT。
其中,Google 對 ChatGPT 進行了面試。據 Google 工程師此前分享的一些文章透露,Google 的現場面試流程主要包括程式設計面試、系統設計面試、領導力維度的面試(僅限管理職位)。
不難想象,ChatGPT 在測試過程中,順利通過了編碼面試的技術性問題。如果說要有難度的話,可能主要是在第三個領導力方面的測試,畢竟這個需要一些「人性化」的回答,而不是從各個資料來源收集到的「標準答案」。
整體而言,根據 ChatGPT 的回答,Google 內部將其標記為可以達到 L3 工程師職位的需求。
根據其內部的一份檔案顯示,」令人驚訝的是,ChatGPT 在面試編碼職位時,被 L3 錄用。「
不過,雖然 L3 被認為是 Google 工程團隊的入門級職位,但是該職位的平均總薪酬約為 183000 美元。這也意味著,如果 ChatGPT 去上崗,也能拿到 18.3 萬美元的薪酬。

ChatGPT 修復 Bug 準確率達到 78%
這邊 Google 面試的結果出爐了,另一邊來自約翰內斯古騰堡大學和倫敦大學學院的電腦科學研究人員也發佈了一篇《An Analysis of the Automatic Bug Fixing Performance of ChatGPT》(https://arxiv.org/pdf/2301.08653.pdf)論文,公開 ChatGPT 修復 Bug 的情況。
據 PCMag 報道,研究人員將 40 段錯誤程式碼提供給 ChatGPT、Codex、CoCoNut 和 Standard APR 四種不同的程式碼修復系統。
測試的操作也非常簡單,就是研究人員把程式碼複製到上述四種系統中,並詢問」這段程式碼有什麼問題?「、」我該怎麼解決?「
在第一輪測試後,ChatGPT 表現並不出眾。其中,ChatGPT 解決了 19 個問題,Codex 解決了 21 個,CoCoNut 解決了 19 個,Standard APR 解決了 7 個。

ChatGPT 好就好在,作為 AI 聊天機器人的它,」能聊「是它的優勢。
研究人員在報告中指出,」我們看到,對於我們的大多數請求,ChatGPT 會要求提供有關問題和錯誤的更多資訊。通過向 ChatGPT 提供此類提示,它的成功率可以進一步提高,修復了 40 個錯誤中的 31 個。「
研究人員以下面程式碼為例,他們希望能夠將 n ^ = n – 1 替換為 n & = n – 1。
當詢問 ChatGPT 這段程式碼是否有問題時?

ChatGPT 回答道:沒有關於預期行為的更多資訊,我無法判斷程序是否有一個錯誤。

後來,研究人員給了更多的提示之後,ChatGPT 發現了問題所在,給出了準確的解決方案:

整體而言,不開聊之前,ChatGPT 修復 Bug 的準確率只有 47.5%,聊完之後,瞬間提升到了 78%,這就是 ChatGPT 的魔力所在。

ChatGPT 帶來強大的競爭力
以上,ChatGPT 的能力有目共睹,它的」爆紅「,隱藏的巨大商機也逐漸浮出水面,如果不跟上,也極有可能滯後,ChatGPT 與 Stack Overflow 的競爭就足以證明這一點。
根據網站流量監測平臺 SimilarWeb 資料顯示,自 OpenAI 的對話 AI 工具 ChatGPT 上線後,Stack Overflow 流量直線下降。從 2022 年 10 月的第 202 位下降到 2022 年 12 月底的第 229 位,在「程式設計和開發軟體」網站類別中的排名下降了近 30 位。這是自 2019 年 10 月以來 StackOverflow 在該類別中的最低排名。

就網站訪問量而言,Stack Overflow 從 2022 年 11 月的近 2.79 億下降到 2022 年 12 月底的 2.47 億,僅一個月就下降了近 12%。

雖然 Stack Overflow 早在 ChatGPT 上線的幾周後,以生成的答案准確性不夠為由,率先宣佈禁用該工具,但還是難抵 ChatGPT 的流行度。
反而也正是基於此,Stack Overflow 的失利證明了 ChatGPT 在問答維度的潛力,搜尋引擎與之結合也成為科技巨頭們關注的下一個方向。

大廠相繼入局
ChatGPT 這塊蛋糕已在眼前,眾人不可能不分。包括了微軟、Google 等科技巨頭無數玩家湧入其中,紛紛加大對 AI 維度的投入。
微軟與 OpenAI 的強強聯手
微軟早期的「先見之明」,以投資 OpenAI 公司 10 億美元,佔得合作的先機;而後又追加數十億美元,擴大與 OpneAI 的合作關係,加註 AI,希望後續能將相關的技術應用在 Bing、Office、Azure 等服務中。
有 Twitter 使用者@Owen Yin 爆料,微軟已經成功將 ChatGPT 與 Bing 相結合,新的 Bing 大致如下所示,空白的搜尋欄被一個大文字框所取代,並帶有一個提示,用於告知使用者可以向它詢問任何問題。使用者將有 1000 個字符來編寫詢問的問題,這將允許使用者在請求中提供大量詳細資訊,如上下文、具體說明或列出示例等。

新 Bing 搜尋引擎短暫地上線後,又迅速地下線了。此前,外媒透露,微軟計劃在 3 月發佈融合 ChatGPT 的 Bing 版本。我們也將拭目以待。
Google 全力押注 AI
相較之下,Google 雖然更早一步推出 LaMDA 對話程式語言模型,但是因為考慮得太多,遲遲沒有廣泛地落地應用起來,導致錯失良機。現如今,不跟上意味著落後,Google 也在全力找補。
上文中所提及的對 ChatGPT 等產品進行測試,也是為了更好地研發相關的 AI 產品,同時 Google 也希望能將這一功能更好地融合到自家產品與服務中,尤其是 Google 搜尋引擎。
不久之前,Google 在內部的 Atlas 雲部門下拉起了一個」紅色程式碼「的項目,應對 ChatGPT 帶來的巨大威脅。
與此同時,據外媒報道,Google 已向人工智慧初創公司 Anthropic 投資約 3 億美元,這家初創公司正在測試 OpenAI 的 ChatGPT 的競爭產品。這筆交易涉及 Google 收購這家初創公司約 10% 的股份。
提及 Anthropic 公司,不少人並沒有聽說過。它成立於 2021 年,是 OpenAI 前研究員創立而成。彼時,OpenAI 副總裁 Dario Amodei 領導的一組研究人員在對公司的發展方向存在分歧後離開了 OpenAI 。他們擔心微軟對 OpenAI 的首次投資會使其走上更加商業化的道路,並偏離其最初對高級 AI 安全性的關注。
於是,他們在成立 Anthropic 時,也開發了一款名為 Claude 的智慧聊天機器人,但目前尚未公開發布。
就從理念上來看,微軟與 OpenAI 的合作,勢必不同於 Google 和 Anthropic。對此,有知情人士透露,雖然微軟試圖將 OpenAI 的技術整合到自己的許多服務中,但 Google 與 Anthropic 的關係僅限於在人工智慧賽道上後者充當前者的技術供應商。
當前,Google 和 Anthropic 拒絕對這項投資發表評論,但分別宣佈了一項合作,即 Anthropic 將使用Google的雲端運算服務。這項交易標誌著科技巨頭和人工智慧初創公司之間的最新聯盟,共同為 AIGC 的發展蓄力。
百度計劃開發國產版 ChatGPT
除了國外幾家巨頭之外,也有傳聞百度計劃將於3 月推出自己的 ChatGPT 版本,應用方向主要也是搜尋引擎。
截至目前,還並沒有更多的訊息傳出。

最後
現如今,ChatGPT 上線已兩月有餘,Google、約翰內斯古騰堡大學和倫敦大學的最新測試與研究,將 ChatGPT 在軟體工程上亮眼的表現呈現出來。各大科技巨頭在搜尋引擎與 ChatGPT 上的加碼,也終會讓 ChatGPT 與相關的技術無處不在,你是否期待 ChatGPT 帶來的種種改變?
參考:
https://www.pcmag.com/news/watch-out-software-engineers-chatgpt-is-now-finding-fixing-bugs-in-code
https://www.pcmag.com/news/chatgpt-passes-google-coding-interview-for-level-3-engineer-with-183k-salary
https://medium.com/@owenyin/scoop-oh-the-things-youll-do-with-bing-s-chatgpt-62b42d8d7198