ChatGPT已能操控機器人,工程師連程式碼都不用寫,網友:微軟在搞天網?

Alex 發自 凹非寺

當我還在跟ChatGPT吹牛尬聊時,有人已經在拿它操控機器人了。

不是別人,正是OpenAI的金主爸爸、不久前剛拿ChatGPT「重新發明搜尋引擎」的微軟

到目前為止,開發者調教機器人不僅技術門檻高,還道阻且長:

工程師需要在工作流程迴路中,不斷手寫新程式碼和規範來糾正機器人行為;另外,操控不同的機器人可能需要不同的程式語言和環境。

而在ChatGPT的幫助下,工程師甚至不用手寫程式碼——直接用人話描述想做什麼,AI就能自動翻譯成機器語言。

這意味著,一方面專業人士與機器人的互動效率起飛;另一方面,技術門檻也降低一大截,外行人甚至也能參與調試,創造出更多使用方法。

舉個簡單的例子:讓無人機自動檢查貨架。

首先,操作者只需用自然語言給ChatGPT提出要求;然後,AI就能自動翻譯成程式碼,並指揮無人機行動。(還可以規定無人機的飛行路徑。)

難怪特斯拉前AI主管Andrej Karpathy會調侃:

最新的熱門程式語言是英語。

最新的熱門程式語言是英語

一個AI指揮多種機器人

實際上,ChatGPT會玩兒的花樣可多了。

比如,一位操作者跟AI說:「我渴了,請幫我找個喝的。」

此時AI並不會直愣愣地就去找水了,而是會很機靈地反問:

請問你想喝哪種?這裡有好幾種飲料,比如椰子水、可樂等等。

當然操作者也不是吃素的,他並未直接告訴AI選哪個,而是說:「我剛從健身房回來,請幫我找個健康點兒的飲料。」

然後更神奇的操作就開始了:

AI先是猜測他想喝椰子水,然後自己噼裡啪啦寫出一段程式碼(甚至還有註釋):

寫完就自己指揮無人機去找椰子水:

除了無人機,ChatGPT還能輕鬆操控別的小機器人,包括攝像頭、機械臂等等。

比如讓攝像頭在房間裡找出能加熱午飯的東西。

還有指揮機械臂拼出一個微軟的Logo。(悄悄夾帶私貨)

看到這些,有網友腦洞大開,有人發問:

他們是不是正在建立無所不能的天網?

他們是不是正在建立無所不能的天網?

還有人甚至調侃稱,AI可能連發射核彈的指令都會寫:

不過話說回來,其實離網友說的這些還差得遠,畢竟現在還是需要人類參與的。

怎麼實現的?

從前文可以看出,這隻靈活的AI不僅與人交流暢通無阻,而且和機器也能快速溝通。

這主要得益於微軟團隊專門開發的一系列API高級函數庫

他們沒有讓ChatGPT背後的語言大模型(LLM),生成某固定種類的程式碼;因為機器人是個多元化領域,這樣可能會在不同場景下涉及大量微調。

而在新穎的操作框架下,不同機器人,都有自己對應的特定函數庫。

——一個AI,就能適應不同的對象、不同的任務

一方面,這些函數庫,能夠連接到機器人控制系統中管理底層硬體,以及執行基本運動的程式碼和功能模組。

另一方面,為了讓ChatGPT也能遵循函數庫的規則,預定義函數命名就很關鍵。清晰的函數名,能讓各API之間建立良好的功能連接,最終生成高質量的回答。

其中一項要求,就是所有API名稱必須描述整體功能行為。例如,detect_object(object_name) 函數可以在內部連結到OpenCV函數或計算機視覺模型。

設計好庫和API後,微軟給ChatGPT編寫了一個文字提示(prompt),描述目標任務,並明確說明函數庫中哪些函數可用;另外,這還能規定ChatGPT生成程式碼用哪種程式語言。

值得一提的是,AI生成內容效果,和人為提示的質量呈正相關。為此,微軟還開發了一個協作開源平臺PromptCraft,任何人都能在此分享不同類機器人的Prompt策略。

到此,幕後部署基本完成,然後使用者就能通過「說人話」間接操控機器人了。

如果想要檢查AI生成的程式碼是否有Bug,隨時都能在聊天框直接檢查,或通過模擬器測試,人類可以用自然語言指導AI進行修正。

另外,還能到等到使用者對解決方案滿意為止,再在將ChatGPT生成程式碼部署到機器人上。

最後,如果是你,會想用ChatGPT操控機器人做些什麼呢?

論文地址:

https://www.microsoft.com/en-us/research/uploads/prod/2023/02/ChatGPT___Robotics.pdf

參考連結:

[1]https://arstechnica.com/information-technology/2023/02/robots-let-chatgpt-touch-the-real-world-thanks-to-microsoft/

[2]https://www.microsoft.com/en-us/research/group/autonomous-systems-group-robotics/articles/chatgpt-for-robotics/

[3]https://github.com/microsoft/PromptCraft-Robotics#promptcraft-robotics

相關文章

那些被認為「邪靈附體」的孩子們

那些被認為「邪靈附體」的孩子們

在非洲的一些國家,當地人有種特殊的迷信,他們會將戰爭、疾病與貧窮,歸結為巫術。有些孩子一出生,就被認為邪靈附體,他們被稱作Skolombo,...