建立元宇宙,從感知現實開始,Meta讓機器人有「手感」

編輯:小舟、陳萍

Facebook 改名後不久,其在官方部落格中概述了其在開發硬體、模擬器、庫、基準測試和資料集等方面的進展,想必祖克柏推崇的元宇宙離不開這些技術的支持。

幾天前,在 Facebook Connect 2021 線上大會中,祖克柏正式宣佈了 Facebook 的新名字——Meta。祖克柏表示:「隨著時間的推移,我希望我們被視為一家元宇宙公司」。此處的元宇宙本質上是一個虛擬現實平臺,人們可以在這個平臺上的數字環境中聚集、交流。實現這一願景,當然離不開技術的加持。

就像改名一樣始料未及,幾年前祖克柏曾認為 Facebook 沒有理由要進行機器人方面的研究,但現在機器手上的觸覺感知已經是 Meta 一個重要的新興研究方向。

觸覺感知旨在理解和複製物理世界中人類的觸摸技能,使機器人更有效地與周圍世界互動。觸覺感知的進步將導致 AI 可以學習和使用自己的觸覺以及與其他感知方式(如視覺和音訊)結合使用,就像人類一樣。此外,提高機器人的觸覺將使它們更有能力,也更溫和、更安全。

就在近日,Meta 概述了其在開發硬體、模擬器、庫、基準測試和資料集方面的進展。觸覺感知生態系統對於構建 AI 系統至關重要,通過觸覺感知,AI 系統才具有理解和互動的功能。

具有觸覺感知的機械手可以輕鬆的抓取雞蛋:

左邊沒有觸覺感知的機械手把雞蛋捏碎了

左邊沒有觸覺感知的機械手把雞蛋捏碎了:

左邊沒有觸覺感知的機械手把雞蛋捏碎了

Meta 這項觸覺感知上的進步得益於 DIGIT 傳感器和一種名為 ReSkin 的觸摸感應「皮膚」。現在 Meta 對這兩項技術進行了詳細的介紹。

硬體

硬體

讓 AI 能夠使用觸覺資料並從中學習,首先需要能夠收集和處理這些資料的傳感器。理想情況下,觸摸感應硬體應該模擬人類手指的許多屬性。一方面,用於機器人指尖的傳感器應該相對緊湊。這需要先進的小型化(miniaturization)技術,這些技術的生產成本非常高,並且通常超出了大多數學術研究的能力範圍。另一方面,這類傳感器需要承受因反覆接觸表面而造成的磨損。此外,觸摸傳感器還需要具有高解析度,以測量有關被觸摸對象的豐富資訊,例如表面特徵、接觸力以及通過接觸可識別的其他對象屬性。

DIGIT

安裝在機械手上的 DIGIT 傳感器操縱玻璃彈珠。

為了提供一種專為機器人手動操作設計、易於構建、可靠、低成本、緊湊且高解析度的觸覺傳感器,Meta(Facebook)在 2020 年發佈了 DIGIT 的完全開源設計。與目前可用的商用觸覺傳感器相比, DIGIT 的製造成本要低得多,並且提供了數十萬個接觸點,大大提升了它的研究和使用價值。

作為 Meta AI 的合作伙伴,MIT 的衍生公司 GelSight 擁有獨特的數字觸覺傳感技術和產品,現在將商業化製造 DIGIT。商用 DIGIT 將為更多研究人員提供觸摸感應方面的便利,加快學術研究的進步。如果要製造 1000 個 DIGIT 傳感器,那麼每個 DIGIT 傳感器的材料成本大約只有 15 美元,因此 Meta 的團隊預計商用版 DIGIT 的成本不會太高。

ReSkin

ReSkin

除了 DIGIT,Meta AI 的研究者還和卡內基梅隆大學(CMU)合作開發了一種開源的觸摸感應「皮膚」ReSkin,外形小巧,可以幫助機器人和其他機器在更大的表面上學習高頻觸覺。和 DIGIT 一樣,ReSkin 旨在打造一個開源、強大且成本極低的系統,讓研究人員能夠專注於開發軟體以幫助機器人感知觸覺,而不必在硬體上浪費時間。

ReSkin 本身是一塊 2 毫米厚的柔性矽膠片,其中混有磁性顆粒。每當有東西接觸該膠片使其變形時,嵌入其中的磁性顆粒就被壓扁,磁信號發生變化,由磁力計拾取。因此,ReSkin 不必直接與磁力計相連。這使得 ReSkin 傳感器中最有可能損壞的部分變得非常容易更換,這也是 ReSkin 的優勢所在。

ReSkin 可以幫助研究人員快速、大規模地提高他們的 AI 觸覺感應技能。利用機器學習和磁感應方面的進步,ReSkin 具有廉價、多功能、耐用且可替換的優點。它採用自監督學習演算法來幫助自動校準傳感器,使其具有通用性並使得傳感器和系統能夠共享資料。

模擬

Meta 開發並開源了 TACTO,這是一種基於視覺的高解析度觸覺傳感器模擬器,即使在沒有硬體的情況下,也可實現更快的實驗平臺並支持機器學習研究。模擬器在機器人技術的原型設計、調試和基準測試中發揮著重要作用,因為模擬器使我們能夠測試和驗證假設,而無需在現實世界中進行耗時的實驗。

TACTO 能夠以每秒數百幀的速度呈現逼真的高解析度觸摸讀數,通過簡單設置來模擬基於視覺的觸覺傳感器,其中包括 DIGIT、OmniTact。TACTO 使研究人員能夠模擬基於視覺的觸覺傳感器,這些傳感器具有不同的形狀,可以安裝在不同的機器人上。TACTO 和 DIGIT 通過提供低成本的參考實施,使研究者能夠快速原型化多模態機器人操作策略,從而實現基於視覺的觸覺感知。

PyTouch

類似於 DIGIT 這樣的觸覺傳感器可以處理高維和觸覺感知資料,這是傳統分析方法難以處理的。機器學習 (ML) 模型可以簡化模型的設計和實現,這些模型可以將原始傳感器讀數轉換為高級屬性(例如,檢測滑動和識別材料)。但是,如果沒有 ML 背景,訓練一個模型來處理觸覺資料是極具挑戰性的。為了提高程式碼的複用率並減少部署時間,Meta 創建了一個名為 PyTouch 的觸覺感應 ML 模型和功能庫。

研究人員通過 PyTouch 可以跨不同傳感器訓練和部署模型。它目前提供了一些諸如檢測觸摸、滑動(slip)、估計物體姿態等基本功能。最終,PyTouch 將與現實世界的傳感器和觸覺傳感模擬器集成,以實現模型的快速驗證以及 Sim2Real 功能(能夠將在模擬中訓練的概念轉化為實際應用。)

PyTouch 啟用了一種基於學習的方法來構建應用程序,這使得更多的研究者可以使用觸覺處理功能。OpenCV 、 Detectron2 等預訓練模型庫為計算機視覺研究人員提供了最先進的技術,而無需從頭開始創建和訓練模型。同樣的,PyTouch 的目標是授權更廣泛的研究社區,使得在其應用程序中使用更多的觸覺。

基準和資料集

觸覺傳感器和模擬器的可用性為多個層級的指標和基準鋪平了道路。在硬體層面,現有的基準和資料集,可以用來評估傳感器的設計選擇;在感知層面,可以使用基準來比較不同的 ML 模型在不同的觸覺感知用例中的作用;在機器人控制層面,現在可以在模擬和現實世界中對主動控制任務(例如手動操作)中的觸摸進行基準測試等 。儘管研究者在啟用系統測量方面取得了進展,但我們應該努力定義和發佈可以指導更廣泛社區取得更可衡量進展的指標和基準,我們仍然需要仔細調查這些不同的層級以及它們之間的相互作用。

參考連結:

https://ai.facebook.com/blog/reskin-a-versatile-replaceable-low-cost-skin-for-ai-research-on-tactile-perception/

https://ai.facebook.com/blog/teaching-robots-to-perceive-understand-and-interact-through-touch/

2021 NeurIPS MeetUp China

受疫情影響,NeurIPS 2021依然選擇了線上的形式舉辦。雖然這可以為大家節省一筆註冊、機票、住宿開支,但不能線下參與這場一年一度的學術會議、與學術大咖近距離交流討論還是有些遺憾。

我們將在NeurIPS官方支持下,於12月4日在北京麗都皇冠假日酒店舉辦線下NeurIPS MeetUp China,促進國內人工智慧學術交流。

2021 NeurIPS MeetUp China將設置 Keynote、圓桌論壇、論文分享、 Poster和企業招聘等環節,邀請頂級專家、論文作者與現場參會觀眾共同交流。

歡迎 AI 社區從業者們積極報名參與,同時我們也歡迎 NeurIPS 2021 論文作者們作為嘉賓參與論文分享與 Poster 展示。感興趣的小夥伴點選「閱讀原文」即可報名。

相關文章

矽谷又多了一個新大佬

矽谷又多了一個新大佬

谷歌地圖創始人、「點贊」按鈕發明者、Quip 創始人、Twitter 董事長、Salesforce 接班人…… —— 文|杜晨 編輯|Vic...