讓癱瘓失語患者「說話」,腦機接口首次從大腦活動解碼完整句子,登上新英格蘭醫學雜誌

編輯:杜偉、陳萍

Facebook 與加州大學舊金山分校(UCSF)Chang Lab 的腦機接口項目 Project Steno 取得了最新進展,該研究通過解碼從運動皮層發送到聲道的大腦信號,讓嚴重癱瘓的失語患者重新恢復交流能力。

近年來,腦機接口(BCI)研究吸引了越來越多科研機構和科技企業的興趣,也相繼出現了很多令人矚目的技術成果,如馬斯克腦機接口公司 Neuralink 先後在豬、猴子等體內植入腦機接口設備、史丹佛大學腦機接口設備讓癱瘓患者實現「意念寫字」等。這些成果都為癱瘓患者重新與世界進行互動提供了新的希望。

一直以來,Facebook 也致力於腦機接口的研究,並專注於研發頭戴式腦機接口設備。然而,Facebook 近日發表部落格稱其將停止研發頭戴式腦機接口技術,轉而專注一種不同的神經接口方法,即由肌電圖驅動的腕帶式設備。究其原因,該公司認為手腕式設備能在短期內進入市場。不過,Facebook 仍然相信頭戴式腦機接口技術的長期前景。

與此同時,Facebook 也宣佈其與加州大學舊金山分校(UCSF)Chang Lab 的腦機接口項目 Project Steno 取得了最新的進展。他們啟動了一項名為「手臂和聲音的腦機接口修復」(Brain-Computer Interface Restoration of Arm and Voice)新研究,並將一位 36 歲、癱瘓在床且失語多年的男子作為受試者。研究者在這位受試者的大腦中控制聲道的區域植入一個電極陣列,當他試圖回答螢幕上顯示的問題時,機器學習演算法自動識別出他腦中出現的單詞,轉換為實時的句子。

據了解,這是首次成功地從癱瘓失語患者言語皮質的大腦活動中直接解碼完整句子

相關論文研究《Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria》發表在了《新英格蘭醫學雜誌》上。

論文地址:https://www.nejm.org/doi/full/10.1056/NEJMoa2027540?query=featured_home

從大腦活動中直接解碼完整句子

受試者在 16 年前因中風癱瘓在床並且失語多年,他通常使用頭部運動控制輔助計算機打字與他人交流。

受試者。

在實驗中,研究者在其大腦的感覺運動皮層(sensorimotor cortex)區域植入一個硬膜下、高密度的多電極陣列,用於控制受試者的言語。

實驗中植入的多電極陣列

實驗中植入的多電極陣列。

研究者記錄了 22 個小時的皮質活動,同時受試者試圖從包含 50 個單詞的詞彙集中(其中包括水、家庭、好等日常生活中必不可少的詞彙)說出單個單詞。在實現受試者說出單詞的過程中,研究者使用深度學習演算法來創建相應的計算模型,用於從記錄的皮質活動的模式中檢測和分類單詞

除了這些計算模型之外,他們還使用了一個自然語言模型,該模型在給定序列中前一個單詞的情況下生成下一個單詞的概率,以在受試者試圖說出這些單詞時解碼完整的句子。如下圖所示,研究者用到了神經信號處理、言語生成、單詞分類和語言建模等技術。

原理示意圖如下所示,可以看到從受試者試圖回答(圖 A)到皮質信號(圖 B)、神經信號處理(圖 C)、言語生成(圖 D)、單詞分類(圖 E)、語言建模(圖 F)和最後的解碼響應(圖 G),它們是一個完整的過程。

為了測試這一方法是否有效,研究者會通過螢幕顯示問題,比如「你今天過得怎麼樣」、「你想喝點水嗎」等,受試者相應地給出回答:「我很好」、「不,我不想喝水」等。

實驗結果顯示,這個腦機接口系統平均每分鐘可以實時解碼 15.2 個單詞,平均準確率為 74%。並且,每分鐘最多可以解碼 18 個單詞,準確率最高可以達到 93%。在事後分析中,研究者檢測到受試者試圖生成單個單詞的概率為 98%,並且在 81 周的研究期間,他們使用穩定皮質信號分類單詞的準確率達到了 47.1% 。

腦機接口技術仍需改進

在 2019、2020 年,Chang Lab 就發表過早期的 Project Steno 項目研究,該項目表明電極陣列和預測模型可以創建相對快速和複雜的思維類型系統。以前的打字方法都涉及用大腦植入物在螢幕上觸動光標,儘管其他一些研究人員也嘗試過例如視覺化手寫字型這樣的方法,但都不理想。該實驗室的早期研究涉及解碼說話人的大腦活動,而最新的研究表明,即使受試者不 (或不能) 大聲說話,它也能起作用。

此次研究中未使用的 Facebook Reality Labs 耳機。

UCSF 神經外科主任 Eddie Chang 表示,下一步是改進該系統,並讓更多的人進行測試。「在硬體方面,我們需要構建具有更高資料解析度的系統,以更快地記錄更多來自大腦的資訊。在演算法方面,我們需要有能夠將大腦中這些非常複雜的信號轉換成語言系統的能力,不是文字,而是真正的、可聽得到的口語。最重要的是要大大擴大詞彙量。」

這項研究對於那些沒有可用鍵盤輸入和其他現有接口的人來說很有價值,即使是有限的詞彙量,也能幫助他們進行更好的交流。但這與 Facebook 在 2017 年設定的宏偉目標相去甚遠,該目標是研究一種非侵入性 BCI 系統,可以讓人每分鐘打 100 個字,這個速度相當於人在傳統鍵盤的打字速度。UCSF 最近的研究涉及植入技術,但還未到達這個數字(每分鐘打 100 個字),甚至是大多數人按手機鍵盤的速度也沒有到達。

此後,Facebook 在 2019 年收購了肌電圖 EMG 腕帶公司 CTRL-Labs,為其提供了 AR 和 VR 的替代控制選項。「我們仍處於釋放腕部肌電圖 (EMG) 潛力的早期階段,但我們相信它將成為 AR 眼鏡的核心輸入,對 BCI 的了解將幫助我們更快地實現這一目標,」Facebook Reality Labs 研究主管 Sean Keller 說。Facebook 不會完全放棄頭戴式大腦接口系統,而是計劃將該軟體技術開源,並與外部研究人員共享硬體原型,同時停止研發頭戴式腦機接口技術,轉而專注一種不同的神經接口方法。

參考連結:

https://www.sohu.com/a/477800341_114835

https://www.theverge.com/2021/7/14/22577095/facebook-bci-ucsf-chang-lab-brain-typing-research-update-project-steno-ar-vr

https://tech.fb.com/bci-milestone-new-research-from-ucsf-with-support-from-facebook-shows-the-potential-of-brain-computer-interfaces-for-restoring-speech-communication/

ACL 2021 論文分享會

為了給國內 NLP 社區的從業人員搭建一個自由輕鬆的學術交流平臺,機器之心計劃於 7 月 31 日組織「ACL 2021 論文分享會」。

ACL 論文分享會設置 Keynote、 論文分享 、圓桌論壇、 Poster與企業展臺環節 。Keynote 嘉賓包括字節跳動人工智慧實驗室總監李航華為諾亞方舟實驗室語音語義首席科學家劉群創新工場首席科學家周明將作為圓桌論壇嘉賓參與此次活動。

歡迎論文作者、AI 社區從業者們點選「閱讀原文」報名參與。

相關文章

我用手機喇叭吹滅了一根蠟燭

我用手機喇叭吹滅了一根蠟燭

最近天氣實在是熱得要命,出門在外空調太大拿不動,風扇小巧但要佔另一隻手,走在外頭又變成了一種酷刑。 但最近,狂丸在網上看到有人用手機喇叭成功...

從此,Google 再無 Brain

從此,Google 再無 Brain

世界上最好的 AI Lab,是怎麼走向失敗的? 作者 | Founder Park AI Labs 正在捲土重來,產業界比以往幾十年都更加重...

蘋果的神秘計劃,比 iPhone 12 還強

蘋果的神秘計劃,比 iPhone 12 還強

一直以來,機哥經常聽到網上流傳出,蘋果正在開展某某神祕計劃。 搞得人家心癢癢,很想知道蘋果又躲在“車庫”裡,搗騰出什麼新鮮玩意。 比如說,被...