這個腦機接口可以讓語言障礙患者以每分鐘 62 個單詞的速度進行交流 —— 速度達到了之前 SOAT 腦機接口的 3.4 倍，並開始接近自然對話的速度。
在眾多研究腦機接口（brain-computer interface，BCI）的科研團隊中，史丹佛大學霍華德・休斯醫學研究所研究科學家 Frank Willett 所在的團隊絕對是值得關注的一個。
2021 年 5 月份，他們實現了一項重要突破，首次破譯了「與手寫筆跡相關」的大腦活動，可以讓癱瘓患者不用手也能快速打字。
具體來講，他們開發了一套皮質內腦機接口（intracortical BCI）系統，這套系統可以從運動皮層的神經活動中解碼癱瘓患者想象中的手寫動作，並利用循環神經網路（RNN）解碼方法將這些手寫動作實時轉換為文字。這項研究登上了當時的 Nature 封面（參見：《用意念「手寫」字母，準確率高達 99%，史丹佛腦機接口新突破登上 Nature 封面》）。
時隔一年多，Frank Willett 又宣佈了新的研究進展。這次，他們展示了一種可以將與語音相關的神經活動轉化為文字的腦機接口（語音 BCI），這也是第一個從皮質內微電極陣列記錄脈衝活動的語音到文字腦機接口，可以幫助因患有中風、漸凍症（ALS）等疾病而無法說出清晰語句的人們。
在下面這個演示視訊中，受試者試圖說出螢幕上方顯示的句子，但語言障礙的存在使她無法說出容易理解的語言。Frank Willett 等人研發的新型腦機接口能破譯她的神經活動，並將其轉換成她想要傳達的資訊，如視訊下方所示。
下圖展示了這套系統使用的解碼演算法：首先，神經活動在每個電極上被暫時合併、平滑化。然後，一個循環神經網路（RNN）將此神經活動的時間序列轉換為每個音素的概率（加上詞間 「沉默」 token 和與聯結時間分類訓練程序相關的 「空白」 token 的概率）。此處的 RNN 是使用 TensorFlow 2 訓練的 5 層門控循環單元架構。最後，將音素概率與大詞彙量語言模型（在 Kaldi 中實現的自定義 125,000 詞三元組模型）相結合，以解碼最可能的句子。
技術部分，Frank Willett 還補充說，他們並沒有在方案中採用「下一個單詞預測（next word prediction）」，語言模型只負責輸出迄今為止所有 RNN 輸出的最佳解釋。
實驗結果表明，這個腦機接口可以讓語言障礙患者以每分鐘 62 個單詞的速度進行交流 —— 速度達到了之前 SOAT BCI 的 3.4 倍，並開始接近自然對話的速度（每分鐘 160 個單詞）。
此外，他們的結果準確率也刷新了 SOTA：在 50 個單詞的詞彙量上實現了 9.1% 的單詞錯誤率（之前的 SOTA 語音 BCI 錯誤率是這一數字的 2.7 倍)，在 12.5 萬個單詞的詞彙量上實現了 23.8% 的單詞錯誤率（第一次成功演示了大詞彙量解碼）。
這些結果表明，使用皮質內語音腦機接口來恢復語言障礙患者的快速溝通是可行的。
作者提到，在文章發表在同行評議期刊上之後，他們將公佈這項研究的程式碼和資料。
不過，作者也表示，他們的演示還只是一個概念證明：證明從皮質內記錄中解碼試圖說話的動作是一種很有前途的方法。但它還不是一個完整的、臨床上可行的系統，仍有很多工作要做，比如減少訓練解碼器所需的時間，並適應幾天內發生的神經活動變化，而無需使用者暫停和重新校準 BCI。
也許最重要的是，24% 的單詞錯誤率對於日常使用來說可能還不夠低。但他們的結果顯示出進一步降低單詞錯誤率的希望。
首先，單詞錯誤率隨著通道數量的添加而降低，這表明記錄更多通道的皮質內技術應該能夠降低單詞錯誤率。
其次，解碼演算法仍有最佳化空間；隨著語言模型的進一步改進和日內非平穩性（within-day nonstationarities）影響的降低，他們能夠在離線分析中將單詞錯誤率降低到 11.8%。
最後，他們發現腹側前運動皮層即使在很小的區域（3.2 x 3.2 毫米）內也包含豐富、混合的語音發音器表示，並且即使在癱瘓多年後，音素髮音的細節仍然忠實地呈現在一個無法再清楚地說話的人身上。
這些發現都為系統的後續迭代提供了希望。
更多研究細節請參見原論文：
論文連結：https://www.biorxiv.org/content/10.1101/2023.01.21.524489v1
參考連結：https://twitter.com/WillettNeuro/status/1617245600898248704
