Nature:科學家在類腦晶片上實現類似LSTM的功能,能效高1000倍

機器之心編輯部

格拉茨技術大學的電腦科學家在 Nature 子刊上發表的一篇論文表明,他們找到了一種在神經形態晶片上模擬 LSTM 的方案,可以讓類腦神經形態晶片上的 AI 演算法能效提高約 1000 倍。

隨著智慧手機的普及,手機遊戲也越來越受歡迎。但視訊遊戲等程序會大量耗電耗能。與 GPU 等標準硬體相比,基於 spike 的神經形態晶片有望實現更節能的深度神經網路(DNN)。但這需要我們理解如何在基於 event 的稀疏觸發機制(sparse firing regime)中模擬 DNN,否則神經形態晶片的節能優勢就會喪失。

比如說,解決序列處理任務的 DNN 通常使用長 – 短期記憶單元(LSTM),這種單元很難模擬。現在有一項研究模擬了生物神經元,通過放慢每個脈衝後的超極化後電位(AHP)電流,提供了一種有效的解決方案。AHP 電流可以很容易地在支持多節段(multi-compartment)神經元模型的神經形態硬體(例如英特爾的 Loihi 晶片)上實現類似於 LSTM 的功能。

濾波器逼近理論能夠解釋為什麼 AHP 神經元可以模擬長短期記憶網路的功能。這產生了一種高能效的時間序列分類方法,讓類腦神經形態晶片上的 AI 演算法能效提高約 1000 倍。此外,它為高效執行大型 DNN 提供了基礎,以解決有關自然語言處理的問題。研究論文近期發表在《自然 · 機器智慧》期刊上。

論文地址:https://www.nature.com/articles/s42256-022-00480-w

曼徹斯特大學的電腦科學家 Steve Furber 評價這項研究稱:「這是一項令人印象深刻的工作,可能給複雜 AI 演算法(例如語言翻譯、自動駕駛)的性能帶來巨大飛躍。」

研究動機

AI 程序通常擅長在資料集中找到特定的模式。例如,在圖像識別中,AI 演算法首先會找到圖像清晰的邊緣,然後在拼湊出整體圖像時記住這些邊緣以及圖像的所有後續部分。

這種網路的一個共同組成部分是一個被稱為 LSTM 的軟體單元,它在事物隨時間變化時保持一個元素(element)的記憶。例如,圖像中的垂直邊緣需要保留在記憶體中,因為軟體會確定它是代表數字「4」的一部分還是汽車的門。典型的 AI 系統必須同時跟蹤數百個 LSTM 元素。

當前在傳統計算機晶片上運行的 LSTM 網路非常準確,但是非常耗電。為了處理資訊比特,它們必須首先檢索儲存資料的各個比特,對其進行操作,然後再將它們送回儲存,並一遍又一遍地重複這個過程。

英特爾、IBM 等晶片製造商一直在嘗試一種新的晶片設計方式——神經形態晶片。這種晶片處理資訊的方式就像大腦中的神經元網路,其中每個神經元接收來自網路中其他神經元的輸入,並在總輸入超過閾值時觸發。

在這種新晶片中,一些相當於神經元的硬體被連接在一起形成網路。AI 程序也依賴於人造神經網路,但在傳統計算機中,這些神經元完全由軟體定義,需要來回訪問儲存。

這種神經形態晶片同時處理儲存和計算,因此更加節能。但要利用這種架構,電腦科學家需要在新型晶片架構上重新研究如何運行 LSTM 等網路。

這正是來自格拉茨技術大學的電腦科學家 Wolfgang Maass 等研究者的工作重點。他和他的同事試圖復刻人腦中的一種記憶儲存機制,這種機制由生物神經網路執行,稱為超極化後電位 (AHP) 電流。

AHP 神經元放電模式

大腦中的神經元在觸發後通常會返回到其基線水平並保持靜止,直到它再次接收到超過其閾值的輸入而被觸發。但在 AHP 網路中,神經元放電一次後,會暫時禁止再次放電,這有助於神經元網路在消耗更少能量的同時保留資訊。

Maass 和他的同事將 AHP 神經元放電模式集成到他們的神經形態神經網路軟體中,並通過兩個標準的 AI 測試運行他們的網路。第一個挑戰是讓軟體在分割成數百個獨立像素的圖像中識別手寫數字「3」。在這個測試中,他們發現,當在英特爾的神經形態 Loihi 晶片上運行時,他們的演算法比在傳統晶片上運行的基於 LSTM 的圖像識別演算法的能效高 1000 倍。

在第二項測試中,研究人員給了該網路一個 20 個句子組成的故事,測試它對故事含義的理解。結果,該神經形態裝置的效率是傳統計算機處理器演算法的 16 倍。

Maass 指出,第二次測試是在英特爾第一代 Loihi 晶片的 22 個系列上進行的,這些晶片在相互通訊時消耗相對較大的能量。該公司已經推出了第二代 Loihi 晶片,每一個都有更多的神經元,他說這將減少 chip-to-chip 通訊需求,從而使軟體運行更高效。

目前,神經形態晶片的商業化案例還是鳳毛麟角。因此,這項研究的大規模應用可能不會很快出現。但是艾倫研究所的計算神經科學家 Anton Arkhipov 說,先進的 AI 演算法(如 Maass 所展示的演算法)可以幫助這些晶片獲得商業立足點。「至少,這將加速 AI 系統的構建。」

反過來,這又將加速新穎的 AI 應用的出現,如一個更加智慧的 AI 數字助理,這個助理不僅可以提示照片中某個人物的名字,還能幫你回憶起你是在哪裡認識的這個人,以及你們之間發生了什麼故事。

Maass 說,通過整合大腦中的其他神經元放電模式,未來的神經形態裝置甚至有一天可以開始探索眾多神經元放電模式如何共同產生意識。

原文連結:https://www.science.org/content/article/microchips-mimic-human-brain-could-make-ai-far-more-energy-efficient

相關文章

LSTM還沒「死」!

LSTM還沒「死」!

選自towardsdatascience 作者:Nikos Kafritsas 機器之心編譯 編輯:杜偉、陳萍 如果說「LSTM」已死,它為...

深度學習的可解釋性

深度學習的可解釋性

一、深度學習的可解釋性研究概述 隨著深度學習模型在人們日常生活中的許多場景下扮演著越來越重要的角色,模型的「可解釋性」成為了決定使用者是否能...

人工智慧在衛星通訊中的應用

人工智慧在衛星通訊中的應用

在網路未覆蓋和覆蓋不足地區,衛星通訊可提供連續、泛在和擴展連接服務。然而,由於衛星網路的資源管理、網路控制、網路安全、頻譜管理和能量使用比地...