內容一覽：多巴胺是神經系統中重要的神經遞質，與運動、記憶和獎賞系統息息相關，它是快樂的信使，當我們看到令人愉悅的東西時，體內就會分泌多巴胺，誘導我們向它追尋。然而，多巴胺的準確定量分析目前仍難以實現。藉助機器學習，美國加利福尼亞大學柏克萊分校 (UCB) 的 Markita P. Landry 研究組對多巴胺的釋放量和釋放位置，進行了量化分析，讓我們距離快樂密碼更進一步。
關鍵詞：機器學習 強化學習 多巴胺
作者｜雪菜
編輯｜三羊
我們時常會被問到這樣一個問題「你快樂嗎」。在對自己最近的生活狀況進行回顧之後，我們也許可以做出一個相對令人滿意的回答。然而，要回答有關快樂的另一個問題「你有多快樂」，就沒那麼容易了。
我們可以對快樂進行一個相對準確的是非判斷，卻很難對快樂進行一個量化的分析，只能用一些程度副詞進行大致的評估。
但從生理學角度上看，快樂的程度可以用人體內的激素水平進行判斷，其中一種重要激素就是多巴胺。
圖 1：讓人感到愉快的四種激素
從左至右依次是多巴胺、內啡肽、催產素和血清素
多巴胺是神經系統中一種重要的神經遞質，負責在細胞之間傳遞訊息。多巴胺是快樂的信使，當我們看到令人愉悅的事物時，大腦便會釋放多巴胺，促使我們去追尋快樂的事物。因此，多巴胺能神經元 (dopaminergic neuron) 控制的一條神經環路也被稱為獎賞迴路，這一回路與學習、記憶、成癮行為息息相關。
雖然人們對多巴胺的化學結構，分佈區域及生理作用已經有了比較清晰的認識，但對多巴胺在細胞層面及分子層面的作用機制還不甚了解，更無法對多巴胺的在神經環路中的作用進行準確的量化分析。
「量化」快樂：AI 破譯多巴胺密碼
1997 年，Schultz 等人提出了獎賞迴路的可能運行機制——獎賞預測誤差假說。這一假說認為，多巴胺能神經元會根據預期獎賞與實際獎賞的誤差，調整多巴胺的釋放量，進而調整人們追尋某項事物的動機。
2020 年，DeepMind 在大腦中發現不同的神經元對於同一刺激有著不同的獎勵預期。也就是說，在大腦當中存在著相對樂觀的神經元和比較悲觀的神經元。面對同樣的半杯水，樂觀的神經元會認為，還有半杯水，我們前途光明。而悲觀的神經元則會覺得，只剩半杯水了，我們要渴死了。而且進一步研究表明，神經元對獎勵預期的分佈與實際獎勵的分佈基本一致。
圖 2：神經元的預期獎勵（藍色）和實際獎勵（灰色）
在 AI 的幫助下，對於獎賞迴路神經機制的解析正在加速推進。
2021 年，美國範德堡大學 (Vandy) 的 Erin S. Calipar 研究組通過監測生物體內多巴胺含量的變化，利用支持向量機 (SVM) 實現了對生物體行為的預測，同時基於實驗結果，研究組提出了多巴胺調控生理活動的新模型。
近期，AI 對於多巴胺的解讀更上一層樓。藉助機器學習， 美國加利福尼亞大學柏克萊分校 (UCB) 的 Markita P. Landry 研究組，對多巴胺的釋放量和釋放腦區進行了量化分析，為神經成像和神經環路的研究提供了新思路。
相關研究已發表在《ACS Chemical Neuroscience》上，標題為「 Identifying Neural Signatures of Dopamine Signaling with Machine Learning」。
圖 3：該研究成果已發表在《ACS Chemical Neuroscience》
論文地址：https://pubs.acs.org/doi/full/10.1021/acschemneuro.3c00001
該研究主要解決了兩個問題：
1、分辨不同刺激下的多巴胺釋放量（0.1 mA 及 0.3 mA 電流刺激）；
2、判斷多巴胺的釋放腦區（背外側紋狀體 DLS 及背內側紋狀體 DMS）。
首先，他們用近紅外兒茶酚胺奈米傳感器 (nIRCat，near infrared catecholamine nanosensors) 對多巴胺進行標記。標記後，在紅外顯微鏡下，多巴胺會發出熒光，熒光強度與多巴胺濃度正相關。對大腦施加電流刺激後，大腦會釋放出多巴胺，隨後將其回收。這一過程會在紅外顯微鏡下留下一條熒光強度曲線，對熒光曲線進行量化處理，可以得到 8 個統計特徵，如平均熒光強度，多巴胺釋放位點數 (ROI, regions of interests) 等，還有 2 個時間特徵，包括熒光強度高於及低於 2 倍標準差的時長。這些特徵值可用於機器學習模型的訓練。
圖 4：nIRCat 對多巴胺的標記結果
A：電流刺激前後觀察到的熒光結果
B：電流刺激前後的熒光強度曲線圖
研究者們用支持向量機 (SVM) 和隨機森林模型 (RF) 兩個模型分別進行了訓練和分析。
SVM 模型可以基於複雜非線性的特徵將結果分為兩類，並將訓練得到的邊界條件運用到測試資料中。RF 模型由多個決策樹組成，每個決策樹做出的決策最終被整理在一起，得到最終的輸出結果。
RF 模型可以對結果中的變數進行全面解讀，保證準確的預測，通過隨機選擇資料和特徵，降低了決策樹模型對於原始訓練資料的敏感性，同時提高了決策樹之間的差異性。
兩種模型所需的訓練資料量較小，而且可以將結果分別兩類，與本研究的目的相匹配。
圖 5：機器學習的工作流
Data Set A 及 Data Set B：分別代表不同電流刺激或是不同腦區的多巴胺釋放濃度
兩種模型訓練完畢後，將不同電流刺激下得到的熒光強度曲線作為輸入量，模型就可以對受到的刺激強度和多巴胺釋放的腦區進行判斷。
圖 6：機器學習對不同刺激強度的判斷結果
圖 A：對 4 周齡小鼠的判斷結果
圖 B：對 8.5 周齡小鼠的判斷結果
圖 C：對 12 周齡小鼠的判斷結果
結果中可以看到，隨著小鼠周齡的增加，兩種模型對於刺激強度的判斷準確率不斷增加。這主要是因為，隨著小鼠周齡增加，其體內激素水平逐漸穩定，易於預測。在 12 周齡的小鼠上，RF 模型對刺激強度的判斷準確率可達0.832。
圖 7：0.3 mA 電流刺激下，機器學習對多巴胺釋放腦區的判斷準確率（左）
以及不同特徵對判斷準確率的重要性（右）
A&B：對 4 周齡小鼠的判斷結果
C&D：對 8.5 周齡小鼠的判斷結果
E&F：對 12 周齡小鼠的判斷結果
圖中可以看出，與刺激強度的結果類似，機器學習在 12 周齡的小鼠上有著最高的判斷準確率，最高可達 0.708。同時，不同的輸入特徵也會對模型的判斷準確率產生影響。不同特徵參數當中，ROI 對於模型的判斷準確率最為重要。
通過機器學習，研究者打破了傳統資料分析的禁錮，選用了大量特徵變數，並通過傳統資料分析所忽視的特徵 ROI 提高了模型的判斷準確率。此外，這一模型還可以推廣利用於多巴胺之外的神經環路，為神經成像與神經機制的研究提供新思路。
多巴胺：快樂與失落的雙刃劍
多巴胺能為我們帶來愉悅的感受，並促使我們追尋快樂的事物。無論是可口的食物，絢麗的風景，適當的運動還是積極的社交，都有助於多巴胺的釋放，從而幫助我們保持好心情。正因為此，多巴胺也可以作為商家的一種營銷手段。從包裝精美的「多巴胺餐飲」到席捲社媒的「多巴胺穿搭」，亮麗的色彩不僅點綴了人們的生活，也點亮了人們的心情。
圖 8：UP 主「康康和爺爺」的多巴胺穿搭
然而，快樂之後，體內的多巴胺水平會暫時跌落至正常水平以下，反而會帶來沮喪感。多巴胺長期頻繁分泌後，人體對快樂的感知會變得遲鈍，使人難以體會到生活中點點滴滴的美好，更容易變得失落。因此，也有人提出了「多巴胺戒斷」的理念，通過調整作息，控制娛樂時間，遠離社交媒體等方式，控制體內多巴胺的釋放，從而回歸生活，體會到真正的快樂。
無論是「多巴胺穿搭」還是「多巴胺戒斷」，大家都在追尋生活中的美好，使自己快樂生活。兩種理論雖然有一定的生理學依據，但實際效果仍有待研究。在 AI 的幫助下，科研工作者們也在不斷地挖掘神經活動背後的機制，探究多巴胺的奧秘。相信有一天，當被問及「你有多快樂」的時候，人們能夠毫不猶豫地回答說，100%。
參考文章：
[1]https://www.nature.com/articles/s41586-019-1924-6#additional-information
[2]https://www.sciencedirect.com/science/article/pii/S096098222101188X
[3]https://www.science.org/doi/10.1126/science.275.5306.1593
[4]https://prezi.com/gxadjg6gz7li/nicotine-and-the-brain-reward-system/
[5]https://youtu.be/v6VJ2RO66Ag
