In-Context Learning（ICL）在大型預訓練語言模型上取得了巨大的成功，但其工作機制仍然是一個懸而未決的問題。本文中，來自北大、清華、微軟的研究者將 ICL 理解為一種隱式微調，並提供了經驗性證據來證明 ICL 和顯式微調在多個層面上表現相似。
繼 BERT 之後，研究者們注意到了大規模預訓練模型的潛力，不同的預訓練任務、模型架構、訓練策略等被提出。但 BERT 類模型通常存在兩大缺點：一是過分依賴有標籤資料；二是存在過擬合現象。
具體而言，現在的語言模型都傾向於兩段式框架，即預訓練 + 下游任務微調，但是在針對下游任務的微調過程中又需要大量的樣本，否則效果很差，然而標註資料的成本高昂。還有就是標註資料有限，模型只能擬合訓練資料分佈，但資料較少的話容易造成過擬合，致使模型的泛化能力下降。
作為大模型的開路先鋒，大型預訓練語言模型，特別是 GPT-3 已經顯示出令人驚訝的 ICL（In-Context Learning）能力。與微調需要額外的參數更新不同，ICL 只需要一些演示「輸入 – 標籤」對，模型就可以預測標籤甚至是沒見過的輸入標籤。在許多下游任務中，一個大型 GPT 模型可以獲得相當好的性能，甚至超過了一些經過監督微調的小型模型。
為何 ICL 的表現如此優秀，在來自 OpenAI 的一篇長達 70 多頁的論文《Language Models are Few-Shot Learners》中，他們對 ICL 進行了探索，其目的是讓 GPT-3 使用更少的領域資料、且不經過微調去解決問題。
如下圖所示，ICL 包含三種分類：Few-shot learning，允許輸入數條示例和一則任務說明；One-shot learning，只允許輸入一條示例和一則任務說明；Zero-shot learning，不允許輸入任何示例，只允許輸入一則任務說明。結果顯示 ICL 不需要進行反向傳播，僅需要把少量標註樣本放在輸入文字的上下文中即可誘導 GPT-3 輸出答案。
GPT-3 in-context learning
實驗證明在 Few-shot 下 GPT-3 有很好的表現：
為什麼 GPT 可以在 In-Context 中學習？
儘管 ICL 在性能上取得了巨大的成功，但其工作機制仍然是一個有待研究的開放性問題。為了更好地理解 ICL 是如何工作的，我們接下來介紹一篇來自北大、清華等機構的研究是如何解釋的。
- 論文地址：https://arxiv.org/pdf/2212.10559v2.pdf
- 項目地址：https://github.com/microsoft/LMOps
用網友的話來總結，即：「這項工作表明，GPT 自然地學會了使用內部最佳化來執行某些運行。該研究同時提供了經驗性證據來證明 In-Context Learning 和顯式微調在多個層面上表現相似。」
為了更好地理解 ICL 是如何工作的，該研究將語言模型解釋為元最佳化器，ICL 解釋為一個元最佳化過程，並將 ICL 理解為一種隱式微調，試圖在基於 GPT 的 ICL 和微調之間建立聯繫。從理論上講，該研究發現 Transformer 的注意力具有基於梯度下降的對偶最佳化形式。
在此基礎上，該研究提出了一個新的視角來解釋 ICL：GPT 首先根據演示示例生成元梯度，然後將這些元梯度應用於原始 GPT 以構建 ICL 模型。
如圖 1 所示，ICL 和顯式微調共享基於梯度下降的對偶最佳化形式。唯一的區別是 ICL 通過前向計算產生元梯度，而微調通過反向傳播計算梯度。因此，將 ICL 理解為某種隱式微調是合理的。
ICR 執行隱式微調
該研究首先定性分析了鬆弛線性注意力（relaxed linear attention）形式下的 Transformer 注意力，以找出它與基於梯度下降最佳化之間的對偶形式。然後，該研究將 ICL 與顯式微調進行比較，並在這兩種最佳化形式之間建立聯繫。基於這些理論發現，他們建議將 ICL 理解為一種隱式微調。
首先該研究將 Transforme 注意力看作元最佳化，將 ICL 解釋為一個元最佳化過程：（1）一個基於 Transformer 的預訓練語言模型作為元最佳化器；（2）通過前向計算根據實例生成元梯度；（3）通過注意力，將元梯度應用於原始語言模型，構建 ICL。
接下來是 ICL 與微調的比較。通過一系列設置後，該研究發現 ICL 與微調有許多共同特性。他們從以下四個方面來組織這些共性：兩者都執行梯度下降；相同的訓練資訊；訓練例子的因果順序相同；都是圍繞注意力展開。
考慮到 ICL 和微調之間的所有這些共同屬性，該研究認為將 ICL 理解為一種隱式微調是合理的。在本文的其餘部分，該研究從多個方面根據經驗比較 ICL 和微調，以提供支持這種理解的定量結果。
實驗結果
該研究進行了一系列實驗來全面比較 ICL 的行為和基於實際任務的顯式微調，在六個分類任務上，他們比較了預訓練 GPT 在 ICL 和微調設置中關於預測、注意力輸出和注意力得分的情況。正如預期的那樣，ICL 在預測、表示和注意力級別等方面都與顯式微調高度相似。這些結果有力地證明了這一合理性：ICL 執行隱式微調。
此外，受元最佳化理解的啟發，該研究通過類比基於動量的梯度下降演算法設計了一種基於動量的注意力。它始終優於 vanilla attention 的性能。
表 2 顯示了在六個分類資料集上 ZSL（ Zero-Shot Learning ）、ICL 和微調（FT）設置中的驗證精度。與 ZSL 相比，ICL 和微調都取得了相當大的改進，這意味著所做的最佳化都有助於這些下游任務。此外，該研究發現 ICL 在 Few-shot 場景中比微調更好。
表 3 中顯示了 6 個資料集上 2 個 GPT 模型的 Rec2FTP 分數。平均而言，ICL 可以從 ZSL 中正確地預測 87.64% 的微調能夠糾正的示例。這些結果表明在預測層面，ICL 可以覆蓋大多數正確的微調行為。
表 3 還顯示了 6 個資料集上 2 個 GPT 模型的示例與層的平均 SimAOU 分數。為了比較，該研究還提供了一個基線指標（Random SimAOU），用來計算 ICL 更新和隨機生成更新之間的相似性。從表中可以看出，ICL 更新更類似於微調更新而非隨機更新，這意味著在表示層面上，ICL 傾向於按照微調改變的方向來改變注意力結果。
最後，表 3 還顯示了 6 個資料集上 2 個 GPT 模型的示例與層的平均 SimAM 分數。作為 SimAM 的基線指標，ZSL SimAM 計算 ICL 注意力權重和 ZSL 注意力權重之間的相似性。通過比較這兩個指標，該研究發現，與 ZSL 相比，ICL 更傾向於生成類似於微調的注意力權重。同樣在注意力行為層面，該研究證明 ICL 的行為類似於微調。
為了更徹底地探究 ICL 和微調之間的相似性，該研究比較了不同層的 SimAOU 和 SimAM 分數。通過從每個資料集中隨機抽取 50 個驗證示例，分別繪製瞭如下圖 2 和圖 3 所示的 SimAOU 和 SimAM 箱形圖。
從圖中可以發現，SimAOU 和 SimAM 在較低層出現波動，並且往往在較高層更加穩定。這種現象說明了 ICL 進行的元最佳化具有前向累積效應，隨著累積的增加，ICL 的行為更類似於較高層的微調。
總結
總結而言，本文旨在解釋基於 GPT 的 ICL 工作機制。從理論上講，該研究找出了 ICL 的對偶形式，並建議將 ICL 理解為元最佳化過程。此外，該研究在 ICL 和特定微調設置之間建立了聯繫，發現將 ICL 視為一種隱式微調是合理的。為了支持對 ICL 執行隱式微調的理解，該研究綜合比較了 ICL 和基於實際任務的微調的行為。結果證明，ICL 類似於顯式微調。
此外，受元最佳化的啟發，該研究設計了一種基於動量的注意力，以實現一致的性能改進。作者希望該研究能夠幫助更多的人深入了解 ICL 應用和模型設計。
參考連結：
https://www.zhihu.com/question/398114261
