LLMs 为什么老是灾难性淡忘？本来是功能激活在搞怪。

最近来自中国科学技巧大学、香港城市大学和浙江大学的缓助询查团队，通过对多个说话模子、任务序列和评估办法的系统分析，终于破解了 LLMs 的灾难性淡忘之谜——

淡忘作为具有高度的模子依赖性，而导致淡忘发生的践诺却是功能激活的变化。

对此，团队基于函数向量构建淡忘分析框架，描述和分析 LLM 里面功能的变化（其中功能暗示模子对某具体任务的责罚才气，如求反义词、乘法想象），进一步确认了淡忘并非简便地覆盖已有函数，而是模子激活了带偏差的新功能。

询查东说念主员还想象了一种函数向量领导的磨真金不怕火作为FVG，在微调经由中不错有用保留并对皆函数向量，并在多个合手续学习数据集上显耀保护了模子的通用学习才气和高下文体习才气。

当今联系询查论文已被 ICLR2025 oral 禁受，代码也已在 GitHub 上公开。

接下来，咱们通盘来望望详备细节。

大说话模子的"顾虑窘境"

灾难性淡忘是指模子在学习新任务时，之前学到的常识被新任务的学习经由所覆盖或干扰，导致模子在旧任务上的性能大幅下落。

举例，一个通用说话模子在学习新增的用户指示责罚后，面对数学推理才气的显耀下落。

这种淡忘征象不仅影响模子的泛化才气，也使得模子在践诺运用中难以适宜动态变化的任务需求。

尽管说话模子的灾难性淡忘问题受到了芜俚柔软，但现时的询查多聚拢于通过单一磨真金不怕火序列分析淡忘征象，忽略了不同任务组合对模子进展的复杂影响，同期也阑珊对淡忘里面机制的久了想法。

为此，作家领先通过实证询查磋商了大说话模子在合手续指示微调（模子在一系列指示微调任务上合手续学习）中的淡忘征象，要点磨练任务类型、磨真金不怕火阶段以及不同模子之间的各别。

作家使用SuperNI数据集 [ 1 ] 构建六种任务序列，覆盖生成任务、分类任务以及二者羼杂任务，何况柔软三个办法量化模子对不同才气的淡忘进程：

GP（General Performance）：通用任务的零样人道能下落。

IP（In-context Performance）：通用任务的高下文体习性能下落。

FP（Final Performance）：磨真金不怕火任务的性能性能下落。

得到以下论断：

不管是通用任务、新任务，也曾高下文才气，都出现不同进程的淡忘。

任务类型影响淡忘进程：生成任务序列导致的淡忘显耀高于分类任务。

磨真金不怕火阶段淡忘可逆：磨真金不怕火初期可能出现性能下落，但后期有走漏规复趋势，标明模子可能徐徐规复部分淡忘才气。

模子各别显耀：淡忘征象受模子结构与预磨真金不怕火数据影响。

既然模子在不同任务和不同模子中呈现出不同的淡忘征象，导致淡忘发生的践诺征象究竟是什么呢？

揭示模子里面函数的淡忘践诺函数向量

作家为了阐扬模子发生淡忘时的里面机理，引入了函数向量（Function Vectors, FVs） [ 2 ] 这一器具。

函数向量是一种定位和表征 LLM 里面责罚具体任务才气的作为，其遴选activation patching作为对高下文体习经由中的隐状况进行干豫，识别在职务践诺中启事果作用的详确力头聚拢。

函数向量通过在这些详确力头的平均激活值上乞降得到。

具体而言，关于一个给定任务的数据集，函数向量的提真金不怕火分为两个设施：

    1、因果详确力头识别

领先对模子的详确力头进行干豫，使用标签打乱的教导（counterfactual prompt）与原始输入组成反事实输入，通常这会导致揣测作假。

然后将反事实输入在某详确力头的暗示替换为真正任务的平均激活，并想象该替换对揣测后果的因果影响：

其中，暗示层、头在职务上终末一个 token 的平均激活。

而 CE 越高，标明该头对任务进展越瑕疵。

最终经受 CE 值前 10 的详确力头组成聚拢。

2、函数向量的构建

将聚拢中的整个详确力头的平均激活向量乞降，得到函数向量：

通过分析函数向量，询查东说念主员发现，灾难性淡忘并非是因为模子的任务责罚才气在磨真金不怕火经由中被顽固，而是由于模子在输入到激活对应任务功能经由中的偏差所导致的。

换句话说，模子并莫得健忘之前学到的任务责罚才气，而是这些才气未被正确激活，反而被新引入的才气所苦衷。

作家遴选这种粗略反馈模子在责罚特定任务上的功能特色的方式，跟踪淡忘征象发生时模子里面功能的变化。

函数向量与淡忘的关系

通过实验分析，作家发现函数向量的变化与模子的淡忘征象之间存在显耀的强联系性。

具体来说，记为测试任务，为任务在脱手模子下的函数向量暗示，则暗示在磨真金不怕火完第个任务后任务的函数向量暗示。

当函数向量与的相同度较低时，模子在测试任务   上的性能下落较严重。

当函数向量与的相同度较高时，模子在测试任务   上的性能下落则不走漏。

具体而言，在磨真金不怕火 NI-Seq-G1 数据时 Hellaswag 的函数向量的相同度与模子性能之间的相关整个（R ² 值）不错达到 0.873。

作家也积蓄了模子在不同磨真金不怕火序列，不同 seed 下的 40 个 checkpoint，并统计了多个测试任务在这些模子下的函数向量相同度与具体性能，可视化后果如下图：

图中知晓，当任务学习后的函数向量（FV）相同度较高时，模子的淡忘征象相对较轻，两者之间存在较强的联系性。

比较之下，Last hidden state 的相同度和参数变化前后的 L2 距离并莫得呈现出这种规则。

模子淡忘的践诺

作家基于此作为询查函数向量在职务切换前后的变化，并用作揭示灾难性淡忘根源的分析器具，该作为强调淡忘主要源于模子激活偏差的新功能，而非覆盖旧功能。

作家领先依照潜变量模子（Latent Variable Model）的假定将大说话模子再行表述，具体如下：

LLM 的输出概率被理解为对整个可能里面功能的积分：

：在给定任务功能下的输出概率（即践诺某个特定任务功能）

：在输入条款下激该死功能的概率（即功能激活机制）

而在函数向量的匡助下，咱们不错获取功能的具体抒发步地，得到以下公式：

具体功能被暗示为一组隐状况组合，其中索引来自聚拢，是激活权重，这个组合决定了责罚现时任务功能的具体数值暗示。

作家发现函数向量的偏移（即的变化）意味着模子功能激活机制的变化，而在前文函数向量的偏移也与淡忘强联系。

故这些征象共同支合手了一个中心论点：淡忘并非因为模子改写了践诺旧任务的功能，而是因为输入激活机制发生了偏移，从而未能正确调用这些功能。

不错从上图获取更直不雅的想法：通过将模子重构为潜变量模子，它被分歧为任务功能的激活和任务功能的践诺两个阶段。

在学习任务 1 之前，模子粗略正确激活任务 0 的功能，从而作念出正确的揣测。

但在学习任务 1 之后，模子可能引入了一个新的函数向量，这个新的向量会对任务 0 输入的激活经由形成干扰，从而导致淡忘征象的发生。

此外，作家还通过干豫实验进一步考据了模子淡忘的内在原因。

仅通过在模子中插入被淡忘才气的函数向量或移除现时磨真金不怕火任务的函数向量，询查东说念主员就粗略显耀规复在被淡忘任务上的才气。

函数向量领导的磨真金不怕火作为

基于函数向量的分析后果，论文提议了一种新的磨真金不怕火作为——函数向量领导的磨真金不怕火（Function Vector Guided Training, FVG）。

这种作为的中枢想想是通过正则化技巧完毕函数向量的变化，从而在模子学习新任务时保合手其对旧任务的功能激活模式。

具体来说，FVG 作为引入了两个新的正则化项：

    1、函数向量一致性亏蚀

通过完毕函数向量的变化，确保模子在学习新任务时不会过度偏离其原有的功能激活模式，具体公式为：

其中，和分别暗示在职务和任务时，模子在特定头的激活值，是距离度量，作家遴选 L2 距离。

  2、函数向量领导的 KL 散度亏蚀

通过最小化零样本输入与函数向量干豫后的输出之间的各别，确保模子在微调后仍能保合手与原有任务函数的一致性，具体公式为：

其中，是模子在输入上的输出概率散播，是在函数向量干豫后的输出概率散播。

最终的优化场合是：。

其中，是说话模子的原始亏蚀函数，和是超参数，用于均衡不同亏蚀项的权重。

实验考据

作家在多个数据集和模子上进行了芜俚的实验，考据函数向量领导的磨真金不怕火作为的有用性。

实验后果标明，FVG 作为在多个基准测试中显耀提高了模子在一般任务和高下文体习任务上的性能，同期保合手了模子对新任务的学习才气。

结语

本文，作家通过引入函数向量作为，久了磋商大说话模子中的灾难性淡忘问题，强调了函数向量在表征与缓解淡忘征象中的瑕疵作用。

作家在多个基准任务上的分析标明，模子的淡忘作为与潜在功能变量（由函数向量描述）发生的偏移密切联系。

基于这一发现，作家提议了一种全新的函数向量领导磨真金不怕火计谋，该作为结合了正则项与函数向量领导的KL 散度亏蚀函数，显耀减少了淡忘征象，从而提高了 LLMs 在合手续学习中的通用才气与高下文体习才气。

[ 1 ]   Wang, Yizhong, et al. "Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks."   Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. 2022.

[ 2 ]   Todd, Eric, et al. "Function Vectors in Large Language Models."   The Twelfth International Conference on Learning Representations.

论文勾通：https://arxiv.org/abs/2502.11019

神气勾通：https://github.com/GangweiJiang/FvForgetting

一键三连「点赞」「转发」「预防心」

迎接在挑剔区留住你的想法！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见欧洲杯体育