Tag · 22 篇
灾难性遗忘
面向多模态持续学习中的动态模态对齐
Towards Dynamic Modality Alignment in Multimodal Continual Learning
把跨模态对齐看作随任务与网络层演化而变化的动态过程，并用多层图正则化约束它，这个思路可直接迁移到视觉-语言模型的持续预训练或增量微调中，用来抑制跨模态表征漂移。
适配的盲区：量化与缓解微调驾驶模型中的遗忘
The Blind Spot of Adaptation: Quantifying and Mitigating Forgetting in Fine-tuned Driving Models
把适配从权重空间搬到提示词空间、按场景线索动态路由到不同知识专家的做法，为视觉研究者提供了一种在微调下游任务时保住预训练世界知识的可复用范式，尤其适合 VLM 迁移到驾驶等专用域的场景。
类增量学习中正负监督的时序不平衡
Temporal Imbalance of Positive and Negative Supervision in Class-Incremental Learning
提出时序衰减核来重加权交叉熵中的负监督，可直接嵌入任何类增量学习框架的损失函数，缓解因旧类负监督过强导致的预测偏置与遗忘。
TAPE：音频语言模型中任务自适应原型进化用于完全少样本类增量音频分类
TAPE: Task-Adaptive Prototype Evolution in Audio-Language Models for Fully Few-shot Class-incremental Audio Classification
论文提出的任务适配器（Task-Adapter）和原型进化机制可迁移到视觉中的少样本类增量学习场景，例如利用CLIP等视觉语言模型进行增量目标识别时，通过隔离特征空间和动态原型更新来缓解灾难性遗忘与过拟合。
数据稀缺下的鲁棒性：面向演化威胁的少样本持续对抗训练
Robustness Under Data Scarcity: Few-Shot Continual Adversarial Training for Evolving Threats
把少样本持续对抗训练这一设定引入视觉模型鲁棒性维护，其高斯混合原型回放与对抗间隔损失可直接用于在数据受限、攻击分布不断漂移的场景下持续更新分类器而不遗忘旧攻击域。
提示词锚定的视觉-文本蒸馏用于终身行人重识别
Prompt-Anchored Vision-Text Distillation for Lifelong Person Re-identification
将预训练视觉-语言模型中冻结的文本编码器作为跨域语义锚点，通过提示词蒸馏与自适应提示池实现无样本回放的终身行人重识别，为视觉领域的持续学习提供了一种利用辅助模态稳定语义的通用思路。
面向增量目标检测的参数化提示词
Parameterized Prompt for Incremental Object Detection
把可训练提示词从「提示池」改为由神经网络参数化生成，并用融合策略约束更新，可直接迁移到增量目标检测与开放世界检测中缓解新旧类共现导致的提示混淆与灾难性遗忘。
参数高效的持续学习方法：在有限模型容量下提升可塑性且不遗忘
Parameter-efficient Continual Learning for Enhancing Plasticity without Forgetting under Limited Model Capacity
在模型容量受限时，用梯度引导的冻结参数复用加强化学习式参数分配来平衡稳定性与可塑性，可直接迁移到视觉骨干（如 ViT）的长序列增量微调，避免每来一个新任务就扩参数。
论词元的困境：面向大型视觉语言模型持续学习的漂移感知词元分配动态混合专家
On Token's Dilemma: Dynamic MoE with Drift-Aware Token Assignment for Continual Learning of Large Vision Language Models
对做 LVLM 持续指令微调的人，这篇给出了 token 级诊断视角：用路由分数分布区分歧义/旧任务词元，并对它们施加定向正则，避免被新专家吸走；这套「漂移感知词元分配」可直接插到任何增量扩专家的 MoE-LVLM 上。
Octopus：面向多模态大语言模型持续学习的无历史梯度正交化
Octopus: History-Free Gradient Orthogonalization for Continual Learning in Multimodal Large Language Models
为视觉-语言模型的多任务顺序微调提供了一种无需存储历史数据的梯度正交化约束，可直接用于缓解 MLLM 在连续下游视觉任务（如 VQA、captioning）微调时的灾难性遗忘。
基于动态梯度引导的多模态持续指令微调
Multimodal Continual Instruction Tuning with Dynamic Gradient Guidance
把灾难性遗忘重新表述为「旧任务梯度缺失」，并用当前参数与历史最优参数之间的方向向量来近似该梯度，这一思路可直接迁移到视觉语言模型的持续指令微调与多任务适配中，配合伯努利采样在稳定性与可塑性之间动态权衡。
基于未来感知解耦跨头蒸馏的增量目标检测
Incremental Object Detection via Future-Aware Decoupled Cross-Head Distillation
把检测头与骨干网络的训练解耦，并用两个冻结的互补教师对学生的 ROI 特征做跨头蒸馏，可直接迁移到任何需要缓解灾难性遗忘的增量检测/分割框架中。
面向安全对齐多模态大模型的持续视觉指令微调中的和谐参数适配
Harmonious Parameter Adaptation in Continual Visual Instruction Tuning for Safety-Aligned MLLMs
对做多模态大模型持续指令微调的人，这篇给出了一个后训练框架：按参数对安全/任务的关注度做分区，再从平衡视角选择要保留的参数子集，并对更新施加正交约束，可直接迁移到视觉指令微调的增量学习场景以同时抑制任务遗忘与安全退化。
面向状态空间模型的无样本持续学习
Exemplar-Free Continual Learning for State Space Models
为视觉骨干网络（如基于 SSM/Mamba 的分类器）提供一种无需样本回放的持续学习正则化手段：直接约束 SSM 可观测子空间的无限时域状态演化，并用 O(n²) 的 Sylvester 方程求解替代 O(n³)，可直接嵌入现有 CL 流程以缓解序列任务中的遗忘。
把弹性权重巩固做对：面向持续学习的正确实现
Elastic Weight Consolidation Done Right for Continual Learning
对做视觉模型持续学习/增量训练的人，这篇给出了一个几乎零成本的改动：在计算 Fisher 信息矩阵时把 logit 取反，即可同时缓解梯度消失与冗余保护，可直接替换现有 EWC 正则项用于视觉骨干网络的顺序多任务训练。
基于能量分离的未知目标检测用于开放世界目标检测
Detecting Unknown Objects via Energy-based Separation for Open World Object Detection
用 ETF 构造正交子空间、并同时利用已知/未知两个空间的能量分数来分离未知目标，这一思路可直接迁移到开放词表检测与 OOD 目标发现中的未知判别头设计；EKD 损失对旧/新分类器施加分离约束，也可用于缓解增量检测中的新旧类知识干扰。
解耦稳定性与可塑性以实现多模态测试时自适应
Decoupling Stability and Plasticity for Multi-Modal Test-Time Adaptation
针对多模态模型在测试时分布漂移下的适配，提出用特征维度间冗余度诊断偏置模态，并对各模态适配器做稳定/可塑解耦的非对称更新；做视觉-语言模型在线部署或跨域适配时，可直接复用该诊断信号与解耦适配器结构来抑制负迁移与灾难性遗忘。
DSCA：面向终身VLM编辑的动态子空间概念对齐
DSCA: Dynamic Subspace Concept Alignment for Lifelong VLM Editing
为视觉语言模型提供了一种基于正交语义子空间分解的持续知识编辑方法，可复用于需要顺序更新多模态知识的场景，避免编辑间的相互干扰。
超越静态世界：面向一体化医学图像复原的终身学习
Beyond the Static-World: Lifelong Learning for All-in-One Medical Image Restoration
把「解耦-优化-巩固」范式用于多模态医学图像复原：用对抗平衡在内容保持与模态擦除之间解耦出模态不变特征流形，再用预测网络定位特征巩固点配合多样性损失抵抗域增量下的灾难性遗忘，可直接迁移到多模态视觉模型的持续学习场景。
抗退化终身多视图聚类
Anti-Degradation Lifelong Multi-View Clustering
零空间投影知识库防退化技术可迁移到视觉模型的持续学习场景，例如在增量式多视图特征学习或跨模态表征对齐中，通过约束新知识更新方向与旧知识正交来避免灾难性遗忘。
一种最优传输驱动的在线增量学习潜空间培育方法
An Optimal Transport-driven Approach for Cultivating Latent Space in Online Incremental Learning
把最优传输驱动的在线混合模型用于潜空间中类别中心的增量演化，替代单一或固定多中心表示，可直接迁移到视觉模型的类增量/在线持续学习场景，缓解多模态数据流下的灾难性遗忘。
φ-DPO：面向大型多模态模型持续学习的公平直接偏好优化方法
$\phi$-DPO: Fairness Direct Preference Optimization Approach to Continual Learning in Large Multimodal Models
提出基于直接偏好优化（DPO）的持续学习范式，并设计 φ-DPO 损失显式处理数据不平衡，可复用于多模态大模型在视觉任务上的持续学习与公平性提升。