Tag · 54 篇
持续学习
遗忘哪些概念与如何拒绝？面向大型视觉语言模型持续遗忘的概念分解
Which Concepts to Forget and How to Refuse? Decomposing Concepts for Continual Unlearning in Large Vision-Language Models
把「遗忘」从整模型级细化到视觉-语言概念组合级，并用概念驱动的 MoE 路由复用拒绝专家，为 LVLM 安全对齐与顺序删除请求提供可复用框架；做多模态安全/隐私的读者可直接借用其概念调制器与 refuser 路由设计。
WeMMU：通过噪声查询令牌增强视觉语言模型与扩散模型的桥接
WeMMU: Enhanced Bridging of Vision-Language Models and Diffusion Models via Noisy Query Tokens
用带噪声的可学习查询令牌作为 VLM 与扩散模型之间的分布式接口，并配一条 VAE 线性投影支路补回细节，可直接用于构建视觉生成式多模态助手，缓解固定查询令牌在跨任务时的泛化崩溃。
面向终身行人重识别的视觉-语言属性解耦与强化
Vision-Language Attribute Disentanglement and Reinforcement for Lifelong Person Re-Identification
把 VLM 的文本属性作为跨域共享的细粒度监督信号，用文本属性解耦+跨模态属性对齐来指导视觉特征提取，这一思路可直接迁移到其他需要抗遗忘的跨域检索/分类任务（如跨域行人检索、细粒度识别）中。
ViLoMem：具备生长-精炼多模态语义记忆的智能体学习器
ViLoMem: Agentic Learner with Grow-and-Refine Multimodal Semantic Memory
ViLoMem 提出双流语义记忆，分别编码视觉分心模式与逻辑推理错误，使多模态大模型在解题时能复用可泛化的视觉注意力策略并避免重复视觉错误；该记忆机制可直接用于视觉问答、多模态推理等任务中的智能体持续学习与跨域迁移。
面向野外世界稳定联邦持续测试时自适应
Towards Stable Federated Continual Test-Time Adaptation in Wild World
为视觉模型在无标签、客户端顺序到达的野外部署场景提供了一套稳定的在线自适应与聚合机制：用最大后验估计把贝叶斯先验注入本地 TTA 以防漂移，再用不确定性门控决定是否把单客户端更新并入全局模型，可直接迁移到跨域分类/分割的持续部署流程中。
黄金子空间：持续测试时自适应中效率与泛化的交汇点
The Golden Subspace: Where Efficiency Meets Generalization in Continual Test-Time Adaptation
把预训练分类器的行空间当作「黄金子空间」，用样本级平均梯度外积（AGOP）在线估计它，再用轻量适配器把特征投影进去——这套做法可以迁移到任何需要在无源数据、分布偏移下在线更新特征的视觉模型（检测、分割、BEV 感知），且只学一个紧凑缩放向量，几乎不增加推理开销。
适配的盲区：量化与缓解微调驾驶模型中的遗忘
The Blind Spot of Adaptation: Quantifying and Mitigating Forgetting in Fine-tuned Driving Models
把适配从权重空间搬到提示词空间、按场景线索动态路由到不同知识专家的做法，为视觉研究者提供了一种在微调下游任务时保住预训练世界知识的可复用范式，尤其适合 VLM 迁移到驾驶等专用域的场景。
基于典型相关分析的 CLIP 持续学习子空间对齐
Subspace Alignment for CLIP-based Continual Learning via Canonical Correlation Analysis
针对 CLIP 单模态持续学习中视觉分支漂移强于文本分支的「非对称漂移」问题，用跨任务累积的视觉-文本协方差求解 CCA 共享子空间，在不改动 CLIP 参数、不用样本回放的前提下恢复跨模态对齐；这一子空间对齐思路可直接迁移到任何需要冻结主干、只做后处理投影的持续学习或跨模态检索场景。
面向持续学习的谱混合专家
Spectral Mixture-of-Experts for Continual Learning
把专家参数约束到互不相交的频域子空间以获得先验正交更新，并用离线专家重要性记忆约束路由漂移，这套「频域正交 + 双路由」思路可直接移植到视觉大模型的持续微调与多任务适配器合并中。
稀疏谱 LoRA：面向医学视觉语言模型的路由专家
Sparse Spectral LoRA: Routed Experts for Medical VLMs
把预训练权重按 SVD 分段初始化 MoE 专家，并配一个与全秩全量微调对齐的缩放规则，为视觉语言模型在异构医学数据上做参数高效适配提供了可复用的低秩专家路由方案，可直接迁移到其他多数据集 VLM 微调场景。
SAME：面向有限数据下异构增量学习的稀疏锚定模型编辑
SAME: Sparse and Anchored Model Editing for Heterogeneous Incremental Learning under Limited Data
把模型编辑（稀疏参数更新 + 键值知识对）当作持续学习的载体，用双重锚框约束（特征对齐锚 + 参数幅度锚）在少样本、任务边界未知的跨域序列上稳定注入新知识，可直接迁移到视觉语言模型的增量适配与免遗忘微调。
SAIDO：基于场景感知与重要性引导动态优化的持续学习式AI生成图像泛化检测
SAIDO: Generalizable Detection of AI-Generated Images via Scene-Aware and Importance-Guided Dynamic Optimization in Continual Learning
用 VLLM 做场景感知并动态分配专家模块，配合重要性引导的梯度投影来缓解持续学习中的灾难性遗忘，可直接迁移到任何需要跨域泛化的伪造检测或分布漂移下的分类任务。
数据稀缺下的鲁棒性：面向演化威胁的少样本持续对抗训练
Robustness Under Data Scarcity: Few-Shot Continual Adversarial Training for Evolving Threats
把少样本持续对抗训练这一设定引入视觉模型鲁棒性维护，其高斯混合原型回放与对抗间隔损失可直接用于在数据受限、攻击分布不断漂移的场景下持续更新分类器而不遗忘旧攻击域。
通过互补持续评论家解决强化学习中的稳定性-可塑性困境
Resolving the Stability-Plasticity Dilemma in Reinforcement Learning via Complementary Continual Critics
对做视觉RL的人，可复用其「双评论家+交叉注意力融合」架构：用CBP维持表征可塑性、用EWC维持稳定性，并按观测特征动态加权两路价值估计，直接缓解非平稳视觉输入下的表征漂移与策略退化。
通过损失景观几何重新审视长尾学习
Reframing Long-Tailed Learning via Loss Landscape Geometry
将长尾识别中的尾部性能退化建模为持续学习中的灾难性遗忘，并利用损失景观几何（平坦极小值）来缓解；其分组知识保持与分组锐度感知模块可复用于其他存在类别不平衡或任务序列的视觉任务。
重新审视持续视觉问答：面向多模态持续学习的公平与鲁棒评测
Re-evaluating Continual VQA: Toward Fair and Robust Evaluation for Multimodal Continual Learning
对做多模态持续学习的人，这篇论文指出共享答案词表与静态答案先验会系统性高估性能、低估遗忘，并给出可复用的无偏基准构造方式（token 级不相交答案空间 + 任务内训练-测试分布偏移）；其 question-only replay 与双层蒸馏基线也可作为轻量防遗忘的对照方案。
保护以适配：面向少样本动作识别的正交子空间控制与排序负提示词课程
Protect to Adapt: Orthogonal Subspace Control with Ranked Negative-Prompt Curriculum for Few-Shot Action Recognition
OSC 把低秩更新约束在预训练骨干网络主语义子空间的正交补上，这一做法可直接迁移到任何 VLM 微调场景（如少样本图像分类、视频检索），在适配下游任务的同时抑制灾难性遗忘；RNC 用大语言模型生成按难度排序的负提示词，为少样本 episode 中负样本不足、决策边界模糊的问题提供了一种可复用的数据构造思路。
参数高效的持续学习方法：在有限模型容量下提升可塑性且不遗忘
Parameter-efficient Continual Learning for Enhancing Plasticity without Forgetting under Limited Model Capacity
在模型容量受限时，用梯度引导的冻结参数复用加强化学习式参数分配来平衡稳定性与可塑性，可直接迁移到视觉骨干（如 ViT）的长序列增量微调，避免每来一个新任务就扩参数。
PACT：视觉语言模型基于适配器的持续学习中的类相变约束
PACT: Phase-Like Transition Constraints in Adapter-Based Continual Learning of Vision-Language Models
在基于适配器的持续学习中，用类似相变的稳定性/可塑性正则与先验锚定替代正交约束，让视觉语言模型在任务间保留可迁移共享；做增量适配器训练时可复用其双分支 ViT 结构与稳定适配器初始化。
论词元的困境：面向大型视觉语言模型持续学习的漂移感知词元分配动态混合专家
On Token's Dilemma: Dynamic MoE with Drift-Aware Token Assignment for Continual Learning of Large Vision Language Models
对做 LVLM 持续指令微调的人，这篇给出了 token 级诊断视角：用路由分数分布区分歧义/旧任务词元，并对它们施加定向正则，避免被新专家吸走；这套「漂移感知词元分配」可直接插到任何增量扩专家的 MoE-LVLM 上。
Octopus：面向多模态大语言模型持续学习的无历史梯度正交化
Octopus: History-Free Gradient Orthogonalization for Continual Learning in Multimodal Large Language Models
为视觉-语言模型的多任务顺序微调提供了一种无需存储历史数据的梯度正交化约束，可直接用于缓解 MLLM 在连续下游视觉任务（如 VQA、captioning）微调时的灾难性遗忘。
基于动态梯度引导的多模态持续指令微调
Multimodal Continual Instruction Tuning with Dynamic Gradient Guidance
把灾难性遗忘重新表述为「旧任务梯度缺失」，并用当前参数与历史最优参数之间的方向向量来近似该梯度，这一思路可直接迁移到视觉语言模型的持续指令微调与多任务适配中，配合伯努利采样在稳定性与可塑性之间动态权衡。
面向测试时自适应分割的原型混合专家
Mixture of Prototypes for Test-time Adaptive Segmentation
把类别原型聚类成多个域专家并用门控网络按实例-专家相关性加权，配合最小化预测熵、最大化专家选择熵的门控优化，可直接迁移到任何需要测试时自适应的分割或密集预测模型上。
自我学习：从视觉语言模型内部挖掘知识用于持续学习
Learning from Itself: Mining Internal Knowledge from Vision Language Models for Continual Learning
把 CLIP 的文本编码器当作可挖掘的内部监督源：通过优化可学习 token 生成伪描述来弥合预训练-下游分布差距，并用按瞬时性能加权的双向蒸馏在视觉分类器与文本编码器之间迁移知识，推理时零额外开销——这套「模型自教」流程可直接迁移到任何需要持续适配的视觉-语言下游任务。
参数隔离对基于提示词的持续学习更有效吗？
Is Parameter Isolation Better for Prompt-Based Continual Learning?
把「每任务一组提示词」的静态隔离换成全局提示词池 + 任务感知门控稀疏路由，可直接迁移到视觉持续学习（如类增量图像分类、VLM 持续适配）中，用激活统计做正则来抑制常用提示词被过度更新。
InvCoSS：医学多模态图像预训练中反演驱动的持续自监督学习
InvCoSS: Inversion-driven Continual Self-supervised Learning in Medical Multi-modal Image Pre-training
用模型反演生成近似旧任务分布的合成图像替代真实数据回放，为视觉预训练中的持续学习提供了一条不依赖跨站点数据共享、且显著降低存储的可行路径；InvUNet 的多尺度高低频融合与无类别引导的排斥式表征学习可直接迁移到其他需要合成回放的增量预训练场景。
IncreFA：打破生成模型归属的静态壁垒
IncreFA: Breaking the Static Wall of Generative Model Attribution
把生成图像归属（判别图像来自哪个生成模型）建模为结构化增量学习问题，用架构层级正交先验加潜变量记忆回放来对抗表征漂移；做深伪检测、生成内容溯源或开放集识别的视觉研究者可直接复用其层级约束与伪未见样本混合策略。
面向安全对齐多模态大模型的持续视觉指令微调中的和谐参数适配
Harmonious Parameter Adaptation in Continual Visual Instruction Tuning for Safety-Aligned MLLMs
对做多模态大模型持续指令微调的人，这篇给出了一个后训练框架：按参数对安全/任务的关注度做分区，再从平衡视角选择要保留的参数子集，并对更新施加正交约束，可直接迁移到视觉指令微调的增量学习场景以同时抑制任务遗忘与安全退化。
GeCo-SRT：面向跨任务仿真到现实迁移的几何感知持续适应
GeCo-SRT: Geometry-aware Continual Adaptation for Cross-Task Sim-to-Real Transfer
把局部几何特征当作域不变、任务不变的迁移基底，并用几何感知的混合专家加优先经验回放来累积跨任务仿真到现实的经验，这套「几何先验+专家路由+经验回放」的组合可直接迁移到视觉策略的持续域适应与机器人操作策略学习中。
锻造动态记忆：面向通用医学基础模型的检索引导持续学习
Forging a Dynamic Memory: Retrieval-Guided Continual Learning for Generalist Medical Foundation Models
将检索增强生成（RAG）与持续学习结合，通过动态知识蒸馏缓解多模态医学VLM在领域迁移中的灾难性遗忘，为视觉-语言模型的持续学习提供可复用框架。
面向状态空间模型的无样本持续学习
Exemplar-Free Continual Learning for State Space Models
为视觉骨干网络（如基于 SSM/Mamba 的分类器）提供一种无需样本回放的持续学习正则化手段：直接约束 SSM 可观测子空间的无限时域状态演化，并用 O(n²) 的 Sylvester 方程求解替代 O(n³)，可直接嵌入现有 CL 流程以缓解序列任务中的遗忘。
通过动态前缀加权增强视觉语言模型的持续学习
Enhancing Continual Learning of Vision-Language Models via Dynamic Prefix Weighting
对做 VLM 下游适配的人，DPW 给出了一种按 token 重要性动态加权 prefix 的门控机制，并让 adapter 只作为 prefix 权重的残差补充，可直接复用到域类增量学习或多任务适配场景中，避免统一归一化带来的过度调整。
把弹性权重巩固做对：面向持续学习的正确实现
Elastic Weight Consolidation Done Right for Continual Learning
对做视觉模型持续学习/增量训练的人，这篇给出了一个几乎零成本的改动：在计算 Fisher 信息矩阵时把 logit 取反，即可同时缓解梯度消失与冗余保护，可直接替换现有 EWC 正则项用于视觉骨干网络的顺序多任务训练。
Dynamic Magic：释放受限知识以实现终身行人重识别
Dynamic Magic: Unleashing Restricted Knowledge for Lifelong Person Re-Identification
把大预训练模型与动态扩展的模块化适配器结合，用域感知调度和相似度引导的自动选择器在推理时路由输入，为视觉里「持续学习新域又不遗忘旧域」提供了一套可复用的参数隔离+共享适配器协作框架。
Dual-Estimator：解耦全局与局部语义漂移以补偿类增量学习中的漂移
Dual-Estimator: Decoupling Global and Local Semantic Shift for Drift Compensation in Class-Incremental Learning
对做类增量视觉分类的人，这篇给出了一个可直接插拔的漂移补偿模块：用混合专家估计器建模任务内非均匀语义分布、用低秩估计器捕捉任务间非均匀漂移，且以解析解在少数 epoch 内更新，可挂到现有 exemplar-free 方法上缓解旧类表征失活。
在持续广义类别发现中解耦发现与记忆
Decouple Your Discovery and Memory in Continual Generalized Category Discovery
双分支解耦思路可迁移到任何需要「边学新类边保旧类」的视觉识别场景：把发现分支与记忆分支分开，避免过度保护旧类压制新类发现，并可作为插件叠加到现有增量/开放世界识别框架上。
DSCA：面向终身VLM编辑的动态子空间概念对齐
DSCA: Dynamic Subspace Concept Alignment for Lifelong VLM Editing
为视觉语言模型提供了一种基于正交语义子空间分解的持续知识编辑方法，可复用于需要顺序更新多模态知识的场景，避免编辑间的相互干扰。
DGS：用于类增量学习的双梯度与语义漂移引导的低秩适配
DGS: Dual Gradient and Semantic-Shift Guided Low-Rank Adaptation for Class Incremental Learning
对视觉研究者而言，这篇论文给出了在预训练视觉模型上做类增量学习时，用双梯度融合（基子空间投影 + 任务 LoRA 梯度插值融合）替代刚性正交约束的思路，并配合分类器对齐与 patch 级对齐损失，可直接迁移到 ViT 类骨干的持续学习/多任务微调流程中。
面向边缘持续学习的关键图像块感知稀疏提示与解耦训练
Critical Patch-Aware Sparse Prompting with Decoupled Training for Continual Learning on the Edge
把「关键图像块采样」作为任务感知的词元削减手段，配合提示词与分类器解耦训练来降低反向传播开销，为在显存受限的边缘设备上做视觉模型的持续适配提供了可复用的训练期效率方案。
基于功能连接矩阵生成式回放的fMRI脑部疾病诊断持续学习框架
Continual Learning for fMRI-Based Brain Disorder Diagnosis via Functional Connectivity Matrices Generative Replay
提出结构感知变分自编码器生成逼真的功能连接矩阵，并结合多级知识蒸馏与分层上下文赌博机自适应回放采样，为视觉领域处理非欧几里得图结构数据的持续学习提供可复用方案。
面向来自不同领域教师的持续蒸馏
Continual Distillation of Teachers from Different Domains
把「教师模型流式到达、且无法访问旧教师与教师训练数据」的持续蒸馏设定引入视觉模型压缩，用外部无标签数据上的 logits 保持来缓解跨域知识遗忘，可直接用于多源教师（如不同域检测/分割模型）合并到单一学生网络的场景。
CHEEM：复用、新建、适配与跳过的持续学习——一种分层探索-利用方法
CHEEM: Continual Learning by Reuse, New, Adapt and Skip - A Hierarchical Exploration-Exploitation Approach
把神经架构搜索当作持续学习中的内部记忆：每个新任务通过 reuse/new/adapt/skip 四种原语动态改写骨干网络结构，视觉研究者可将其作为免样本类增量学习下替代 prompt 微调的骨干自适应方案，并复用其任务质心外部记忆做任务 ID 推理。
CGL：通过强化微调推进持续 GUI 学习
CGL: Advancing Continual GUI Learning via Reinforcement Fine-Tuning
对做多模态 GUI 智能体或 VLM 智能体持续学习的人，这篇给出了 SFT 与 RL（GRPO）混合训练时避免灾难性遗忘的具体手段：用策略熵调节 SFT 比例，并把 SFT 梯度投影到 GRPO 锚框梯度上做梯度手术，可直接迁移到其他 VLM 智能体的增量适配场景。
BriMA：面向多模态持续动作质量评估的桥接模态适应
BriMA: Bridged Modality Adaptation for Multi-Modal Continual Action Quality Assessment
针对多模态持续动作质量评估中模态缺失问题，提出记忆引导的桥接插补模块和模态感知回放机制，可复用于视频理解中模态不完整或动态变化的持续学习场景。
面向目标检测的保持驱动知识压缩黑盒域自适应
Black-Box Domain Adaptation for Object Detection with Retention-Driven Knowledge Compression
把终身学习中的记忆保持与场景压缩机制引入黑盒域自适应目标检测，用分区记忆对比学习过滤噪声伪标签、用近远视图对比挖掘远视区域线索，可直接迁移到无源数据的目标检测域迁移场景。
超越静态世界：视觉漂移下的持续类别发现
Beyond the Static World: Continual Category Discovery under Visual Drift
把部分非平衡最优传输与二值响应谱量化结合，用于无标签流式数据中已知/未知类别的自动分离；其跨域语义对齐（对抗式原型匹配）与类别拓扑一致性约束可直接迁移到开放世界识别、测试时自适应等视觉场景。
超越短视对齐：面向在线类增量学习的前瞻优化
Beyond Myopic Alignment: Lookahead Optimization for Online Class-Incremental Learning
把「前瞻式优化」引入基于排练的在线类增量学习：沿兼顾可塑性与稳定性的多个方向做前瞻步，再用一阶 Log-Sum-Exp 代理目标强化最差方向，可直接替换视觉分类模型持续学习中的梯度对齐/超梯度更新环节。
AtomicVLA：释放机器人中原子技能学习的潜力
AtomicVLA: Unlocking the Potential of Atomic Skill Learning in Robots
对做视觉-语言-动作模型的人，这篇给出一种把长程操作拆成原子技能、用技能引导的混合专家（SG-MoE）加路由编码器动态分配专家的做法，可直接借鉴到需要持续学习新技能的机器人策略中，替代单一动作解码器。
抗退化终身多视图聚类
Anti-Degradation Lifelong Multi-View Clustering
零空间投影知识库防退化技术可迁移到视觉模型的持续学习场景，例如在增量式多视图特征学习或跨模态表征对齐中，通过约束新知识更新方向与旧知识正交来避免灾难性遗忘。
解剖域偏移：面向三维人体姿态预测的测试时异构自适应
Anatomical Domain Shifts: Test-time Heterogeneous Adaptation for 3D Human Pose Prediction
把测试时自适应的参数更新按人体解剖部位（躯干、四肢等）分组，用 Fisher 信息矩阵划分参数子集、用 IN 统计量与 EMD 度量各部位的域偏移程度，从而只对发生偏移的肢体做微调或回滚——这套「按语义部位分组 + 分组级域差异度量」的思路可直接迁移到人体姿态/动作预测、人体网格恢复等任务中应对局部域偏移。
面向视频-语言理解持续学习的可供性优先分解
Affordance-First Decomposition for Continual Learning in Video-Language Understanding
把视频映射到缓慢变化的 affordance token 作为共享时间对齐基底、只让轻量查询路由调度器做适配，这一「稳定基底 + 定向可塑」的拆分思路可直接迁移到视频-语言模型的持续学习与免回放增量训练中。
AdaPrior：面向长尾持续学习的贝叶斯启发式自适应先验校正
AdaPrior: Bayesian-Inspired Adaptive Prior Correction for Long-Tailed Continual Learning
把长尾类增量学习重新表述为动态先验失配问题，用指数滑动平均在线估计模型诱导先验，并同时用于训练期去偏（AdaPrior Loss）与推理期轻量 logit 调整；做增量学习或长尾分类的视觉工作可直接复用这套无需额外阶段、无需样本回放的先验校正机制。
一条更快的持续学习路径
A Faster Path to Continual Learning
对做视觉持续学习或任何需要反复微调的场景，C-Flat Turbo 把 C-Flat 每步三次额外梯度计算压到更少，可直接替换优化器降低训练开销；其「平坦性梯度随任务趋于稳定」的观察也可用于设计其他正则化训练策略的调度。
φ-DPO：面向大型多模态模型持续学习的公平直接偏好优化方法
$\phi$-DPO: Fairness Direct Preference Optimization Approach to Continual Learning in Large Multimodal Models
提出基于直接偏好优化（DPO）的持续学习范式，并设计 φ-DPO 损失显式处理数据不平衡，可复用于多模态大模型在视觉任务上的持续学习与公平性提升。