Tag · 8 篇
经验回放
面向开放环境与指令:通过快慢交互推理的通用视觉语言导航
Towards Open Environments and Instructions: General Vision-Language Navigation via Fast-Slow Interactive Reasoning
提出快慢交互推理框架:快模块用端到端策略网络实时输出动作并积累历史记忆,慢模块对记忆做深度反思提取结构化经验,持续优化快模块,可直接迁移到视觉导航、具身决策等需要在线适应未见环境的视觉任务。
Smart Replay:面向计算资源感知增量学习的自适应记忆复述调度
Smart Replay: Adaptive Scheduling of Memory Rehearsal for Computational Resource-Aware Incremental Learning
把回放比例当作可调度控制变量、用启发式Q函数在训练中周期性调整,为视觉增量学习在固定算力预算下提供了一种即插即用的调度策略,可直接嵌入基于回放的类增量分类/检测流程。
基于动态梯度引导的多模态持续指令微调
Multimodal Continual Instruction Tuning with Dynamic Gradient Guidance
把灾难性遗忘重新表述为「旧任务梯度缺失」,并用当前参数与历史最优参数之间的方向向量来近似该梯度,这一思路可直接迁移到视觉语言模型的持续指令微调与多任务适配中,配合伯努利采样在稳定性与可塑性之间动态权衡。
基于多模态潜变量回放与增量调整的终身模仿学习
Lifelong Imitation Learning with Multimodal Latent Replay and Incremental Adjustment
在多模态潜空间而非原始像素上做经验回放,可大幅压缩视觉-语言-状态表征的存储开销,为视觉策略的持续学习提供可复用的记忆机制;角度间隔约束正则化任务嵌入演化的思路也可迁移到视觉表征的增量学习。
从历史到未来:以经验与思考演化智能体实现零样本视觉语言导航
History to Future: Evolving Agent with Experience and Thought for Zero-shot Vision-and-Language Navigation
把 LLM 的未来动作/地标预测(F-CoT)与历史轨迹经验总结(H-CoE)组合成可演化的零样本导航决策回路,可直接迁移到视觉导航、具身探索等需要在线纠错的序列决策任务中。
EE-RL:面向端到端自动驾驶的探索者与专家模型视觉语言引导强化学习
EE-RL: Vision Language Guided Reinforcement Learning with Explorer and Expert model for End-to-End Autonomous Driving
将微调后的视觉语言模型作为稀疏关键场景的推理专家,并用StateHash按RGB相似度与运动学相似度跳过冗余VLM推理,这一「按需调用VLM」的机制可迁移到其他需要昂贵大模型推理的在线决策或感知流程中。
Dejavu:面向具身智能的经验反馈学习
Dejavu: Towards Experience Feedback Learning for Embodied Intelligence
对做 VLA/具身策略的视觉研究者,这篇给出一种不改动冻结策略权重的部署后增强范式:用检索到的历史动作经验作为条件输入,并通过强化学习加语义相似度奖励训练一个轻量 EFN,可直接套用到现有 VLA 上提升成功率与鲁棒性。
BriMA:面向多模态持续动作质量评估的桥接模态适应
BriMA: Bridged Modality Adaptation for Multi-Modal Continual Action Quality Assessment
针对多模态持续动作质量评估中模态缺失问题,提出记忆引导的桥接插补模块和模态感知回放机制,可复用于视频理解中模态不完整或动态变化的持续学习场景。