Tag · 5 篇
主动感知
ZoomEarth:面向超高分辨率地理空间视觉语言任务的主动感知
ZoomEarth: Active Perception for Ultra-High-Resolution Geospatial Vision-Language Tasks
把「主动感知」引入超高分辨率视觉语言模型:模型通过自适应裁剪-缩放反复回看信息密集区域,并用区域引导奖励配合 GRPO 训练,可直接迁移到任意需要细粒度小目标的高分辨率 VLM 任务(遥感、病理、文档、卫星图)。
SaPaVe:面向机器人视觉-语言动作模型的主动感知与操作
SaPaVe: Towards Active Perception and Manipulation in Vision-Language Action Models for Robotics
将相机运动作为独立的语义控制动作与操作动作解耦,并用3D几何感知模块提升动态视角下的执行鲁棒性,为视觉-语言-动作模型提供可复用的主动视角控制范式与ActiveViewPose-200K数据。
ProFocus:视觉语言导航中的主动感知与聚焦推理
ProFocus: Proactive Perception and Focused Reasoning in Vision-and-Language Navigation
将全景观测转成结构化自我中心语义地图,并由 LLM 编排智能体主动发起带焦点区域的视觉查询,这一「主动感知 + 定向取景」的闭环可直接迁移到任何需要从冗余全景/多视角输入中按需取景的具身导航或主动视觉任务;BD-MCTS 从大量历史候选中筛出 top-k 高价值路点再做聚焦推理,也为长时序视觉历史的高效利用提供了可复用策略。
ActiveVLA:将主动感知注入视觉-语言-动作模型以实现精确三维机器人操作
ActiveVLA: Injecting Active Perception into Vision-Language-Action Models for Precise 3D Robotic Manipulation
把主动视角选择与三维区域放大引入 VLA 策略,为视觉研究者提供了一个可复用的思路:在精细操作中动态挑选最优视角与分辨率,而不是依赖固定的腕部相机;其多视图投影定位关键三维区域的做法也可迁移到其他需要空间聚焦的视觉任务。
Act2See:面向视频推理的涌现式主动视觉感知
Act2See: Emergent Active Visual Perception for Video Reasoning
把「取帧/生成帧」作为可学习的动作嵌入文本思维链,让 VLM 在推理过程中自主决定何时检索真实帧、何时合成反事实帧;这一「主动视觉感知」范式可直接迁移到需要多步视觉证据获取的视频问答与长视频理解任务。