Tag · 8 篇
检索增强
观看并学习:从在线视频中学习使用计算机
Watch and Learn: Learning to Use Computers from Online Videos
把「从连续屏幕状态反推用户动作」的逆动力学建模思路,可直接迁移到视觉示教学习与视频到动作的标注流程中,为从无标注视频自动构造可执行轨迹提供了一套可复用的检索+标注管线。
检索即复原:基于检索式退化库的高效一体化图像复原
Retrieve-to-Restore: Efficient All-in-One Image Restoration with a Retrieval-Based Degradation Bank
把退化知识外置成一个可检索的先验库,用退化匹配在推理时调制骨干网络特征,为多退化统一复原提供了一条解耦「退化适应」与「重建能力」的轻量思路,可直接迁移到去噪、去雨、去雾等多任务联合训练场景。
检索与分割:少量示例足以弥合开放词表分割中的监督差距吗?
Retrieve and Segment: Are a Few Examples Enough to Bridge the Supervision Gap in Open-Vocabulary Segmentation?
提出检索增强的测试时适配器,通过融合文本与视觉支持特征学习轻量级逐图像分类器,为开放词表分割提供可复用的少样本融合思路,并支持支持集持续扩展与个性化分割。
RetFormer:用于增强图像识别的多模态检索
RetFormer: Multimodal Retrieval for Enhancing Image Recognition
将外部多模态知识库与检索交叉融合模块引入视觉识别,为长尾分布和噪声标签下的图像分类提供了一种不依赖增大模型参数的增强思路。
学习什么有帮助:面向视觉任务的任务对齐上下文选择
Learning What Helps: Task-Aligned Context Selection for Vision Tasks
TACS 将检索选择器与任务模型联合训练,用任务奖励而非相似度来挑选上下文示例,为视觉任务中的检索增强提供了一种可复用的训练范式,尤其适用于数据有限或细粒度识别场景。
面向鲁棒癌症风险估计的因子化上下文聚合:软重排序检索与分层锚框
Factorized Context Aggregation for Robust Cancer Risk Estimation via Soft Re-Ranked Retrieval and Hierarchical Anchors
提出以组织病理学为锚、其他模态仅用于训练的解耦框架,结合软重排序检索与分层锚框,在模态缺失下保持鲁棒性;其检索与分层锚框机制可迁移至其他多模态医学影像任务。
Dejavu:面向具身智能的经验反馈学习
Dejavu: Towards Experience Feedback Learning for Embodied Intelligence
对做 VLA/具身策略的视觉研究者,这篇给出一种不改动冻结策略权重的部署后增强范式:用检索到的历史动作经验作为条件输入,并通过强化学习加语义相似度奖励训练一个轻量 EFN,可直接套用到现有 VLA 上提升成功率与鲁棒性。
像病理学家一样思考:组织感知的全切片图像推理
Act Like a Pathologist: Tissue-Aware Whole Slide Image Reasoning
把「问题引导的由粗到细检索」用于超大幅图像(全切片)的视觉语言推理:先用分组采样器定位与问题相关的组织区域,再用图像块选择器挑出信息量最大的图像块,从而把视觉词元减少约 70%。这套「先粗筛区域、再细选图像块」的检索式词元压缩思路,可直接迁移到高分辨率图像或视频的 VLM 推理中,用来降低词元开销并提升可解释性。