Tag · 17 篇
免训练框架
基于小波变换的语义边界检测帧选择用于长视频理解
Wavelet-based Frame Selection by Detecting Semantic Boundary for Long Video Understanding
提出一种免训练的小波变换帧选择方法,通过多分辨率分析从噪声相似度信号中提取语义边界,为长视频理解中的关键帧选择提供了可复用的信号去噪与分段思路。
ViKey:通过视觉提示增强视频时序理解
ViKey: Enhancing Temporal Understanding in Videos via Visual Prompting
提出一种免训练的视觉提示方法,通过在帧上叠加序号信息增强VideoLLM的时序理解,可复用于任何稀疏采样视频理解流程,缓解帧选择带来的时序推理性能下降。
S2C2Seg:面向开放词表分割的语义-空间一致性与类别优化
S2C2Seg: Semantic-Spatial Consistency and Category Optimization for Open-Vocabulary Segmentation
免训练即插即用的类别子集筛选与置信度加权融合模块,可直接叠加到 SCLIP/ProxyCLIP/CorrCLIP 等 CLIP 密集预测方法上,缓解开放词表下的类别冗余与空间精度不足。
R4:面向视觉语言模型在 4D 时空空间中的检索增强推理
R4: Retrieval-Augmented Reasoning for Vision-Language Models in 4D Spatio-Temporal Space
把物体级语义描述锚定到度量空间与时间轴上构建可跨智能体共享的 4D 知识库,并用语义/空间/时序三路键做检索,为 VLM 在具身场景中提供免训练的长时记忆与时空推理能力,可直接迁移到导航与情景问答。
R2-Seg:通过解剖推理与统计拒绝实现免训练的分布外医学肿瘤分割
R2-Seg: Training-Free OOD Medical Tumor Segmentation via Anatomical Reasoning and Statistical Rejection
把「LLM 解剖推理定位器官锚点 + 冻结基础模型出候选 + 双样本统计检验剔除」这套免训练流程当作通用后处理范式,可直接套到任何分割基础模型上抑制 OOD 假阳性,且与测试时增强天然兼容。
OmniGround:面向真实复杂场景的综合时空视觉定位基准
OmniGround: A Comprehensive Spatio-Temporal Grounding Benchmark for Real-World Complex Scenarios
STVG 被拆成「高层时序定位 + 细粒度时空传播」两阶段且免训练,可直接套用到现有多模态大模型上做视频目标定位,无需微调即可提升小目标与遮挡场景的 m_tIoU/m_vIoU。
MRD:面向高分辨率图像理解的多分辨率检索-检测融合
MRD: Multi-resolution Retrieval-Detection Fusion for High-Resolution Image Understanding
把开放词表检测器当作定位先验,与多分辨率裁剪检索做免训练融合,为 MLLM 处理高分辨率图像提供了一条可直接套用的「检索+检测」双路增强管线,可迁移到任意现成 MLLM 上。
MERG3R:面向大规模神经视觉几何的分治方法
MERG3R: A Divide-and-Conquer Approach to Large-Scale Neural Visual Geometry
对做前馈式三维重建的人,这篇给出了一个免训练的分治推理范式:把无序大图集切成重叠子集分别用 VGGT/Pi3 类模型重建,再用全局对齐加置信度加权光束法平差合并,可直接套用到任何受显存限制的几何基础模型上以突破其原生规模上限。
LightSplat:五秒内完成快速且内存高效的开放词表三维场景理解
LightSplat: Fast and Memory-Efficient Open-Vocabulary 3D Scene Understanding in Five Seconds
把语义压缩成 2 字节索引、只挂在显著区域并用索引-特征映射管理,这套免训练、免逐高斯特征优化的做法可直接迁移到任何基于 3DGS 的开放词表查询或编辑管线,把原本分钟级的特征蒸馏降到秒级。
LensWalk:通过规划视频观看方式实现智能体式视频理解
LensWalk: Agentic Video Understanding by Planning How You See in Videos
把「看哪里、看多密」变成智能体可调的工具参数,视觉研究者可借鉴这种按需采样+工具编排的推理范式,用于长视频问答与证据定位,无需微调即可插拔到现有 VLM 配方上。
LDP-Slicing:通过随机位平面切片实现图像的局部差分隐私
LDP-Slicing: Local Differential Privacy for Images via Randomized Bit-Plane Slicing
把像素值拆成二值位平面后再施加 LDP 机制,为视觉任务提供了一种免训练、可直接插在数据采集端的隐私保护预处理;做隐私敏感场景(如人脸识别数据外包、联邦式图像采集)时,可复用该位级扰动+预算分配思路替代直接在像素上加噪。
以图导图:基于整流上下文示例引导的一致视频非模态补全
Image Guides Images: Consistent Video Amodal Completion with Rectified In-Context Exemplar Guidance
把预训练图像修复模型直接用于视频非模态补全,通过调制 DiT 全局注意力中示例与目标帧的相对权重来提升跨帧一致性,并用双帧校准的示例修正解决冷启动;这套免训练、示例引导的注意力整流思路可迁移到其他需要跨帧一致性的视频生成/编辑任务。
FluxMem:面向流式视频理解的自适应分层记忆
FluxMem: Adaptive Hierarchical Memory for Streaming Video Understanding
提出免训练的分层视觉词元压缩方法(TAS+SDC),通过自适应压缩率减少冗余视觉词元,可直接用于视频语言模型的高效推理,降低延迟和显存。
先构想、再关注、后回应:大型视觉语言模型中的反事实幻觉缓解
Envision, Attend, Then Respond: Counterfactual Hallucination Mitigation in Large Vision-Language Models
提出一种免训练框架,利用扩散先验生成视觉印象并定位反事实元素,再通过对比解码抑制幻觉,可复用于提升LVLM在视觉证据与常识冲突时的鲁棒性。
DeepScan:面向大型视觉语言模型视觉定位推理的免训练框架
DeepScan: A Training-Free Framework for Visually Grounded Reasoning in Large Vision-Language Models
提出免训练的分层扫描与重聚焦机制,可即插即用地增强LVLM的视觉定位与细粒度理解能力,为视觉证据提取与推理提供可复用框架。
面向免训练多视图图像编辑的耦合扩散采样
Coupled Diffusion Sampling for Training-Free Multi-View Image Editing
提出耦合扩散采样:同时从多视图生成分布与2D编辑分布采样两条轨迹并用耦合项连接,使预训练2D编辑模型在采样过程中引导多视图生成模型,从而免训练地获得跨视图一致的编辑结果,可复用于视频/多视图一致生成。
CLiViS:借助语言-视觉协同释放认知地图以赋能具身视觉推理
CLiViS: Unleashing Cognitive Map through Linguistic-Visual Synergy for Embodied Visual Reasoning
提出免训练的 LLM 规划 + VLM 开放世界感知协同框架,并用动态认知地图作为结构化场景表示,可复用于长时第一人称视频的逐步组合推理与长程视觉依赖建模。