Tag · 19 篇
免训练方法
pH试纸式选择性遗忘:一种钝但快速的机器遗忘诊断基线
pH-Strips for Selective Forgetting: A Blunt but Fast Diagnostic Baseline for Machine Unlearning
提供了一种免训练、仅需少量样本即可快速擦除模型中特定概念(如分类中的类别、生成中的风格)的诊断基线,视觉研究者可将其作为评估新遗忘方法效率与效果的快速试金石,或直接用于扩散模型的概念擦除。
面向长视频理解的视频面板
Video Panels for Long Video Understanding
提出一种免训练、参数无关的视觉提示策略,通过将多帧拼接为面板图像来权衡空间细节与时序分辨率,可直接集成到现有视频语言模型中提升长视频理解性能。
TF-SSD:通过协同掩码筛选构建免训练协同显著性目标检测的强流水线
TF-SSD: A Strong Pipeline via Synergic Mask Filter for Training-free Co-salient Object Detection
展示如何免训练地协同 SAM 与 DINO:用 SAM 生成候选掩码池,再用 DINO 注意力图做图像内显著性筛选、用跨图像原型相似度做图像间选择,可直接迁移到其他需要跨图像一致性的分割任务。
通过视觉记忆机制扩展多模态大语言模型的长视频理解能力
Scaling the Long Video Understanding of Multimodal Large Language Models via Visual Memory Mechanism
提出免训练的视觉记忆机制,将视觉KV缓存作为记忆源,通过双路径压缩和多样化读取策略,使多模态大模型能处理无限长度视频,为长视频理解提供可复用的记忆管理方案。
解析、搜索与确认:基于思维链推理与结构化空间记忆的免训练航拍视觉对话导航
Parse, Search, and Confirmation: Training-Free Aerial Vision-and-Dialog Navigation with Chain-of-Thought Reasoning and Structured Spatial Memory
把免训练 MLLM 的导航能力拆成「解析指令—搜索探索—确认验证」三段思维链,并配一个融合多尺度观测、视觉记忆与几何记忆的结构化空间记忆,可直接迁移到任何需要长时程空间推理的视觉语言任务(如视觉定位、具身导航)。
OpenVoxel:面向开放词表三维场景理解的免训练体素分组与描述生成
OpenVoxel: Training-Free Grouping and Captioning Voxels for Open-Vocabulary 3D Scene Understanding
对做开放词表 3D 场景理解的视觉研究者,这篇论文提供了一条免训练路径:直接在稀疏体素光栅化(SVR)模型的分组结果上,用 MLLM 做文本到文本检索,替代 CLIP/BERT 文本嵌入,可复用于 OVS/RES 等 3D 任务。
MODIX:面向视觉语言模型的免训练多模态信息驱动位置索引缩放
MODIX: A Training-Free Multimodal Information-Driven Positional Index Scaling for Vision-Language Models
对做 VLM 推理与注意力分析的人,这篇给出了一个免训练、不改参数的位置索引重标定手段:用协方差熵衡量模态内信息密度、用跨模态对齐衡量模态间交互,据此缩放位置步长,可直接插到现有 VLM 的注意力计算前,用来缓解冗余视觉 token 抢占注意力的问题。
LaS-Comp:基于隐空间-空间一致性的零样本三维补全
LaS-Comp: Zero-shot 3D Completion with Latent-Spatial Consistency
把 3D 基础模型的生成先验当作免训练的补全器,用「显式替换 + 隐式精修」两阶段保证观测区域保真与边界无缝,可直接迁移到点云/隐式场补全、稀疏观测重建等任务。
IsoCLIP:分解 CLIP 投影器以实现高效的模态内对齐
IsoCLIP: Decomposing CLIP Projectors for Efficient Intra-modal Alignment
对做视觉检索或复用 CLIP 图像编码器的人,这篇给出了一个免训练的后处理:从 projector 权重里用谱分析取出跨模态对齐的各向同性子空间,丢掉模态特有的各向异性方向,就能直接提升 image-to-image 检索并降低延迟,可作为一个即插即用的特征变换。
InverFill:面向高质量少步扩散图像修复的一步反演方法
InverFill: One-Step Inversion for Enhanced Few-Step Diffusion Inpainting
把输入掩码图像的语义通过一步反演注入初始噪声,替代随机高斯噪声,可直接套用到任何少步 T2I 模型的 blended sampling 流程中,在低 NFE 下改善修复区域与背景的协调性,且无需重训练。
FreqEdit:保留高频特征以实现鲁棒的多轮图像编辑
FreqEdit: Preserving High-Frequency Features for Robust Multi-Turn Image Editing
针对多轮指令编辑中高频细节逐步丢失的问题,提出从参考速度场注入高频特征、空间自适应调制注入强度、并周期性重校准编辑轨迹的免训练方案,可直接用于提升现有扩散编辑模型在长链迭代下的身份保持与指令跟随能力。
首词元 Logit 提升:缓解大型视觉语言模型中对象幻觉的视觉定位方法
First Logit Boosting: Visual Grounding Method to Mitigate Object Hallucination in Large Vision-Language Models
FLB 是一种免训练的解码策略,通过复用首个生成词元的 logit 来抑制 LVLM 中的对象幻觉,可即插即用地应用于任何自回归视觉语言模型,且推理开销可忽略。
不要展示像素,展示线索:通过感知程序解锁语言模型中的视觉工具推理
Don't Show Pixels, Show Cues: Unlocking Visual Tool Reasoning in Language Models via Perception Programs
提出将视觉工具输出(如深度、光流、对应关系)重写为紧凑、结构化的语言原生摘要,使多模态大模型能直接解析和推理,从而在BLINK等感知任务上大幅提升性能,为视觉-语言模型中的工具使用提供了免训练、模型无关的新范式。
先分流,再定位:面向长视频理解的按查询类型自适应帧选择
Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding
提出按查询类型(全局/局部)分流的免训练帧选择策略:全局查询用均匀采样、局部查询才启用查询感知检索,可直接嵌入现有 LMM 长视频推理管线,在 256 帧输入下仍稳定提升,为长视频 token 预算分配提供可复用思路。
面向免训练开放词表语义分割的免 logits 优化直接分割方法
Direct Segmentation without Logits Optimization for Training-Free Open-Vocabulary Semantic Segmentation
把视觉-语言 logits 与真值的分布差异直接取解析解当作语义图,省掉迭代训练和模型特定的注意力调制,可直接套用到任意 CLIP 类骨干的免训练开放词表分割流程中。
DRS-GUI:面向免训练 GUI 视觉定位的动态区域搜索
DRS-GUI: Dynamic Region Search for Training-Free GUI Grounding
把 MCTS 驱动的 Focus/Shift/Scatter 区域搜索作为免训练插件接到现成 MLLM 上,用于高分辨率截图中的小目标定位,可直接迁移到任意需要从大图中裁剪出相关区域再交给 VLM 的视觉定位任务。
CausalLens:敏感度引导的多头因果干预用于大型视觉语言模型幻觉缓解
CausalLens: Sensitivity-Guided Multi-Head Causal Intervention for Hallucination Mitigation in Large Vision-Language Models
提出一种免训练、单次前向的推理时干预:按视觉、文本、系统提示词三条通路分解注意力头,用敏感度度量挑出视觉可靠的注意力头并调整其中层隐状态贡献,再以投影对齐校正稳定多头融合后的状态。做 LVLM 幻觉缓解或视觉 grounding 的研究者可直接复用这套注意力头级敏感度分析与隐状态校正流程,替代多遍/对比解码以降低延迟。
基于自反思多模态理解的智能体式视频摘要
Agentic Video Summarization via Self-Reflecting Multimodal Understanding
把视频摘要从「特征提取+帧级重要性回归」的判别式范式,换成由 MLLM 驱动的「摘要—验证—反思」闭环智能体流程,视觉研究者可直接复用其自反思验证环节来提升关键帧选择的可解释性与自适应能力,而无需训练新网络。
自适应辅助提示词混合用于目标忠实的扩散生成
Adaptive Auxiliary Prompt Blending for Target-Faithful Diffusion Generation
提出一种基于Tweedie恒等式的免训练自适应提示词混合框架,通过闭式系数在扩散每一步平衡辅助锚框提示词与目标提示词的影响,可直接用于提升罕见概念生成和图像编辑的忠实度。