Tag · 43 篇
免训练推理
视觉在哪里与语言相遇？通过对比注意力理解并改进 MLLM 中的视觉融合
Where Does Vision Meet Language? Understanding and Refining Visual Fusion in MLLMs via Contrastive Attention
提供了一种免训练的对比注意力机制，通过建模早期融合层与最终层之间的注意力变换来突出有意义的注意力转移，可直接插入任意 MLLM 的推理过程以提升多模态推理，无需微调；其逐层掩码分析范式也可用于诊断其他视觉-语言模型的融合位置。
面向组合式视频生成的免训练运动分解
Training-free Motion Factorization for Compositional Video Generation
把复杂运动拆成静止/刚体/非刚体三类，并用免训练的引导分支在扩散采样中分别约束外观稳定、刚体几何与局部形变，可直接迁移到任何视频扩散骨干上做可控运动合成。
TempoControl：面向文本到视频模型的时序注意力引导
TempoControl: Temporal Attention Guidance for Text-to-Video Models
利用文本到视频扩散模型中的交叉注意力图作为可优化的控制信号，在推理阶段对概念出现的时间位置进行对齐，无需重训练；这一思路可迁移到任何基于交叉注意力的可控生成任务（如空间布局控制、视频编辑中的时序一致性约束）。
告诉模型该看哪里：以视觉引导注意力缓解多模态大模型中的幻觉
Tell Model Where to Look: Mitigating Hallucinations in MLLMs by Vision-Guided Attention
VGA 利用视觉词元的语义内容构造精确视觉定位，并在推理时用该定位重定向注意力，为视觉研究者提供了一种免训练、兼容 FlashAttention 的注意力干预手段，可直接用于缓解 MLLM 的视觉幻觉与提升区域级视觉理解。
SwitchCraft：基于注意力控制的免训练多事件视频生成
SwitchCraft: Training-Free Multi-Event Video Generation with Attention Controls
EAQS 通过按事件对齐帧级注意力来引导提示词注入，ABSS 自适应调节引导强度，这套免训练的注意力操控思路可直接迁移到任何 DiT 类视频扩散模型上，用于解决多阶段叙事、镜头切换等时序可控生成问题。
SpotEdit：扩散 Transformer 中的选择性区域编辑
SpotEdit: Selective Region Editing in Diffusion Transformers
SpotSelector 用感知相似度判定哪些 token 在编辑中保持稳定并直接复用条件图像特征，SpotFusion 再做动态融合——这套「只去噪变化区域」的免训练策略可直接移植到任何 DiT 类编辑/修复管线，用来省算力并避免未编辑区域被破坏。
SketchDeco：面向精确草图上色的免训练潜空间组合方法
SketchDeco: Training-Free Latent Composition for Precise Sketch Colourisation
把扩散反演当作精确的局部「上色」工具，再用自定义自注意力把局部编辑与全局底图融合，这套免训练的潜空间组合流程可直接迁移到 inpainting、局部风格编辑等需要区域一致性的可控生成任务。
看见关键之处：一种免训练的自引导多模态细节感知与推理框架
Seeing What Matters: A Training-Free Self-Guided Framework for Multimodal Detail Perception and Reasoning
提出免训练的双分支关键区域定位（梯度语义相关图 + 视觉词元独特性）与渐进式视觉词元剪枝，可直接插入现成 MLLM 的推理流程，用于提升高分辨率细节感知并降低计算量，对做 VLM 细粒度理解与高效推理的人可复用。
SEASON：通过自诊断对比解码缓解视频大语言模型中的时序幻觉
SEASON: Mitigating Temporal Hallucination in Video Large Language Models via Self-Diagnostic Contrastive Decoding
提出免训练的对比解码框架，逐 token 诊断幻觉倾向并构造时序/空间负样本做自适应对比，可直接套用到任意 VideoLLM 的推理阶段以抑制时序不一致描述，无需重训。
重新审视 LVLM 中的视觉损坏：从形状-纹理视角看模型失效
Revisiting Visual Corruptions in LVLMs: A Shape-Texture Perspective on Model Failures
提出免训练的对比解码框架 ST-CD，通过构造形状与纹理互补的对比视图并在推理时自适应融合来纠正偏置，可直接迁移到任何 LVLM 的推理阶段以提升对视觉损坏的鲁棒性，无需微调。
RAISE：面向免训练文本到图像对齐的需求自适应进化精修
RAISE: Requirement-Adaptive Evolutionary Refinement for Training-Free Text-to-Image Alignment
把 T2I 生成当作需求驱动的测试时搜索：用结构化需求清单驱动 VLM 验证，只在未满足项上分配提示词重写、噪声重采样与指令编辑等精修动作，可作为即插即用的免训练推理框架套到任意扩散模型上，替代固定迭代预算的 scaling。
PG-VTON：基于图像块引导参考对齐的单次免训练虚拟试衣
PG-VTON: Single-Pass Training-Free Virtual Try-On via Patch-Guided Reference Alignment
把现成的图像修复扩散模型当作上下文补全器，仅用早期去噪步注入服装图像块、并在注意力层强化掩码区域 token 对服装 token 的关联，就能单次前向完成试衣；这套「不改权重、只调注入时机与注意力」的思路可直接迁移到其他参考图驱动的局部编辑任务。
PEARL：几何对齐语义的免训练开放词表语义分割
PEARL: Geometry Aligns Semantics for Training-Free Open-Vocabulary Semantic Segmentation
提出一种免训练、即插即用的两阶段推理框架：在自注意力块内用正交Procrustes对齐旋转key到query子空间，再用文本感知的拉普拉斯图求解细化像素logits，可复用于其他需要跨模态对齐的密集预测任务。
一个Token，两种命运：通过视觉Token操控对抗多模态大模型幻觉的统一框架
One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination
对做多模态大模型幻觉的研究者，这篇给出了一个免训练、只在潜空间操作的视觉token双向用法：用增强图像的token强化视觉表征，用剪枝后的token构造潜空间负样本校正语言先验偏置，可直接插到LLaVA类模型的推理流程里，代价仅1.06倍延迟。
Object-WIPER：免训练的视频物体及其关联效果移除
Object-WIPER: Training-Free Object and Associated Effect Removal in Videos
利用预训练视频扩散 Transformer 的交叉注意力与自注意力定位目标物体及其效果，并通过反转-去噪流程在免训练条件下完成视频物体移除与修复，为视频编辑提供可复用的注意力引导与背景保持策略。
文本到图像扩散模型中的邻域感知局部概念擦除
Neighbor-Aware Localized Concept Erasure in Text-to-Image Diffusion Models
提供一种免训练的三阶段概念擦除流程：频谱加权嵌入调制 + 注意力引导空间门控 + 空间门控硬擦除，可直接用于扩散模型的安全对齐与细粒度类别保真，避免擦除时误伤语义近邻概念。
NEAF：面向文本引导图像编辑中可泛化测试时优化的注意力融合自然图像编辑方法
NEAF: Natural Image Editing with Attention Fusion for Generalizable Test-time Optimization in Text-Guided Image Editing
提出可学习的 XA-Conductor 模块，在推理时对源分支、编辑分支与重建分支的交叉注意力图做自适应加权融合，无需微调即可用于任意 T2I 模型；做文本引导编辑、需要保持非编辑区域保真度的工作可直接复用这一三支反馈的注意力融合机制。
记忆很重要：用可学习查找表提升免训练零样本时序动作定位
Memory Matters: Boosting Training-Free Zero-Shot Temporal Action Localization with a Learnable Lookup Table
把跨视频的历史知识以可学习查找表的形式累积起来，替代逐视频独立的测试时自适应，可直接迁移到其他免训练 VLM 视频/图像任务（如零样本动作识别、开放词表检测）中做在线记忆增强。
MaskDiME：面向精确高效视觉反事实解释的自适应掩码扩散
MaskDiME: Adaptive Masked Diffusion for Precise and Efficient Visual Counterfactual Explanations
把扩散采样限制在决策相关区域、以掩码引导的局部采样实现免训练反事实生成，为视觉研究者提供一种可复用的思路：用扩散先验做模型行为归因，且推理开销比基线低一个数量级以上。
MAD：面向多模态大语言模型跨模态幻觉缓解的模态自适应解码
MAD: Modality-Adaptive Decoding for Mitigating Cross-Modal Hallucinations in Multimodal Large Language Models
对做多模态大模型推理的人来说，这是一种免训练的解码期干预手段：用模型自评估得到的模态相关性概率去加权各模态的对比解码分支，可直接套用到任意音视频/视觉语言模型的推理流程中抑制跨模态幻觉，无需重训。
超越窗口：全局-局部对齐CLIP用于免训练开放词表语义分割
Looking Beyond the Window: Global-Local Aligned CLIP for Training-free Open-Vocabulary Semantic Segmentation
提出全局-局部对齐的CLIP框架，通过跨窗口键值令牌交换和代理锚点解决滑窗推理中的语义不一致问题，可直接用于提升免训练开放词表分割方法的高分辨率处理能力。
LoL：比更长更长，将视频生成扩展至小时级
LoL: Longer than Longer, Scaling Video Generation to Hour
针对自回归长视频生成中注意力汇聚帧导致的场景重置问题，提出多头 RoPE 抖动这一免训练手段，打破头间注意力同质化；做流式/无限长视频生成或复用 RoPE 的位置编码方案时可直接借鉴。
KVSmooth：通过键值平滑缓解多模态大语言模型中的幻觉
KVSmooth: Mitigating Hallucination in Multi-modal Large Language Models through Key-Value Smoothing
提出一种免训练、即插即用的推理时方法，通过对 KV-Cache 中的键和值施加指数移动平均（EMA）平滑，并利用注意力熵动态调节平滑强度，来缓解多模态大语言模型在解码过程中的语义漂移和幻觉。该方法可直接集成到现有 MLLM 的推理流程中，无需重新训练或修改模型结构，为视觉-语言生成任务提供了一种高效的后处理手段。
Infinity-RoPE：动作可控的无限视频生成源自自回归自展开
Infinity-RoPE: Action-Controllable Infinite Video Generation Emerges From Autoregressive Self-Rollout
把 3D-RoPE 改造成「移动局部参考系」的相对论式编码，配合只保留 sink 与末帧两个锚框 token 的 KV Flush，可在不重训练的情况下把自回归视频扩散的生成时长推到无限，并支持提示词即时响应与多段转场；做长视频生成或 KV 缓存压缩的工作可直接复用这三件套。
图到帧 RAG：面向免训练与可审计视频推理的视觉空间知识融合
Graph-to-Frame RAG: Visual-Space Knowledge Fusion for Training-Free and Auditable Video Reasoning
把外部知识渲染成单张「推理帧」拼进视频，让 LMM 在统一视觉域内做联合推理，为视觉问答/视频推理提供了一种免训练、可审计的知识注入接口，可直接替换文本或多样本检索增强的拼接方式。
GrOCE：面向文本到图像扩散模型的图引导在线概念擦除
GrOCE : Graph-Guided Online Concept Erasure for Text-to-Image Diffusion Models
提供一种免训练、在提示词层面做概念擦除的推理时干预手段：用动态语义图定位目标概念簇并选择性切断其语义成分，可直接复用于扩散模型的内容安全过滤与个性化生成中的概念抑制，无需微调权重。
生成、分析与精修：基于多模态大模型元推理的免训练声源定位
Generate, Analyze, and Refine: Training-Free Sound Source Localization via MLLM Meta-Reasoning
把 MLLM 的推理能力当作免训练的音视频一致性判别器：用开放集角色标注加锚框投票量化音视频一致性，再用自适应门控决定是否修正框，这套「生成-分析-精修」流程可直接迁移到其他需要跨模态验证的定位任务（如指代定位、开放词表检测的后处理）。
GenErase：扩散模型中可泛化且语义感知的概念擦除
GenErase: Generalizable and Semantically-Aware Concept Erasure in Diffusion Models
在交叉注意力 value 空间做显式 erase-and-replace 并配合 per-token preserve projector 与硬几何门控，是一种可直接复用的免训练概念抑制手段，可用于个性化生成中去除身份/风格/物体，同时保护无关语义不被扭曲。
GIFT：面向高效视频理解的全局不可替代性帧定位
GIFT: Global Irreplaceability Frame Targeting for Efficient Video Understanding
提出一种免训练的关键帧选择框架，用「定向多样性」把相关性与多样性统一成不可替代性分数，并配合预算感知的自适应迭代选帧；做视频 VLM 推理或长视频理解时，可直接把这一选帧策略插到现有 LLaVA-Video 类模型的输入前端，替代均匀采样。
基于层自适应分布外校正的免训练长视频生成
Free-Lunch Long Video Generation via Layer-Adaptive O.O.D Correction
针对预训练短片段视频扩散模型在长视频推理时的分布外问题，提出免训练的分层自适应校正框架，包含视频相对位置重编码和分层稀疏注意力，可直接用于提升现有视频扩散模型的长视频生成质量。
以反事实对抗幻觉：扩散引导扰动用于抑制 LVLM 幻觉
Fighting Hallucinations with Counterfactuals: Diffusion-Guided Perturbations for LVLM Hallucination Suppression
用扩散模型编辑图像构造反事实样本，提取视觉诱发幻觉的低秩表征子空间，并在推理时把中间隐状态投影出该子空间——这套「反事实扰动+子空间投影」的免训练流程可直接迁移到其他多模态模型的忠实性修正与表征编辑研究。
FEAT：从任意设计源进行服装编辑与试穿
FEAT: Fashion Editing and Try-On from Any Design
Disentangled Dual Injection 的内容/风格解耦注入与 Orthogonal-Guided Noise Fusion 的正交投影去残留衣物+区域化噪声策略，是可复用到其他「保留身份/去除旧内容」的可控生成任务（如换装、换背景、局部重绘）的免训练手段。
Extend3D：城镇尺度三维生成
Extend3D: Town-Scale 3D Generation
把以物体为中心的 3D 生成模型的潜空间在 x/y 方向扩展并切成重叠图像块、逐时间步耦合，配合单目深度点云先验做空间对齐，是把固定尺寸 3D 生成器推广到城市场景的可复用套路；其中「under-noising」把结构缺失当作噪声、用 SDEdit 迭代补全遮挡区域，可直接迁移到场景补全与长序列外扩生成。
通过推理时自反思记忆演化多模态大语言模型的上下文安全
Evolving Contextual Safety in Multi-Modal Large Language Models via Inference-Time Self-Reflective Memory
提出上下文安全基准 MM-SafetyBench++ 和免训练框架 EchoSafe，通过自反思记忆库在推理时积累和检索安全经验，为视觉语言模型的安全对齐提供可复用的推理时自适应思路。
去噪即路径规划：基于 DPCache 的扩散模型免训练加速
Denoising as Path Planning: Training-Free Acceleration of Diffusion Models with DPCache
把扩散采样中「跳过哪些时间步」从局部启发式升级为基于路径代价张量 + 动态规划的全局调度，可直接套用到 DiT/FLUX/视频扩散等任意迭代采样器的免训练加速上，是缓存类加速方法（DeepCache、TeaCache 等）的通用改进思路。
思深则视弱：理解与缓解多模态大语言模型推理过程中的感知损伤
Deeper Thought, Weaker Aim: Understanding and Mitigating Perceptual Impairment during Reasoning in Multimodal Large Language Models
提出免训练的视觉区域引导注意力（VRGA）框架，通过熵-聚焦准则选择视觉头并重加权注意力，缓解多模态大模型在推理时的注意力分散问题，可直接用于提升VQA和视觉定位任务的性能。
直击要点：基于事件链的免训练多模态摘要
Cut to the Chase: Training-free Multimodal Summarization via Chain-of-Events
把分层事件图当作免训练的结构化推理骨架，为视频-文本-图像融合提供显式的跨模态视觉定位与时序事件转移建模，可复用于视频问答、视频描述等需要事件级时序推理的视觉-语言任务。
CC-VQA：面向知识型视觉问答中知识冲突缓解的冲突与相关性感知方法
CC-VQA: Conflict- and Correlation-Aware Method for Mitigating Knowledge Conflict in Knowledge-Based Visual Question Answering
对做知识型 VQA 的人，这篇给出了一个免训练、可直接插到现有 VLM 推理流程里的方案：先用视觉语义做内外知识冲突判定，再用相关性加权的位置编码压缩与自适应解码抑制低相关检索段落，可作为检索增强 VLM 推理阶段的通用后处理模块复用。
CARD：基于扩散的相关噪声感知复原
CARD: Correlation Aware Restoration with Diffusion
针对真实传感器中空间相关噪声的扩散复原方法，通过噪声白化将相关噪声转为独立同分布形式，并修改DDRM的采样更新步骤，为处理非i.i.d.噪声的复原任务提供了免训练、闭式采样的通用思路。
BAMI：GUI 视觉定位中的免训练偏差缓解
BAMI: Training-Free Bias Mitigation in GUI Grounding
针对高分辨率 GUI 截图上视觉定位的精度偏差与歧义偏差，提出免训练的推理期干预（由粗到细聚焦 + 候选选择），可直接套用到任意 VLM 的坐标预测环节，无需重训即可提升定位精度。
以非一致性为异常：通过免训练图拉普拉斯能量最小化进行异常检测
Anomaly as Non-Conformity via Training-Free Graph Laplacian Energy Minimization
把「查询图像块偏离正常特征流形的程度」量化为带锚定正常节点的二部图拉普拉斯能量的闭式解，异常分数取满足正常性约束所需的特征更新幅度；这一「优化诱导特征漂移」可作为免训练、无参数的异常打分算子，直接替换基于余弦相似度的记忆库检索，用于工业缺陷检测与医学异常定位。
基于 SVD 特征分解的免训练风格个性化
A Training-Free Style-Personalization via SVD-Based Feature Decomposition
用 SVD 分解内部特征的主成分来分离风格与内容，并在推理阶段通过特征混合与注意力校正实现风格迁移，为免训练个性化生成提供了一条可复用的「特征分解+注意力干预」路径。
3D-VCD：通过视觉对比解码缓解3D-LLM具身智能体的幻觉
3D-VCD: Hallucination Mitigation in 3D-LLM Embodied Agents through Visual Contrastive Decoding
把2D视觉对比解码的思路迁移到3D具身场景：在推理时对3D场景图施加类别标签交换、坐标加噪等扰动来构造"负"上下文，从而无需训练即可抑制3D-LLM的幻觉，可直接用于3D视觉语言模型的可靠性提升。