Tag · 3 篇
注意力对齐
分布 视觉语言模型2图像编辑与可控生成1
01 02 03
一致性评论器：通过参考引导的注意力对齐纠正生成图像中的不一致
The Consistency Critic: Correcting Inconsistencies in Generated Images via Reference-Guided Attentive Alignment
把参考图引导的后编辑作为修正生成不一致的手段，并给出基于注意力对齐损失与细节编码器的可复用修正模块，可嵌入智能体做多轮局部编辑，为定制化生成的一致性修复提供思路。
面向多模态社交交互的多说话人注意力对齐
Multi-speaker Attention Alignment for Multimodal Social Interaction
针对多说话人视频场景中视觉 token 与文本 token 缺乏说话人一致对齐的问题，提出无需训练参数、无需改架构的注意力偏置注入方案：先动态选出负责视觉 grounding 的注意力头，再用说话人位置与现有注意力图计算社交感知偏置，直接加进注意力机制。做视频 VLM、多模态 grounding 或注意力分析的工作可直接复用这套「检测头选择 + 位置先验偏置」的免训练增强思路。
MotionEnhancer：利用视频扩散模型增强视觉语言模型的运动理解能力
MotionEnhancer: Leveraging Video Diffusion for Motion-Enhanced Vision-Language Models
把视频扩散模型内部对动态运动敏感的注意力当作先验，通过注意力对齐蒸馏进 VLM，且完全免训练、免改结构——做视频 VLM 的人可以直接复用这套「从生成模型借运动先验」的思路来补细粒度运动理解。