Tag · 12 篇
跨模态注意力
ViBES：具备行为智能 3D 虚拟身体的对话智能体
ViBES: A Conversational Agent with Behaviorally-Intelligent 3D Virtual Body
ViBES 将语音、文本和身体动作统一为交错的多模态词元流，并用按模态硬路由的混合专家 Transformer 联合建模，为视觉研究者提供了构建可控 3D 虚拟人对话系统的可复用架构与多轮对话-动作对齐评测思路。
UniAVGen：基于非对称跨模态交互的统一音频与视频生成
UniAVGen: Unified Audio and Video Generation with Asymmetric Cross-Modal Interactions
提出非对称跨模态交互机制与模态感知无分类器引导，可复用于任何需要时空对齐的多模态生成任务（如视频配音、说话人脸生成），其双分支 DiT 架构与 Face-Aware 调制为视觉-音频联合建模提供了新思路。
通过跨模态注意力可区分性理解视频语言模型中的时序逻辑一致性
Understanding Temporal Logic Consistency in Video-Language Models through Cross-Modal Attention Discriminability
对做视频多模态理解的人，这篇给出了一个可复用的诊断与改进思路：用跨模态注意力头对不同时间戳视频 token 的区分度来定位时序推理失效，并通过注意力锐化目标直接提升时序分辨率，可作为分析 Video-LLM 时序能力的探针与训练正则。
面向被植入后门的大型视觉语言模型的测试时注意力净化
Test-Time Attention Purification for Backdoored Large Vision Language Models
对做多模态大模型安全与部署的研究者，这篇给出了一个可直接复用的测试时检测信号——跨模态融合层中视觉-文本注意力比值，以及一个免训练、即插即用的输入净化流程（剪除高注意力可疑视觉 token），无需重训 LoRA 或适配器即可中和后门激活。
TTAPFormer：通过瞬态异步融合帧与事件实现鲁棒的任意点跟踪
TTAPFormer: Robust Arbitrary Point Tracking via Transient Asynchronous Fusion of Frames and Events
提出瞬态异步融合机制，用连续事件流更新离散帧间的时序演化，解决帧-事件异步融合的时序错位问题；跨模态局部加权融合模块根据模态可靠性自适应调整空间注意力，为多模态融合在模糊/低光下的鲁棒性提供可复用思路。
TR2M：借助语言描述与双层尺度导向对比将单目相对深度迁移为度量深度
TR2M: Transferring Monocular Relative Depth to Metric Depth with Language Descriptions and Dual-Level Scale-Oriented Contrast
把相对深度经文本+图像双模态条件、以像素级重缩放图映射到度量深度，并用深度分布引导的双层对比学习约束尺度，可作为跨域深度尺度对齐与伪度量标签构建的可复用范式。
面向多模态社交交互的多说话人注意力对齐
Multi-speaker Attention Alignment for Multimodal Social Interaction
针对多说话人视频场景中视觉 token 与文本 token 缺乏说话人一致对齐的问题，提出无需训练参数、无需改架构的注意力偏置注入方案：先动态选出负责视觉 grounding 的注意力头，再用说话人位置与现有注意力图计算社交感知偏置，直接加进注意力机制。做视频 VLM、多模态 grounding 或注意力分析的工作可直接复用这套「检测头选择 + 位置先验偏置」的免训练增强思路。
ID-Crafter：面向组合式多主体视频生成的视觉语言模型接地在线强化学习
ID-Crafter: VLM-Grounded Online RL for Compositional Multi-Subject Video Generation
分层身份保持注意力（intra-subject/inter-subject/cross-modal 三级聚合）与 VLM 语义引导、在线 RL 微调的组合，可直接迁移到个性化视频生成与多主体可控生成中，解决多主体身份混淆与语义冲突问题。
面向解耦文本驱动运动生成的语义先验分层增强
Hierarchical Enhancement of Semantic Priors for Disentangled Text-Driven Motion Generation
把潜空间结构化为多个语义一致子流形（AG-VAE）的思路，可直接迁移到视觉扩散模型的潜空间解耦与可控生成；分层跨模态注意力与动态记忆融合也可用于文本到图像/视频的条件注入设计。
DyFCLT：面向多模态小目标检测的动态频率解耦跨模态学习 Transformer
DyFCLT: Dynamic Frequency-Decoupled Cross-Modal Learning Transformer for Multimodal Tiny Object Detection
把频域子带解耦后做跨模态注意力，为 RGBT 小目标检测提供了一条可复用的思路：按频率成分而非空间位置对齐模态，可直接迁移到其他多模态密集预测任务。
CLCR：面向多模态学习的跨层级语义协同表征
CLCR: Cross-Level Semantic Collaborative Representation for Multimodal Learning
对做视觉-语言或多模态融合的研究者，可复用其「层级化共享/私有子空间 + 可学习词元预算约束跨模态注意力」的设计，避免私有信息在融合时泄漏，并可用其层级锚点聚合思路处理视觉与文本语义尺度不同步的问题。
3M-TI：基于免标定多相机跨模态扩散的高质量移动热成像
3M-TI: High-Quality Mobile Thermal Imaging via Calibration-free Multi-Camera Cross-Modal Diffusion
把扩散 UNet 中的自注意力层替换为跨模态自注意力（CSM），在去噪过程中自适应对齐热成像与 RGB 特征，从而绕开相机标定；这一「免标定跨模态特征对齐 + 生成先验」的思路可直接迁移到其他多传感器图像复原任务（如低光 RGB-NIR 增强、深度引导超分）。