Tag · 2 篇
表征干预
01 02
纯视频心智理论：增强多模态大语言模型中的心智理论能力
Video-Only ToM: Enhancing Theory of Mind in Multimodal Large Language Models
提出一种通过计算干预向量来对齐视觉表征与正确语义目标的方法，可引导模型注意力跨层关注视觉特征，减少对语言先验的依赖；该技术可复用于其他需要增强视觉 grounding 的多模态推理任务。
DeepAlign：通过模态特定对齐缓解模态冲突
DeepAlign: Mitigating Modality Conflict through Modality-Specific Alignment
针对视觉-语言表征错位与模态细节流失，提出表征干预加结构诱导知识蒸馏的对齐框架，可直接用于改进任意 MLLM 的视觉编码器到语言模型的投影对齐环节，并解锁交错图文序列上的多模态上下文学习。