Tag · 6 篇
可解释性分析
通过跨模态注意力可区分性理解视频语言模型中的时序逻辑一致性
Understanding Temporal Logic Consistency in Video-Language Models through Cross-Modal Attention Discriminability
对做视频多模态理解的人，这篇给出了一个可复用的诊断与改进思路：用跨模态注意力头对不同时间戳视频 token 的区分度来定位时序推理失效，并通过注意力锐化目标直接提升时序分辨率，可作为分析 Video-LLM 时序能力的探针与训练正则。
建模大脑的语法：ROI 引导的 fMRI 预训练用于可迁移与可解释的视觉解码
Modeling the Brain's Grammar: ROI-Guided fMRI Pretraining for Transferable and Interpretable Vision Decoding
把 Matryoshka 式嵌套嵌入压缩与 ROI 级稀疏上下文融合用于跨被试 fMRI 预训练，为视觉解码提供可迁移、可按脑区归因的表征；做脑-视觉对齐或多被试表征对齐的研究者可直接借用其 ROI 级 token 化与嵌套压缩思路。
探究自监督表征在音视频深度伪造检测中的作用
Investigating Self-Supervised Representations for Audio-Visual Deepfake Detection
系统评测了音频、视频、多模态三类自监督特征在音视频深度伪造检测中的表现，并给出「音频引导表征泛化最好」的结论，可直接作为视觉研究者挑选伪造检测骨干特征、以及设计跨模态互补融合时的选型依据。
IEBGL：一种可解释性增强的脑图学习框架，结合大语言模型指导的拓扑与文献增强的语义
IEBGL:An Interpretability-Enhanced Brain Graph Learning Framework with LLM-Instructed Topology and Literature-Augmented Semantics
对做医学影像图学习的人，这篇给出了用 LLM 推理重建脑连接拓扑、并用生物医学文献语义增强节点表示的范式，可作为把外部知识注入图结构、提升可解释性的可复用思路。
基于知识引导多模态图学习从高内涵图谱解析基因型-表型机制
Deciphering Genotype-Phenotype Mechanisms from High-Content Profiling via Knowledge-Guided Multi-modal Graph Learning
把高内涵细胞形态学表型当作图上的关系信号而非节点特征，并学习逐边置信度与知识门控，这一思路可迁移到视觉中需要将图像特征嵌入结构化知识图谱的任务（如场景图推理、视觉-知识联合推理），也为细胞成像的表征学习提供了可解释的图建模范式。
Video-LLM 如何回答视频问题的实证研究
An Empirical Study on How Video-LLMs Answer Video Questions
用注意力敲除（temporal/spatial/language-to-video）逐层分析 Video-LLM，揭示视频信息抽取集中在浅层、中间层是关键离群层、时空建模更依赖语言引导的检索而非视频 token 自注意力；这些结论可直接用于剪掉冗余的视频自注意力计算，为 Video-LLM 的推理加速和结构设计提供依据。