Tag · 9 篇
可解释性
Saliency-R1:通过显著性图对齐奖励强化可解释且忠实的视觉语言推理
Saliency-R1: Enforcing Interpretable and Faithful Vision-language Reasoning via Saliency-map Alignment Reward
提出一种无需额外计算开销的显著性图方法,可追踪视觉信息在推理链中的流动,并用显著性图与人工标注框的重叠度作为 GRPO 奖励,为 VLM 的视觉 grounding 与忠实性训练提供了可复用的奖励设计与归因工具。
SIR:面向可解释机器人学习的结构化图像表征
SIR: Structured Image Representations for Explainable Robot Learning
用场景图作为机器人策略的中间表征,把图像特征转成可稀疏化的图结构,既提升对干扰物的鲁棒性,又让决策过程可被逐节点审查;做视觉表征或 VLA 的研究者可借鉴这种「结构化中间表示 + 端到端稀疏化」的思路来替代黑箱图像嵌入。
旋转不变与对称感知像素差网络用于遥感目标检测
Rotation Invariant and Symmetry Aware Pixel Difference Network for Remote Sensing Object Detection
RIS-PDC 将旋转群先验和对称约束编码进卷积算子,用像素差和极谐空间聚合替代传统卷积,可直接替换骨干网络中的标准卷积,提升对旋转和遮挡的鲁棒性,且不增加参数量。
强化学习以学习,选举以推理:视频推理的双范式
Reinforce to Learn, Elect to Reason: A Dual Paradigm for Video Reasoning
提出一种训练时用强化学习生成结构化证据、推理时用证据加权选举的范式,可迁移到视频问答、时序定位等需要证据对齐的视觉语言任务,提升推理可靠性与可解释性。
可解释的跨域少样本学习与校正目标域局部对齐
Interpretable Cross-Domain Few-Shot Learning with Rectified Target-Domain Local Alignment
针对CLIP在跨域少样本场景下局部视觉-文本对齐失效的问题,提出基于循环一致性的自监督对齐方法,并引入语义锚框机制过滤噪声,可提升医学等细粒度领域的可解释识别性能。
层次概念嵌入与追踪用于可解释图像分类
Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification
HCEP 利用视觉语言模型的潜空间,通过层次化稀疏编码恢复图像中的概念,为设计可解释分类模型提供了新思路;其几何构造和恢复条件可推广到其他需要结构化概念表示的任务。
通过锚定描述实现判别性感知以用于推理分割
Discriminative Perception via Anchored Description for Reasoning Segmentation
用描述性 caption 与上下文做语义对比来构造判别性奖励,可作为一种可复用的 RL 奖励设计思路,用于任何需要模型聚焦目标区域的 grounding/分割任务,同时产出与分割对齐的可解释理由。
细胞类型原型引导的神经网络用于病理图像基因表达估计
Cell-Type Prototype-Informed Neural Network for Gene Expression Estimation from Pathology Images
将单细胞RNA测序数据构建的细胞类型原型作为结构正则,引导从病理图像预测基因表达,为计算病理中的弱监督回归与可解释性提供了新思路。
一次对齐即可解释:面向可扩展 B-cos 化的基础视觉 Transformer 特征对齐
Align Once to Explain: Feature Alignment for Scalable B-cosification of Foundational Vision Transformers
提出一种免标签的一次性特征对齐方法,将任意预训练视觉基础模型(监督、自监督、视觉语言)转换为内在可解释的 B-cos 变体,且转换后模型可直接作为骨干网络用于下游任务,为视觉模型可解释性提供高效、可扩展的解决方案。