Tag · 7 篇
医学视觉语言模型
Medic-AD:迈向医学视觉语言模型的临床智能
Medic-AD: Towards Medical Vision-Language Model's Clinical Intelligence
可学习异常感知 token 与跨图像差异 token 的设计,可迁移到任何需要纵向对比(随访、变化检测)的视觉-语言模型中,把时序变化显式编码进 token 而非依赖后处理;其可解释性阶段用热力图对齐模型推理,也为医学 VLM 的可信输出提供了可复用的训练范式。
MedMO:面向医学图像的多模态大语言模型视觉定位与理解
MedMO: Grounding and Understanding Multimodal Large Language Model for Medical Images
MedMO 的多阶段训练配方(跨模态预训练对齐异构视觉编码器、多任务指令微调、带 GIoU 框级奖励的强化学习)为医学视觉-语言模型提供了可复用的训练范式,尤其其框级 GIoU 奖励可直接用于提升视觉定位任务的空间推理能力。
LATA:面向医学视觉语言模型保形不确定性的拉普拉斯辅助传导式自适应
LATA: Laplacian-Assisted Transductive Adaptation for Conformal Uncertainty in Medical VLMs
把保形预测的预测集效率与类别条件覆盖率差距作为可靠性指标,用图像 kNN 图上的 CCCP 均值场传导式平滑在无标签、无训练条件下收紧零样本 VLM 的预测集,可直接迁移到任何需要带覆盖保证的不确定性输出的视觉识别流程。
用于医学视觉语言模型交叉公平性的双曲关系提示词
Hyperbolic Relational Prompts for Intersectional Fairness in Medical VLMs
把提示词生成建模为在双曲空间中基于样本级关系图的推理过程,为视觉语言模型提供了一种可复用的条件化手段,可用于处理交叉属性组合(如种族×性别)下的细粒度偏差;做提示词微调或多属性可控生成时,可借鉴其双曲图层的层级建模思路。
EMAD:面向阿尔茨海默病的以证据为中心的可定位多模态诊断
EMAD: Evidence-Centric Grounded Multimodal Diagnosis for Alzheimer's Disease
把「句子→证据短语→3D MRI 解剖结构」的分层视觉定位机制与可验证奖励的强化微调结合,可复用于任何需要让生成式报告中的每条结论落到具体图像区域的可解释医学视觉语言任务;GTX-Distill 用弱监督教师向模型自生成报告的学生迁移定位行为,为降低密集标注成本提供了可借鉴范式。
CMR-RD:面向可解释心脏磁共振诊断的长尾自适应视觉语言模型
CMR-RD: Long-Tailed Adaptive VLM for Explainable CMR Diagnosis
把在线多阶段强化学习与自适应采样(GPPO)用于视觉语言模型的后训练,让模型主动探索稀有类别,这套长尾偏置缓解思路可直接迁移到其他医学或长尾视觉-语言诊断任务。
BiomedCCPL:面向生物医学视觉语言模型的因果条件提示词学习
BiomedCCPL: Causal Conditional Prompt Learning for Biomedical Vision-Language Models
用因果前门调整约束图像条件提示词的生成,使提示词只依赖跨类共享的诊断性视觉特征,这一思路可直接迁移到任何 VLM 的 base-to-novel 泛化场景,用来抑制已见类中的虚假线索。