Tag · 6 篇
医学报告生成
基于短语视觉定位的自动偏好优化用于改进胸部X光报告生成
Phrase-grounded APO for Improving Chest X-ray Report Generation
提出一种无需真值偏好对的自动偏好优化方法,通过事实核查和LLM提示纠正生成代理偏好数据,并设计结合短语视觉定位损失的APO损失函数,可提升视觉语言模型在推理时的报告事实正确性。
PETAR:面向 PET 自动报告的掩码感知视觉语言建模与局部化发现生成
PETAR: Localized Findings Generation with Mask-Aware Vision-Language Modeling for PET Automated Reporting
把 3D 病灶分割掩码作为显式空间条件注入视觉语言模型,并用 3D focal prompt 聚焦占体积极小(<0.1%)的病灶,这一「掩码感知 + 局部提示」思路可迁移到任何需要空间定位依据的医学或细粒度视觉语言生成任务。
OraPO:面向数据高效与事实准确的放射学报告生成的 Oracle 教育强化学习
OraPO: Oracle-educated Reinforcement Learning for Data-efficient and Factual Radiology Report Generation
把 GRPO 探索失败的样本通过轻量 oracle 步骤转成直接偏好监督,配合基于原子临床事实蕴含检查的句级稠密奖励,为视觉语言模型在低数据预算下做单阶段 RL 训练提供了可复用范式。
F$^2$-Assist:基于超声检查的多阶段胎儿生长预测与报告生成
F$^2$-Assist: Multi-Phase Fetal Growth Forecast and Report Generation from Ultrasound Examination
把连续生物测量值编码为可微 token 的 Growth Parameter Adapter,以及处理不规则采样间隔的 History-Aware Temporal Encoding,可迁移到任何需要数值精确推理的医学视觉语言模型与纵向影像随访任务。
CURE:面向可靠解剖定位报告生成的课程引导多任务训练
CURE: Curriculum-guided Multi-task Training for Reliable Anatomy Grounded Report Generation
把错误感知的课程学习用在多模态指令微调上,按模型当前表现动态调整短语定位与报告生成样本的采样权重,为视觉-语言模型提升空间对齐、抑制幻觉提供了一个无需额外数据的可复用训练策略。
BiOTPrompt:双向最优传输引导的疾病演化感知放射报告生成
BiOTPrompt: Bidirectional Optimal Transport Guided Prompting for Disease Evolution-aware Radiology Report Generation
用双向最优传输计划的不对称性来定位新出现与已消退病灶,这一思路可迁移到任何需要比较两期影像差异的视觉任务(如变化检测、随访影像分析);同时其视觉-语言一致性约束为缓解多模态生成中的幻觉提供了可复用的正则手段。