Tag · 3 篇
文本-图像对齐
分布 生成模型与扩散2数据集与评测1
01 02 03
通过理解来生成:面向统一多模态模型的理解驱动内在奖励
Learning to Generate via Understanding: Understanding-Driven Intrinsic Rewarding for Unified Multimodal Models
把统一多模态模型的理解分支当作奖励模型,用 token 级文本-图像对齐内在奖励做自监督强化学习来提升 T2I 生成,为视觉研究者提供了一种无需外部偏好数据即可微调生成质量的思路。
DPGF-Net:用于联合评估 AI 生成图像感知质量与语义一致性的双先验引导融合网络
DPGF-Net: Dual-Prior Guided Fusion Network for Joint Assessment of Perceptual Quality and Semantic Consistency in AI-Generated Images
面向 AI 生成图像的联合质量与语义一致性评估,用图像侧先验把渲染失真与内容解耦、再与提示词模板交互,可作为 T2I 生成模型评测与数据筛选的自动化打分器。
CTCal:通过跨时间步自校准重新审视文本到图像扩散模型
CTCal: Rethinking Text-to-Image Diffusion Models via Cross-Timestep Self-Calibration
把扩散模型内部小时间步的交叉注意力图当作显式监督信号,去校准大时间步的表征学习,是一种无需额外标注、模型无关的训练期对齐增强手段,可直接插入 SD 系列或 flow matching 模型以提升文本-图像细粒度对齐。