Tag · 4 篇
推理时扩展
重新思考文生视觉生成中推理时扩展的提示词设计
Rethinking Prompt Design for Inference-time Scaling in Text-to-Visual Generation
把推理时扩展从「多采样视觉结果」扩展到「同步改写提示词」,并给出元素级事实校验器作为对齐反馈信号;做文生图/文生视频时可直接复用该「生成—诊断失败模式—重写提示词—再生成」的闭环,替代单纯增加采样步数或随机种子。
组扩散:通过解锁跨样本协作增强图像生成
Group Diffusion: Enhancing Image Generation by Unlocking Cross-Sample Collaboration
把注意力从单张图内的 patch 扩展到一组图像之间,在推理阶段联合去噪,是一种无需重训即可插到现有 DiT 上的推理策略;做图像生成的人可以直接试「组大小」这一新超参,并用其提出的定性指标监控跨样本注意力强度与 FID 的相关性。
构建具有人机协同监督的精确视频语言
Building a Precise Video Language with Human-AI Oversight
提出以「批判式人机协同」替代全人工写描述:模型先出预描述,专家只写纠错批判,再把批判与前后描述偏好用 SFT/DPO/推理时扩展训练开源 VLM,可直接迁移到任何需要高质量细粒度视频/图像描述数据的视觉任务。
通过外部推理框架突破多模态大语言模型的区域感知瓶颈
Breaking the Regional Perception Bottleneck of Multimodal Large Language Models via External Reasoning Framework
把蒙特卡洛树搜索这类推理时搜索引入 MLLM 的像素级视觉定位,用多模态特征对齐打分和区域特征加权投票替代回归解码器,为纯 MLLM 做 grounding 提供了一条不增加训练成本、只扩展推理阶段的可复用路线。