Tag · 5 篇
提示词重写
重新思考文生视觉生成中推理时扩展的提示词设计
Rethinking Prompt Design for Inference-time Scaling in Text-to-Visual Generation
把推理时扩展从「多采样视觉结果」扩展到「同步改写提示词」,并给出元素级事实校验器作为对齐反馈信号;做文生图/文生视频时可直接复用该「生成—诊断失败模式—重写提示词—再生成」的闭环,替代单纯增加采样步数或随机种子。
RAISE:面向免训练文本到图像对齐的需求自适应进化精修
RAISE: Requirement-Adaptive Evolutionary Refinement for Training-Free Text-to-Image Alignment
把 T2I 生成当作需求驱动的测试时搜索:用结构化需求清单驱动 VLM 验证,只在未满足项上分配提示词重写、噪声重采样与指令编辑等精修动作,可作为即插即用的免训练推理框架套到任意扩散模型上,替代固定迭代预算的 scaling。
PromptEnhancer:通过细粒度奖励优化重写器以提升文本到图像生成
PromptEnhancer: Taming Your Rewriter for Text-to-Image Generation via Fine-Grained Reward
提出可插拔的提示词重写框架,通过监督微调与基于细粒度奖励模型的强化学习优化重写器,可提升任意预训练T2I模型对复杂提示词的遵循能力,为改善文生图对齐提供通用后处理方案。
分块推进:面向自回归图像生成的测试时扩展
Progress by Pieces: Test-Time Scaling for Autoregressive Image Generation
把 LLM 的 test-time scaling 思路迁移到视觉自回归模型:用网格分区的渐进式生成 + 早期剪枝 + 锚点固定,替代 Best-of-N 的全长浪费计算,可直接用于提升任意栅格扫描式 AR 图像生成器的采样质量与成本比。
组合生成的隐藏危险:诊断文本到图像模型中的语义安全失效
Hidden Dangers of Compositional Generation: Diagnosing Semantic Safety Failures in Text-to-Image Models
提出一种纯文本空间的黑盒组合重写攻击 CoRA,可复用于评估 T2I 模型安全过滤器的语义组合漏洞,并启发设计更鲁棒的安全对齐与过滤机制。