Tag · 13 篇
测试时扩展
dMLLM-TTS:面向扩散多模态大语言模型的自验证高效测试时扩展
dMLLM-TTS: Self-Verified and Efficient Test-Time Scaling for Diffusion Multi-Modal Large Language Models
把 dMLLM 自身的图像理解能力当作验证器,配合 O(N+T) 的分层搜索在采样轨迹与迭代精修两个维度上做测试时扩展,可直接迁移到任意扩散式多模态大模型的推理阶段以提升文生图质量并降低搜索开销。
视觉文档理解与推理:一种带智能体级自适应测试时扩展的多智能体协作框架
Visual Document Understanding and Reasoning: A Multi-Agent Collaboration Framework with Agent-Wise Adaptive Test-Time Scaling
把视觉文档理解拆成规划、执行、判断、回答四个智能体并做智能体级自适应测试时扩展,为 VLM 在复杂多步推理场景下提供了一种可复用的「程序化扩展」替代单体模型堆参数的思路。
VisRef:思考时视觉重聚焦提升多模态大推理模型的测试时扩展
VisRef: Visual Refocusing while Thinking Improves Test-Time Scaling in Multi-Modal Large Reasoning Models
提出一种无需额外强化学习微调的测试时扩展框架,通过选择与推理上下文语义相关且全局多样的视觉令牌核心集并重新注入,缓解多模态大模型在长文本推理中对视觉信息的注意力衰减,可复用于视觉问答、视觉推理等任务。
面向视觉语言模型的统一生成与自验证:基于优势解耦的偏好优化
Unified Generation and Self-Verification for Vision-Language Models via Advantage Decoupled Preference Optimization
把生成与自验证统一进单个 VLM 策略,用解耦优势与词元掩码隔离梯度,可在不额外训练验证模型的前提下实现并行测试时扩展,直接降低多模态推理的推理成本;其偏好验证奖励设计可迁移到任意需要自洽性打分的视觉语言任务。
测试时实例特定参数组合:自适应生成建模的新范式
Test-Time Instance-Specific Parameter Composition: A New Paradigm for Adaptive Generative Modeling
在推理前一次性生成输入条件化的权重增量并注入预训练生成模型,为视觉生成模型提供免微调的逐样本自适应手段,可直接用于轻量化/量化扩散模型的质量补偿与测试时扩展。
分块推进:面向自回归图像生成的测试时扩展
Progress by Pieces: Test-Time Scaling for Autoregressive Image Generation
把 LLM 的 test-time scaling 思路迁移到视觉自回归模型:用网格分区的渐进式生成 + 早期剪枝 + 锚点固定,替代 Best-of-N 的全长浪费计算,可直接用于提升任意栅格扫描式 AR 图像生成器的采样质量与成本比。
基于整流流 Transformer 的概率性降水临近预报
Probabilistic Precipitation Nowcasting with Rectified Flow Transformers
把 rectified flow transformer 用在潜空间视频预测上,并用逐帧编码器加统一解码器保证时序一致性;这套「保留不确定性的第一阶段压缩 + 潜空间流匹配生成」可以直接迁移到视频预测、时空序列生成等视觉任务,测试时扩展带来的增益也值得在视觉生成里复现验证。
关联多模态大语言模型中的感知、置信度与准确率
Linking Perception, Confidence and Accuracy in MLLMs
对做多模态大模型视觉感知的人来说,这篇给出了一个可复用的思路:用原图-加噪图配对构造置信度奖励做强化学习,让模型在视觉不确定时给出校准的置信度;校准后的置信度还能直接驱动测试时扩展(自一致性/自反思/视觉自检的调度),是一种无需重训即可提升准确率的推理期手段。
LATTICE:让大规模高保真 3D 生成走向普及
LATTICE: Democratize High-Fidelity 3D Generation at Scale
VoxSet 把 3D 资产压缩成锚定在粗体素网格上的潜变量集合,使位置嵌入能直接引导生成并支持 token 级测试时扩展;这套半结构化表示可直接迁移到任何需要从稀疏结构生成细节几何的 3D 生成管线。
以感知为中心的过程奖励模型改进视觉语言模型
Improving Vision-language Models with Perception-centric Process Reward Models
提供了一种可复用的过程奖励模型思路:把 VLM 回答拆成与图像相关的断言,逐条与视觉证据比对以定位感知幻觉片段,并将该信号转为 token 级优势用于 RL 训练或推理时的截断重生成,可直接用于缓解视觉幻觉与提升多模态推理。
HoneyBee:面向视觉语言推理器的数据配方
HoneyBee: Data Recipes for Vision-Language Reasoners
论文系统研究了视觉语言推理数据集的构建策略,包括上下文来源、数据干预和维度扩展,并提出了测试时扩展方法,可直接用于构建高质量多模态推理训练数据。
GroundingME:通过多维度评测揭示多模态大语言模型中的视觉定位差距
GroundingME: Exposing the Visual Grounding Gap in MLLMs through Multi-Dimensional Evaluation
对做视觉定位/VLM 的研究者,这篇提供了四维诊断基准(判别、空间、受限、拒绝),可直接用来暴露模型在相似目标区分、复杂关系描述和不可定位查询上的失效模式;其测试时扩展(按思维轨迹选最优回答)与数据混合训练两种改进策略也可迁移到其他 grounding 模型的评测与微调流程。
从规模到速度:面向图像编辑的自适应测试时扩展
From Scale to Speed: Adaptive Test-Time Scaling for Image Editing
把测试时扩展(Image-CoT)从 T2I 迁移到图像编辑时,可用「编辑难度估计→动态采样预算」+「区域定位与描述一致性做早期剪枝」+「实例级验证器驱动的深度优先提前停止」三件套,在 Step1X-Edit、BAGEL、FLUX.1 Kontext 上以同等采样预算换 2 倍以上加速,是可直接复用的推理期加速与筛选框架。