Tag · 7 篇
数据高效训练
VAST:面向数据高效视频推理的视频能力分层分类体系
VAST: Video Ability-Stratified Taxonomy for Data-Efficient Video Reasoning
对做视频 MLLM 推理的人,这篇给出了按「感知-推理-认知」能力分层组织训练数据、并用一致性奖励做 RL 微调的配方,可在不改架构的前提下大幅降低 RL 训练所需的样本量与 GPU 时数,VAST-Bench 也可直接作为能力分层评测集使用。
重新审视统一多模态模型的视觉生成:面向高效纯图像预训练的掩码建模
Rethinking UMM Visual Generation: Masked Modeling for Efficient Image-Only Pre-training
把 UMM 的视觉生成部分拆成「纯图像掩码预训练 + 少量图文对指令对齐」两阶段,用 1000 H800 小时从零训出 3.6B 生成器,为视觉研究者提供了一个低成本复现统一多模态生成能力的训练配方。
重新思考大视觉语言模型的词元缩减
Rethinking Token Reduction for Large Vision-Language Models
将词元缩减从启发式剪枝/合并转为可学习的压缩映射,并针对多轮VQA中后续问题未知的设定设计提示词无关的压缩器,为LVLM推理加速提供可复用训练范式。
OraPO:面向数据高效与事实准确的放射学报告生成的 Oracle 教育强化学习
OraPO: Oracle-educated Reinforcement Learning for Data-efficient and Factual Radiology Report Generation
把 GRPO 探索失败的样本通过轻量 oracle 步骤转成直接偏好监督,配合基于原子临床事实蕴含检查的句级稠密奖励,为视觉语言模型在低数据预算下做单阶段 RL 训练提供了可复用范式。
基于对数据集级平均精度边际贡献的目标检测在线数据筛选
Online Data Curation for Object Detection via Marginal Contributions to Dataset-level Average Precision
DetGain 把每张图对数据集级 AP 的边际扰动作为在线采样分数,并用教师-学生贡献差挑样本;做检测训练时可直接套用这套打分器做数据筛选,且与知识蒸馏叠加还能再涨点。
NoRD:一种无需推理的数据高效视觉-语言-动作模型
NoRD: A Data-Efficient Vision-Language-Action Model that Drives without Reasoning
对做自动驾驶VLA的研究者,这篇论文表明无需推理标注、仅用不到60%数据,通过Dr.GRPO强化学习微调SFT策略即可达到竞争性性能,且推理词元减少3倍,为数据高效、低延迟的端到端驾驶模型提供了可复用的训练范式。
解耦残差去噪扩散模型:面向统一且数据高效的图像到图像翻译
Decoupled Residual Denoising Diffusion Models for Unified and Data Efficient Image-to-Image Translation
把扩散过程拆成「随机噪声扩散做域对齐+流形提升」与「确定性残差扩散学语义映射」两段,且噪声阶段只用大量无配对目标域图像训练,为少配对数据的统一 I2I 翻译提供了可复用的训练范式。