Tag · 8 篇
渐进式训练
ViRC:通过推理分块增强视觉交错数学思维链
ViRC: Enhancing Visual Interleaved Mathematical CoT with Reason Chunking
提出 Reason Chunking 机制,将多模态数学思维链结构化为关键推理单元(CRU),并在单元间动态调用视觉工具获取图像信息,为视觉语言模型在需要反复查看图像的推理任务中提供了可复用的分块推理与渐进训练范式。
从频率与运动中看见深度:面向单目深度估计的渐进式训练范式
Seeing Depth Through Frequency and Motion: A Progressive Training Paradigm for Monocular Depth Estimation
可即插即用的频率引导采样模块(FGDepth)用于抑制频率混叠、锐化深度边界,以及用通道对齐注意力建模跨帧运动以提升位姿估计,这两点可直接迁移到其他自监督深度/位姿联合训练框架。
渐进式超网络训练用于高效视觉自回归建模
Progressive Supernet Training for Efficient Visual Autoregressive Modeling
提出一种基于超网络的动态深度调整方法,通过渐进式训练策略在单个模型内实现不同深度的子网络,从而在视觉自回归生成中大幅减少KV缓存和推理时间,为资源受限场景下的高效生成提供了可复用的技术方案。
MonoVLM:基于视觉语言模型的单目三维视觉定位
MonoVLM: Monocular 3D Visual Grounding with Vision Language Models
把 GRPO 强化学习引入 VLM 的三阶段渐进训练,让语言模型从二维定位逐步过渡到三维结构理解与完整 3D 边界框回归,为「用 VLM 做几何感知任务」提供了一条可复用的训练范式。
基于光照的视频生成:以渲染器为支撑的智能体推理
Lighting-grounded Video Generation with Renderer-based Agent Reasoning
把布局、光照、相机轨迹等显式3D场景属性通过渲染器转成控制信号,再用轻量条件模块注入视频扩散模型,为可控视频生成提供了可复用的解耦条件注入范式;其场景智能体把高层指令翻译成3D控制信号的思路也可迁移到其他条件生成任务。
GuardTrace-VL:通过迭代安全监督检测不安全的多模态推理
GuardTrace-VL: Detecting Unsafe Multimodel Reasoning via Iterative Safety Supervision
把多模态大模型的中间推理链(Thinking)纳入安全审核范围,用图文联合分析在推理阶段就拦截不安全内容;对做 VLM 安全对齐或红队评测的人,可直接复用其 QTA 全流程审计设定与三阶段渐进训练方案。
面向人体视频生成的高效训练:熵引导的优先渐进学习
Efficient Training for Human Video Generation with Entropy-Guided Prioritized Progressive Learning
提出条件熵膨胀(CEI)来量化模型各组件对条件生成任务的重要性,并据此安排训练优先级;同时用收敛效率自适应地提升训练复杂度。这套「按重要性排序 + 渐进加难」的训练调度可直接迁移到高分辨率视频扩散模型或大分辨率图像扩散模型的训练中,以降低显存与时间开销。
AToken:面向视觉的统一分词器
AToken: A Unified Tokenizer for Vision
AToken 提供了一个统一的视觉分词器,将图像、视频和3D资产编码到共享的4D潜变量空间,其纯Transformer架构和4D旋转位置编码可处理任意分辨率和时长,为多模态生成与理解任务提供了可复用的表征基础。