Tag · 11 篇
数据合成
面向真实世界文档解析:逼真场景合成与文档感知训练
Towards Real-World Document Parsing via Realistic Scene Synthesis and Document-Aware Training
对做文档/图表类视觉理解的人,这篇提供了可复用的思路:用布局模板+文档元素合成大规模全页端到端监督数据,配合渐进式学习与结构 token 优化来抑制 MLLM 的重复与幻觉输出;Wild-OmniDocBench 也可直接用于评测随手拍文档的鲁棒性。
面向任务的数据合成与控制修正采样用于遥感语义分割
Task-Oriented Data Synthesis and Control-Rectify Sampling for Remote Sensing Semantic Segmentation
提出基于 MM-DiT 的文本-图像-掩码联合注意力控制方案与全微调策略,并设计控制修正流匹配(CRFM)在采样早期用语义损失动态调整方向,可直接用于提升少样本遥感语义分割的合成数据质量。
SimScale:通过大规模真实世界仿真学习驾驶
SimScale: Learning to Drive via Real-World Simulation at Scale
利用神经渲染构建可交互仿真环境,合成大规模多视角驾驶数据,并通过伪专家轨迹提供动作监督,为自动驾驶规划策略的鲁棒性和泛化性提升提供可扩展的数据增强方案。
看见并修复缺陷:通过智能体数据合成让视觉语言模型与扩散模型理解视觉伪影
See and Fix the Flaws: Enabling VLMs and Diffusion Models to Comprehend Visual Artifacts via Agentic Data Synthesis
提出在扩散 Transformer 内做 patch 级嵌入操纵来可控注入伪影,并自动生成局部/全局解释,可直接用于构建伪影检测与修复模型的训练数据,也可作为评估生成图像真实性的诊断工具。
PhotoFramer:多模态图像构图指令
PhotoFramer: Multi-modal Image Composition Instruction
把「构图指导」建模为文本指令加示例图的双输出任务,并给出用多视角数据加退化模型合成「构图差—构图好」配对的可复用数据构造流程,可直接迁移到其他需要成对编辑监督的图像生成任务。
面向激光雷达分布外检测的神经分布先验
Neural Distribution Prior for LiDAR Out-of-Distribution Detection
针对激光雷达点云 OOD 检测中类别不平衡导致的打分偏差,用可学习的 logit 分布先验加注意力模块对 OOD 分数做类别自适应重加权,并可用 Perlin 噪声在输入扫描上合成辅助 OOD 样本,这套打分重加权与合成策略可迁移到其他密集预测任务的开放世界检测中。
语言引导的单步扩散模型用于夜间眩光去除
Language-Guided One-Step Diffusion Model for Nighttime Flare Removal
把视觉语言模型提取的细粒度文本语义作为条件注入单步扩散,并用语义感知分布蒸馏稳定一步采样,可迁移到其他强退化复原任务(如夜间去雨、去雾、镜头污渍去除)中,用语义先验约束被遮挡区域的生成。
IGen:从开放世界图像可扩展地生成机器人学习数据
IGen: Scalable Data Generation for Robot Learning from Open-World Images
把开放世界单张图像转成可用于操作策略训练的视频-动作对:先用 3D 场景表示重建,再由 VLM 规划并输出 SE(3) 末端位姿,最后渲染时序一致的观测。做视觉-动作数据合成、VLA 预训练或 sim-to-real 的工作可以直接复用这条「图像→3D→位姿→视频」的流水线来扩充训练集。
Diff-SemiER:面向半透明眼镜去除的透明度感知自适应融合扩散模型与生成先验
Diff-SemiER: Transparency-Aware Adaptive Fusion Diffusion Model with Generative Prior for Semi-Transparent Eyeglasses Removal
针对半透明遮挡这一特殊编辑场景,提出软掩码感知的多尺度自适应融合机制,在生成先验与细节复原之间动态权衡;其透射率驱动的数据合成思路可迁移到其他半透明/部分遮挡的复原任务(如墨镜、面纱、玻璃反光去除)。
AnyDoc:通过大规模 HTML/CSS 数据合成与高度感知强化优化增强文档生成
AnyDoc: Enhancing Document Generation via Large-Scale HTML/CSS Data Synthesis and Height-Aware Reinforcement Optimization
提出可扩展的 HTML/CSS 文档数据合成管线与高度感知强化学习后训练,为多模态大语言模型在结构化视觉生成任务(如文档渲染、元素到文档)上提供可复用的数据构造与奖励设计思路。
Agent4FaceForgery:面向真实场景人脸伪造检测的多智能体大语言模型框架
Agent4FaceForgery: Multi-Agent LLM Framework for Realistic Face Forgery Detection
用 LLM 多智能体在模拟社交环境中合成带细粒度文本-图像一致性标注的伪造数据,并用自适应拒绝采样保证质量与多样性,可直接作为深度伪造检测器的训练数据增强管线复用。