Tag · 8 篇
数据引擎
场景文本识别的合成数据有何问题?一个具有多样模拟与自进化的强合成引擎
What's Wrong with Synthetic Data for Scene Text Recognition? A Strong Synthetic Engine with Diverse Simulations and Self-Evolution
UnionST 数据引擎通过增强语料、字体和布局的多样性来缩小合成与真实数据的域差距,其自进化学习框架仅需 9% 的真实标签即可达到竞争性性能,为文本识别及其他视觉任务的数据合成与半监督标注提供了可复用的思路。
以大规模多模态对应学习推进音视频感知前沿
Pushing the Frontier of Audiovisual Perception with Large-Scale Multimodal Correspondence Learning
把视频-文本对比学习扩展到音视频-文本三模态联合嵌入,并提供用大模型为亿级音视频对合成高质量描述的数据引擎;做视频理解或多模态检索时,可直接复用其十组成对对比目标与跨模态/描述类型配对的扩展策略来提升零样本迁移。
PoseMaster:面向风格化姿态生成的统一三维原生框架
PoseMaster: A Unified 3D Native Framework for Stylized Pose Generation
用 3D 骨架直接作为条件、在统一框架内端到端生成带风格的三维网格,替代「2D 姿态编辑 + 3D 提升」的级联流程;其严格空间对齐的骨架-网格配对可直接接自动蒙皮,为角色绑定与可动画资产生成提供可复用范式。
利用互联网级无标注数据提升 3D 场景理解
Lifting Unlabeled Internet-level Data for 3D Scene Understanding
提出一种数据引擎,利用互联网无标注视频自动生成 3D 场景理解训练数据,可复用于低层感知(3D 检测/分割)与高层推理(3D VQA/VLN)任务,为缓解 3D 标注稀缺提供可扩展方案。
EgoProx:在认知层级上评估多模态大语言模型的自我中心三维邻近推理
EgoProx: Evaluating MLLMs on Egocentric 3D Proximity Reasoning Across a Cognitive Hierarchy
为视觉研究者提供了一个以自我中心视角评估 MLLM 三维邻近关系推理的基准与智能体式数据生成引擎,可用于诊断模型的空间知识是否被有效调用,并指导空间推理 VQA 的指令微调设计。
EgoAVU:第一人称音视频理解
EgoAVU: Egocentric Audio-Visual Understanding
对做第一人称视频理解的人,这篇提供了可自动生成音视频叙述与问答的数据引擎,以及揭示 MLLM 视觉偏置的音视频基准;可直接用于构建音视频指令微调数据或诊断模型对音频线索的忽视。
对话式图像分割:以可扩展监督对抽象概念进行视觉定位
Conversational Image Segmentation: Grounding Abstract Concepts with Scalable Supervision
把「意图/可供性/物理常识」这类抽象概念作为分割查询,并用无需人工标注的数据引擎自动生成 prompt-mask 对,为语言引导分割提供了可扩展的监督构造范式,可直接迁移到开放词表与指令式分割的数据扩增。
AwareVLN:面向视觉语言导航的自感知推理
AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation
将自感知推理机制引入端到端视觉语言导航,通过结构化推理模块让模型显式理解智能体状态与任务进度,为具身智能体提供可解释的决策依据,可复用于其他需要状态感知的视觉导航任务。