Tag · 20 篇
多模态数据集
X-AVDT：面向鲁棒深度伪造检测的音视频交叉注意力
X-AVDT: Audio-Visual Cross-Attention for Robust Deepfake Detection
把生成器内部的音视频交叉注意力当作取证线索：用 DDIM 反演取回生成过程中的模态对齐特征与反演差异图，作为检测器输入，这一思路可迁移到其他「利用生成模型内部表征做取证/溯源」的视觉任务。
当AVSR遇见视频会议：数据集、退化现象及性能崩溃背后的隐藏机制
When AVSR Meets Video Conferencing: Dataset, Degradation, and the Hidden Mechanism Behind Performance Collapse
论文构建了面向视频会议场景的多模态音视频语音识别数据集MLD-VC，并揭示了语音增强算法与Lombard效应引起的分布偏移是性能下降的主因，为视觉研究者提供了真实场景下的鲁棒性评测基准和微调策略。
VideoITG：基于指令时序定位的多模态视频理解
VideoITG: Multimodal Video Understanding with Instructed Temporal Grounding
把「选哪些帧」变成由用户指令驱动的判别式选择问题，并用 VidThinker 自动生成指令条件下的时序定位标注；做视频 LLM 或长视频理解时，可直接复用这套帧采样监督信号与即插即用的选帧模块。
V2U4Real：面向车-无人机协同感知的真实世界大规模数据集
V2U4Real: A Real-world Large-scale Dataset for Vehicle-to-UAV Cooperative Perception
该数据集为跨视角协同感知提供了真实世界多模态基准，可用于研究车-无人机协同下的3D检测与跟踪，解决地面视角的遮挡与远距离感知问题。
UniVerse：以推理与知识赋能统一生成
UniVerse: Empower Unified Generation with Reasoning and Knowledge
把「隐式提示→推理链→显式提示」的三元组监督引入统一多模态模型的 T2I 训练，为视觉研究者提供了一条用中间推理链提升生成模型组合性与知识性的可复用数据构造与训练范式。
TruckDrive：远程自动驾驶高速公路驾驶数据集
TruckDrive: Long-Range Autonomous Highway Driving Dataset
该数据集提供了长达1000米的2D检测和400米的3D检测基准，可用于评估和开发面向长距离感知的模型，特别是融合LiDAR、相机和4D雷达的多模态方法，以解决现有模型在150米外性能骤降的问题。
面向开放词表工业缺陷理解的大规模多模态数据集
Towards Open-Vocabulary Industrial Defect Understanding with a Large-Scale Multimodal Dataset
提供了一个百万级图文对齐的工业缺陷数据集，可用于训练和评测视觉语言基础模型在缺陷分类、分割、检索、描述生成上的开放词表能力；其从零训练扩散式视觉语言基础模型、再用不到 5% 任务数据轻量微调即达到专家模型水平的范式，对做领域自适应和少样本迁移的视觉研究者有直接参考价值。
SounDiT：地理上下文声景到景观生成
SounDiT: Geo-Contextual Soundscape-to-Landscape Generation
把环境声景作为条件、地理上下文作为先验，用 DiT 生成地理上合理的景观图像；其 PSS 评测框架（元素/场景/人类感知三级一致性）可迁移到其他跨模态生成任务的条件一致性度量。
SMAP：基于地图锚定的多模态对齐的语义路线规划
SMAP: Semantic Route Planning with Map-Grounded Multimodal Alignment
把地图瓦片当作视觉输入喂给多模态大模型，并用「草稿—校验」自编辑加幻觉惩罚 DPO 抑制空间幻觉，这套「视觉证据校验 + 偏好对齐」流程可迁移到任何需要地理/空间落地的视觉-语言任务（如视觉导航、地图问答、具身路径规划）。
OmniFood8K：基于分层频域对齐融合的单图营养估计
OmniFood8K: Single-Image Nutrition Estimation via Hierarchical Frequency-Aligned Fusion
单张 RGB 图像经深度估计后，用频域分层对齐融合 RGB 与深度特征，并用基于掩码的检测头动态选择通道突出关键食材区域；这套「伪深度+频域融合」思路可迁移到任何缺乏深度传感器的细粒度识别任务。
无需标注、无需前瞻：结合经典先验的无监督在线视频稳定
No Labels, No Look-Ahead: Unsupervised Online Video Stabilization with Classical Priors
将经典三阶段稳定流程（轨迹估计-平滑-补偿）嵌入无监督在线框架，并用多线程缓冲解决端到端学习的可控性与效率问题；对做视频时序处理、在线流式视觉任务的人，这是一个可复用的「经典先验+无监督」范式，同时 UAV-Test 多模态航拍数据集可支撑夜间遥感场景的稳定化评测。
MajutsuCity：语言驱动的美学自适应城市生成，具备可控3D资产与布局
MajutsuCity: Language-driven Aesthetic-adaptive City Generation with Controllable 3D Assets and Layouts
将城市表示为可控布局、资产与材质的组合，并通过语言智能体支持对象级编辑，为3D场景生成提供了可复用的结构化表示与编辑范式；同时提出的结构一致性、材质保真度等评测指标可用于评估其他3D生成方法。
Hoi!：一个基于力与跨视角铰接操作的多模态数据集
Hoi! - A Multimodal Dataset for Force-Grounded, Cross-View Articulated Manipulation
该数据集提供人类手部与机器人夹爪两种视角下的铰接物体操作视频，并同步记录末端执行器力与触觉信号，可用于研究跨视角动作理解、力感知表征学习以及人-机器人策略迁移。
利用多模态大语言模型中的思维链推理进行人脸活体检测
Harnessing Chain-of-Thought Reasoning in Multimodal Large Language Models for Face Anti-Spoofing
将思维链视觉问答引入人脸活体检测，用 MLLM 的视觉-语言联合推理替代单一视觉模态判别，并给出可复用的 CoT VQA 数据集构建与渐进式训练策略，可直接迁移到其他需要细粒度真伪判别的视觉任务。
HUMAPS-4D：一个融合生理与语义信息的多模态人体运动分析数据集
HUMAPS-4D: A Multimodal Dataset for HUman Motion Analysis with Physiological and Semantic informations
为视觉研究者提供了一条不依赖视频的人体姿态重建路径：用足底压力、IMU、sEMG 等低层生理信号回归三维姿态，并与多视角视频、动作捕捉同步，可直接用于多模态融合与隐私受限场景下的姿态估计基准。
Glove2Hand：从多模态传感手套合成自然手物交互
Glove2Hand: Synthesizing Natural Hand-Object Interaction from Multi-Modal Sensing Gloves
用多模态传感手套（触觉+IMU）驱动3D高斯手模型，再经扩散式手部修复器渲染出无遮挡的裸手视频，为严重遮挡下的手部跟踪与接触力估计提供可复用的数据合成与监督信号来源。
Garments2Look：面向含服装与配饰的高保真整套穿搭虚拟试衣的多参考数据集
Garments2Look: A Multi-Reference Dataset for High-Fidelity Outfit-Level Virtual Try-On with Clothing and Accessories
为多参考服装与配饰的整套穿搭试衣提供了 8 万对多图到单图的配对数据与基线评测，做可控生成或多参考条件注入的研究者可直接用它检验模型在层叠、细粒度类别与造型推理上的能力。
ChartNet：面向鲁棒图表理解的百万级高质量多模态数据集
ChartNet: A Million-Scale, High-Quality Multimodal Dataset for Robust Chart Understanding
对做图表理解或多模态文档理解的视觉研究者，ChartNet 提供了百万级、五元对齐（绘图代码/图像/数据表/摘要/带推理问答）的监督信号，可直接用于微调 VLM 并检验其在几何图形与结构化数值联合推理上的泛化能力。
CARD：面向复杂道路地形的稠密三维重建多模态自动驾驶数据集
CARD: A Multi-Modal Automotive Dataset for Dense 3D Reconstruction in Challenging Road Topography
提供准稠密多激光雷达融合深度真值（每帧约 50 万有效深度像素，约为 KITTI 深度补全的 6.5 倍），可用于训练与评测深度估计/补全模型在减速带、坑洼、非铺装路面等困难地形上的细粒度几何能力；其立体引导深度补全变体与标准化评测协议可直接作为新基准复用。
CADFS：面向大语言模型辅助计算机辅助设计的大规模 CAD 程序数据集与框架
CADFS: A Big CAD Program Dataset and Framework for Computer-Aided Design with Large Language Models
把 CAD 建模历史表示为可执行的 FeatureScript 程序，并用多模态标注微调 VLM，使视觉语言模型能够从文本或图像生成复杂 CAD 设计历史；这套「程序化序列表示 + 多模态标注」的思路可迁移到其他需要结构化程序输出的视觉生成任务。