Topic · 225 篇
数据集与评测
贡献是数据集、基准、评测协议或系统性分析。
这个方向的收录判据
主要贡献是一个新数据集、新基准、新评测协议或系统性综述/分析。 包括 benchmark 构建、数据标注方法论、对现有方法的复现与批判性分析、 survey。判据:没有提出新方法,或方法的篇幅远小于数据/分析部分。
本方向全部 225 篇
一站式AI生成视频检测方案
Your One-Stop Solution for AI-Generated Video Detection
为视觉研究者提供了一个覆盖31个最新生成模型、44万视频的AI生成视频检测基准,可直接用于评测或训练检测器,并给出8项分析与4个新发现,帮助定位现有检测器在语义多样性与技术代表性上的失效模式。
YieldSAT:面向高分辨率作物产量预测的多模态基准数据集
YieldSAT: A Multimodal Benchmark Dataset for High-Resolution Crop Yield Prediction
把作物产量预测重新定义为基于多光谱卫星影像的像素级回归任务,并给出多模态融合架构与深度集成在真实分布偏移下的对比基线,可直接复用于遥感密集回归与域偏移鲁棒性研究。
XSeg:面向真实安检场景的大规模X射线违禁品分割基准
XSeg: A Large-scale X-ray Contraband Segmentation Benchmark For Real-World Security Screening
XSeg 提供了大规模像素级 X 射线违禁品分割基准,可用于评估和提升模型在安检场景下的实例分割与跨域泛化能力;APSAM 的 Energy-Aware Encoder 和 Adaptive Point Generator 为基于 SAM 的少点提示标注提供了可复用思路。
X-PCR:眼科诊断中跨模态渐进式临床推理基准
X-PCR: A Benchmark for Cross-modality Progressive Clinical Reasoning in Ophthalmic Diagnosis
该基准为视觉-语言模型在眼科诊断中的渐进式推理与跨模态整合能力提供了细粒度评测协议,其六阶段推理链和六模态整合任务可直接用于诊断多模态模型在临床视觉推理中的短板。
WorldLens:面向真实世界的驾驶世界模型全谱系评测
WorldLens: Full-Spectrum Evaluations of Driving World Models in Real World
为驾驶世界模型提供覆盖生成、重建、动作跟随、下游任务与人类偏好的统一评测协议,并给出可蒸馏的评测模型范式;做视频生成或自动驾驶仿真的研究者可直接用其指标与 WorldLens-26K 标注来诊断模型在几何一致性与物理合理性上的失效模式。
WiseEdit:面向认知与创造性图像编辑的基准
WiseEdit: Benchmarking Cognition- and Creativity-Informed Image Editing
为图像编辑模型提供了按「感知—解读—想象」三级认知链和三类知识(陈述性/程序性/元认知)组织的评测框架,可直接用于诊断现有编辑模型在知识推理与创造性构图上的短板,并指导训练数据与能力分解设计。
WiTTA-Bench:面向 WiFi 感知的测试时自适应基准
WiTTA-Bench: Benchmarking Test-Time Adaptation for WiFi Sensing
WiFi 感知的 TTA 基准与跨设备配对数据集,为视觉研究者提供了与视觉感知互补的被动感知模态;其揭示的 OTTA 与 TTDA 互补性、以及递归自训练对超参敏感的现象,可直接迁移到视觉 TTA 方法的设计与评测中。
当漂亮不再有用:探究现代文本到图像模型为何无法作为可靠的训练数据生成器
When Pretty Isn't Useful: Investigating Why Modern Text-to-Image Models Fail as Reliable Training Data Generators
对做合成数据训练、数据增强或生成式数据引擎的视觉研究者,这篇论文提示:T2I 模型的视觉保真度与提示词遵循度提升并不等于训练数据可用性提升,需在数据生成流程中显式度量生成分布的多样性与对真实分布的覆盖度,而非只看 FID 或人工观感。
当AVSR遇见视频会议:数据集、退化现象及性能崩溃背后的隐藏机制
When AVSR Meets Video Conferencing: Dataset, Degradation, and the Hidden Mechanism Behind Performance Collapse
论文构建了面向视频会议场景的多模态音视频语音识别数据集MLD-VC,并揭示了语音增强算法与Lombard效应引起的分布偏移是性能下降的主因,为视觉研究者提供了真实场景下的鲁棒性评测基准和微调策略。
场景文本识别的合成数据有何问题?一个具有多样模拟与自进化的强合成引擎
What's Wrong with Synthetic Data for Scene Text Recognition? A Strong Synthetic Engine with Diverse Simulations and Self-Evolution
UnionST 数据引擎通过增强语料、字体和布局的多样性来缩小合成与真实数据的域差距,其自进化学习框架仅需 9% 的真实标签即可达到竞争性性能,为文本识别及其他视觉任务的数据合成与半监督标注提供了可复用的思路。
什么构成了用于零样本立体匹配的优质合成训练数据?
What Makes Good Synthetic Training Data for Zero-Shot Stereo Matching?
对做双目立体匹配或任何需要合成训练数据的视觉任务,这篇论文给出了程序化生成器的参数消融方法论:逐参数扫描并测量零样本基准性能,可直接迁移到光流、深度估计等任务的数据集设计上。
精确率与召回率之间的最优排序分数是什么?我们总能找到它,而且它很少是 F1
What Is the Optimal Ranking Score Between Precision and Recall? We Can Always Find It and It Is Rarely F1
为视觉任务中普遍使用的 F-beta/F1 指标提供了可替代的排序准则:把「在精确率与召回率之间取折中」形式化为 Kendall 秩相关的优化问题,并给出 beta 的闭式最优解,可直接用于检测、分割等任务的模型排序与基准报告。
你在做什么?对可控人体视频生成的深入审视
What Are You Doing? A Closer Look at Controllable Human Video Generation
为可控人体图像到视频生成提供了细粒度基准与改进后的评测指标,做人体视频生成或动作可控生成的研究者可直接用它诊断模型在动作、交互、运动等 9 个维度上的短板,而不必再依赖 TikTok、TED-Talks 这类多样性不足的旧数据。
WebChain:一个大规模人工标注的真实网页交互轨迹数据集
WebChain: A Large-Scale Human-Annotated Dataset of Real-World Web Interaction Traces
提供带视觉-结构-动作三重对齐的真实网页交互轨迹,可用于训练和评测 GUI 智能体的空间视觉定位与规划解耦能力,WebChainBench 可作为视觉智能体定位任务的评测协议参考。
WHU-MARS:面向任意场景行人重识别的多光谱空地基准
WHU-MARS: A Multispectral Aerial-Ground Benchmark Towards Any-Scenario Person Re-Identification
WHU-MARS 提供了覆盖 RGB/近红外/热红外 × 地面/无人机视角的统一异构图库,可直接用于评测「单模型跨任意模态-视角组合检索」;其 ProCA+GPD 思路(先把多视角特征聚成模态中心再对齐到身份中心,并用全局身份原型做对比)可作为处理模态/视角域偏置的通用表征对齐手段迁移到其他跨域检索任务。
WEAVE:释放并基准化上下文交错理解与生成
WEAVE: Unleashing and Benchmarking the In-context Interleaved Comprehension and Generation
提供了首个面向多轮上下文交错理解与生成的大规模数据集与人工标注基准,并给出结合参考图像与原始图文指令对的混合 VLM 评判协议,可直接用于训练和评测统一多模态模型的视觉记忆与上下文推理能力。
VisualOverload:探测视觉语言模型在真正密集场景中的视觉理解
VisualOverload: Probing Visual Understanding of VLMs in Really Dense Scenes
该基准揭示了当前VLM在密集场景下细节编码与推理的严重不足,为视觉编码器的高分辨率细节保留和推理模块的细粒度逻辑一致性提供了明确的评测靶点。
视觉个性化图灵测试
Visual Personalization Turing Test
提出以「感知不可区分」而非身份复刻来评判个性化生成,并给出仅用文本的 VPTT Score 作为可扩展代理指标;做个性化生成(如 DreamBooth 类)或需要自动评测生成内容「像不像某人所为」的视觉研究者,可直接复用其基准与评分协议替代昂贵的人工评测。
VisRes Bench:评估视觉语言模型的视觉推理能力
VisRes Bench: On Evaluating the Visual Reasoning Capabilities of VLMs
对做 VLM 或视觉推理的研究者,VisRes Bench 提供了按感知补全、单属性规则推理、多属性组合推理三级划分的受控评测协议,并系统施加模糊、纹理替换、遮挡、旋转等感知扰动,可用于诊断模型究竟是真正在做视觉推理还是依赖语言先验,也可作为训练或微调后的抽象视觉推理评测集。
VirtueBench:评估长视频理解中不确定性下的可信度
VirtueBench: Evaluating Trustworthiness under Uncertainty in Long Video Understanding
该基准通过多级帧采样构造可回答与不可回答的样本,为评估视觉语言模型在长视频理解中的诚实性(拒绝回答能力)提供了可复用的评测协议,可直接用于诊断现有模型在信息缺失时是否倾向于猜测。
VideoRealBench:面向生成式人类中心视频的思维链真实性评估基准
VideoRealBench: A Chain-of-Thought Realism Evaluation Benchmark for Generated Human-Centric Videos
为生成视频的真实性评估提供了带思维链推理的细粒度标注数据集和可解释评估器,视觉研究者可将其用于诊断视频生成模型在人体视频上的真实性缺陷,或借鉴其三步推理标注范式构建其他生成任务的评估基准。
VideoNet:面向领域特定动作识别的大规模数据集
VideoNet: A Large-Scale Dataset for Domain-Specific Action Recognition
提供了一个覆盖38个领域、1087类动作的视频动作识别基准与近50万视频问答对训练集,可用于评测和微调VLM的细粒度动作理解与少样本能力,并揭示当前VLM在领域特定动作上的显著短板。
ViStoryBench:面向故事可视化的综合基准套件
ViStoryBench: Comprehensive Benchmark Suite for Story Visualization
为故事可视化/多图叙事生成提供了带角色参考、多镜头脚本与人工校验的评测基准,并给出角色一致性、风格相似度、提示词对齐、美学质量与复制粘贴伪影等自动指标,可直接用于诊断多图生成模型的角色漂移与跨图一致性问题。
VS-Bench:评估视觉语言模型在多智能体环境中策略能力的基准
VS-Bench: Evaluating VLMs for Strategic Abilities in Multi-Agent Environments
为视觉语言模型智能体提供多智能体、视觉落地的策略评测协议,包含感知识别、下一动作预测、归一化回报三个维度,可直接用于检验 VLM 在交互式视觉环境中的决策能力,并暴露感知强而推理弱的失效模式。
VRR-QA:超越显式线索的视频视觉关系推理
VRR-QA: Visual Relational Reasoning in Videos Beyond Explicit Cues
为视频问答提供了专门考察跨帧隐式关系推理的评测基准,可用于诊断现有 VideoQA 模型对表层视觉线索的依赖,并作为隐式推理能力训练与评估的测试平台。
VMD-FACT:一个用于检测真实感AI生成视频虚假信息的新视频数据集与基于多模态大语言模型的方法
VMD-FACT: A New Video Dataset and MLLM-based method for Detecting Realistic AI-Generated Video Misinformation
该工作提出的RAVM数据集和IEEG模型为检测AI生成视频虚假信息提供了新基准和可解释方法,视觉研究者可借鉴其证据图构建和跨模态一致性分析思路,用于视频真实性验证和多模态推理任务。
VL-RouterBench:视觉语言模型路由基准
VL-RouterBench: A Benchmark for Vision-Language Model Routing
为视觉语言模型的路由/级联部署提供了可复现的样本-模型质量与成本矩阵及评测协议,做多模型推理系统或按预算选模型时可直接复用其数据构造与排序打分方式。
VGA-Bench:视频美学与生成质量评估的统一基准与多模型框架
VGA-Bench: A Unified Benchmark and Multi-Model Framework for Video Aesthetics and Generation Quality Evaluation
做视频生成的人可以直接用 VGA-Bench 的三层分类体系(美学质量、美学标签、生成质量)和三个多任务评估器(VAQA-Net、VTag-Net、VGQA-Net)作为自动化评测代理,替代昂贵的人工打分,用于模型选型、调试与生成质量监控。
VABench:面向音视频生成的综合基准
VABench: A Comprehensive Benchmark for Audio-Video Generation
为做视频生成的研究者提供了一套可直接复用的音视频同步评测协议:15 个维度覆盖文本-视频、文本-音频、视频-音频两两相似度、唇音一致性以及音视频 QA,可用于诊断生成模型在同步物理音效、复杂场景等类别上的失效模式。
UnicEdit-10M:通过统一验证打破规模-质量壁垒的推理增强编辑数据集与基准
UnicEdit-10M: A Dataset and Benchmark Breaking the Scale-Quality Barrier via Unified Verification for Reasoning-Enriched Edits
该论文构建了千万级图像编辑数据集和涵盖空间与知识推理的基准,并提出了非编辑一致性和推理准确率等新指标,为训练和评估图像编辑模型提供了可复用的数据管道与诊断工具。
UniVBench:面向视频基础模型的统一评测
UniVBench: Towards Unified Evaluation for Video Foundation Models
为视频基础模型提供首个统一评测基准,涵盖理解、生成、编辑和重建四项任务,并引入智能体评估系统标准化提示、指令解析和评分,便于研究者公平比较统一视频模型。
UniM:统一任意到任意交错多模态基准
UniM: A Unified Any-to-Any Interleaved Multimodal Benchmark
为视觉研究者提供了一个覆盖图像、视频、文档、3D 等 7 种模态、要求理解与生成交错进行的评测基准,可用于检验 MLLM 在跨模态交错推理与结构化生成上的能力,其三维度评测协议(语义正确性、结构完整性、交错连贯性)也可直接迁移到视觉生成任务的评测设计中。
UniGeoRS:面向三视角地理定位的统一基准
UniGeoRS: A Unified Benchmark for Tri-view Geo-Localization
提供了卫星-无人机-地面三平台统一的地理定位基准与训练数据,并给出 CAME 这一可插拔的候选重排序模块——通过动态聚合 top-ranked 候选的上下文来精炼特征,可直接套用到现有跨视角检索/匹配流程中提升鲁棒性。
UNICBench:面向多模态大模型的统一计数基准
UNICBench: UNIfied Counting Benchmark for MLLM
为视觉研究者提供了一套跨图像/文本/音频的统一计数评测协议与工具包(固定划分、确定性数值解析、分层报告),可直接用于诊断 MLLM 在视觉计数上的长尾失效,并作为计数类视觉任务的数据与指标参照。
UI-Lens:评估通用多模态大语言模型自动化UI显示质量保证的潜力
UI-Lens: Assessing General MLLMs' Potential to Automate UI Display Quality Assurance
该基准揭示了MLLM/VLM在细粒度元素边界理解和序列界面语义一致性上的严重不足,为视觉研究提供了可复用的评测协议和失败模式分析,可推动面向复杂真实界面的细粒度感知与推理方法研究。
TriDF:面向可解释深度伪造检测的感知、检测与幻觉评测基准
TriDF: Evaluating Perception, Detection, and Hallucination for Interpretable DeepFake Detection
把「感知证据定位—分类检测—解释可靠性」三者放进同一评测框架,并给出人工标注的细粒度伪造证据,可直接用于诊断多模态大模型在伪造检测中「看对了才判对」的因果链,也为设计带证据输出的检测器提供监督信号与评价协议。
面向开放词表工业缺陷理解的大规模多模态数据集
Towards Open-Vocabulary Industrial Defect Understanding with a Large-Scale Multimodal Dataset
提供了一个百万级图文对齐的工业缺陷数据集,可用于训练和评测视觉语言基础模型在缺陷分类、分割、检索、描述生成上的开放词表能力;其从零训练扩散式视觉语言基础模型、再用不到 5% 任务数据轻量微调即达到专家模型水平的范式,对做领域自适应和少样本迁移的视觉研究者有直接参考价值。
迈向运动图灵测试:评估人形机器人的类人程度
Towards Motion Turing Test: Evaluating Human-Likeness in Humanoid Robots
提供以 SMPL-X 运动学参数为输入的「人类相似度」自动评分任务与基准,可用于评估动作生成/人体动作合成模型输出是否像人,并给出一个优于 LLM 类方法的简单回归基线可作对照。
面向可泛化全脑表征的高分辨率光片数据
Toward Generalizable Whole Brain Representations with High-Resolution Light-Sheet Data
提供了首个亚细胞分辨率全脑光片荧光显微镜基准数据集,可用于评估和开发面向大规模三维生物医学数据的检测与分类模型,并揭示了现有架构在细胞形态异质性下的泛化挑战。
过于鲜艳而不真实?生成色彩保真度的基准评测与校准
Too Vivid to Be Real? Benchmarking and Calibrating Generative Color Fidelity
提供了一个可复用的色彩保真度评测基准(CFD)与学习式指标(CFM),并利用 CFM 的注意力引导无训练的空间-时间引导尺度调制,可直接用于诊断和修正 T2I 模型在写实风格下的过饱和、过对比偏差。
时间盲区:为何视频语言模型看不到人类能看到的东西?
Time Blindness: Why Video-Language Models Can't See What Humans Can?
SpookyBench 提供了一个极端设定:空间信息被噪声帧完全遮蔽,只保留时序结构,可直接用来诊断 VLM 是否真正在做时序推理,而非依赖帧级空间特征;做视频理解或时序建模的工作可以把它当作压力测试集,并据此设计解耦空间依赖的架构或训练目标。
TiViBench:面向视频生成的视频内推理评测基准
TiViBench: Benchmarking Think-in-Video Reasoning for Video Generation
为图像到视频生成模型提供了一套分层推理评测协议(4 个维度、24 个任务、3 个难度),并给出无需额外训练或奖励模型的测试时偏好优化策略 VideoTPO,可直接迁移到其他生成模型的推理增强与选优环节。
以帧思考:基于帧奖励模型的生成视频失真评估
Thinking with Frames: Generative Video Distortion Evaluation via Frame Reward Model
为视频生成提供帧级奖励模型与失真归因标签,可直接作为 T2V 后训练(如 GRPO 强化学习)的奖励信号,或用于诊断生成视频中的物体外观与交互异常;其动态采样机制可复用于长视频中稀疏失真帧的高效定位。
Think 360°:超越深度:评估多模态大模型的宽度中心推理能力
Think 360deg: Beyond Depth: Evaluating the Width-centric Reasoning Capability of MLLMs
该基准提出的细粒度思维树评测协议可用于诊断视觉语言模型在需要广泛搜索与多约束优化的视觉推理任务上的不足,为设计支持宽推理的视觉模型提供评测工具。
SA-FARI 数据集:面向识别与鉴定的动物视频分割一切
The SA-FARI Dataset: Segment Anything in Footage of Animals for Recognition and Identification
SA-FARI 提供了大规模、多物种、跨地域的相机陷阱视频密集标注(掩码、边界框、身份),可直接用于训练和评测多动物跟踪与重识别模型;其基准测试还系统比较了 SAM 3 等视觉语言模型在物种特定与通用提示下的表现,为视觉-语言模型在细粒度动物跟踪中的适用性提供了参考。
缺失的 GAP:从求解方形拼图到处理真实世界考古碎片
The Missing GAP: From Solving Square Jigsaw Puzzles to Handling Real World Archaeological Fragments
GAP 提供了由真实考古碎片分布驱动的、形状不受限且严重侵蚀的合成拼图数据集,可用于评测形状不规则碎片的装配算法;PuzzleFlow 用 ViT 加 Flow-Matching 建模碎片间的连续匹配关系,为处理非方形、带侵蚀的碎片装配提供了可复用的建模范式。
TacSIm:足球战术风格模仿数据集与基准
TacSIm: A Dataset and Benchmark for Football Tactical Style Imitation
该工作提供了从广播视频中提取全部22名球员位置与动作并投影到标准球场坐标系的流程,以及基于空间占用和运动向量相似度的风格模仿评估协议,可复用于多目标跟踪、轨迹预测和团队行为建模等视觉任务。
面向检测、分割与视觉定位的可扩展精确学习的合成物体组合
Synthetic Object Compositions for Scalable and Accurate Learning in Detection, Segmentation, and Grounding
用 3D 几何布局与相机配置增强把高质量物体片段合成为带精确掩码、框和指代表达的训练图像,可直接替代或补充 LVIS/COCO 等真实标注数据,尤其适合低数据量与细粒度属性判别场景。
SurgCoT:通过思维链基准推进手术视频中的时空推理
SurgCoT: Advancing Spatiotemporal Reasoning in Surgical Videos through a Chain-of-Thought Benchmark
提供了一个带结构化思维链标注(问题-选项-知识-线索-答案)的手术视频时空推理基准,可用于诊断多模态大模型在因果动作排序、线索-动作对齐、可供性映射等细粒度时序环节上的失效点,并作为逐步推理评测协议的模板迁移到其他视频理解任务。
SpatialVID:带空间标注的大规模视频数据集
SpatialVID: A Large-Scale Video Dataset with Spatial Annotations
SpatialVID 提供了带逐帧相机位姿、深度图、动态掩码和运动指令的大规模真实视频,可直接用于训练可控视频生成、几何重建和世界模型,解决这些任务缺乏真实动态场景真值相机运动数据的问题。
SpatialScore:迈向空间智能的全面评测
SpatialScore: Towards Comprehensive Evaluation for Spatial Intelligence
该基准覆盖 30 类空间任务与多种视觉数据形态,可直接用于诊断视觉语言模型在空间关系、视角变换上的短板;其 331K 监督微调语料与 12 个空间感知工具构成的多智能体框架,为在视觉模型中注入空间推理能力提供了可复用的数据与免训练工具编排思路。
简单智能体在生物医学成像工作流优化中胜过专家
Simple Agents Outperform Experts in Biomedical Imaging Workflow Optimization
对做视觉落地的人,这篇给出了一个可复用的思路:用简单智能体自动改写生产级视觉流水线代码以适配小样本专有数据,替代微调与人工改码;其系统化评测框架也可用于比较不同智能体架构在代码适配任务上的收益。
超越 8 比特:HDR-UGC 视频的主客观质量评估
Seeing Beyond 8bits: Subjective and Objective Quality Assessment of HDR-UGC Videos
提供了 HDR-UGC 主观质量数据集与 HDR 感知视觉编码器,可复用于任何需要高动态范围输入的感知模型;HAPO 的 HDR-SDR 对比 KL 与高斯加权回归奖励,是把 RL 微调锚定到特定成像线索上的可迁移范式。
SearchAD:面向自动驾驶的大规模稀有图像检索数据集
SearchAD: Large-Scale Rare Image Retrieval Dataset for Autonomous Driving
为视觉研究者提供了一个面向长尾/稀有类别的语义图像检索基准,可用于评测文本-图像与图像-图像检索模型在极稀有类别上的零样本与微调表现,并支撑检索驱动的数据筛选与长尾感知研究。
SceneScribe-1M:一个具有全面几何与语义标注的大规模视频数据集
SceneScribe-1M: A Large-Scale Video Dataset with Comprehensive Geometric and Semantic Annotations
该数据集同时提供相机参数、稠密深度与一致 3D 点轨迹,可直接用于训练单目深度估计、动态点跟踪与相机可控视频生成模型,并为几何感知的视频生成提供统一的监督信号与评测基准。
SVBench:视频生成模型的社会推理评测
SVBench: Evaluation of Video Generation Models on Social Reasoning
为视频生成模型提供了一个可复用的社会推理评测框架:用免训练的 agent 流水线把心理学范式转成视频场景,再用 VLM 作为评判器按五个可解释维度打分,可直接用于诊断生成模型在因果与心理动态上的缺陷。
SLVMEval:面向文本到长视频生成的合成元评测基准
SLVMEval: Synthetic Meta Evaluation Benchmark for Text-to-Long Video Generation
为文本到长视频生成提供了一套可控的元评测协议:以密集视频描述数据集为源,按 10 个维度合成退化构造「高质量 vs 低质量」成对样本,并用众包过滤出人类可感知的样本对。做视频生成评测或设计自动指标的研究者可直接复用该测试床与成对排序协议来校验自己的评价系统。
SIMSPINE:面向三维脊柱运动标注与基准测试的生物力学感知仿真框架
SIMSPINE: A Biomechanics-Aware Simulation Framework for 3D Spine Motion Annotation and Benchmarking
提供首个大规模脊柱三维关键点数据集与仿真标注框架,可用于训练和评测从单目/多视角图像估计脊柱运动的方法,并作为生物力学约束引入姿态估计的基准。
SHands:面向医学训练的手术手势与错误识别的多视角数据集与基准
SHands: A Multi-View Dataset and Benchmark for Surgical Hand-Gesture and Error Recognition Toward Medical Training
提供带帧级手势基元标注与错误类型分类体系的多视角手术视频,并给出单视角/多视角/跨视角泛化三种评测协议,可直接用于检验多视角融合与跨视角域泛化方法在细粒度手部动作识别上的表现。
SHOW3D:在野外捕获3D手与物体场景
SHOW3D: Capturing Scenes of 3D Hands and Objects in the Wild
提供了一套可移动的多相机采集系统与ego-exo跟踪流程,用于在真实野外环境中生成手与物体的精确3D标注,可直接用于训练和评测第一人称手物交互理解模型。
SEA-Vision:面向东南亚综合文档与场景文本理解的多语言基准
SEA-Vision: A Multilingual Benchmark for Comprehensive Document and Scene Text Understanding in Southeast Asia
该基准为多语言文档与场景文本理解提供了细粒度标注(页/块/行级)和五类推理的TEC-VQA,可用于评估多模态大模型在低资源语言上的性能退化,并推动文档解析与文本中心视觉问答的鲁棒性研究。
SCIEval:用大型多模态模型评估与基准化科学图像生成与解读的忠实度
SCIEval: Evaluating and Benchmarking the Faithfulness of Scientific Image Generation and Interpretation with Large Multimodal Models
提供了一套面向科学图像忠实度的评测模型与基准(SCIEval-Bench),其基于 CLIP 的模态内/跨模态对比学习增强科学图像感知、以及用监督式理由信号微调 LMM 做可解释性归因的做法,可直接迁移到任意生成图像/描述的可信度打分与细粒度错误定位任务中。
SALMUBench:敏感关联级多模态遗忘基准
SALMUBench: A Benchmark for Sensitive Association-Level Multimodal Unlearning
为视觉-语言模型(如 CLIP)的敏感信息遗忘提供了首个细粒度关联级评测基准,包含受污染/干净模型对和结构化留出集,可直接用于诊断遗忘方法的有效性与附带损伤。
RoadSceneBench:面向中层道路场景理解的轻量级基准
RoadSceneBench: A Lightweight Benchmark for Mid-Level Road Scene Understanding
为视觉语言模型在道路场景中的关系推理与结构一致性提供了轻量评测基准,并给出基于分层关系奖励传播与时序一致性的训练框架,可直接用于评估和提升 VLM 的空间与几何推理能力。
RoMo:面向人体动作生成的大规模、组织丰富的数据集与语义分类体系
RoMo: A Large-Scale, Richly Organized Dataset and Semantic Taxonomy for Human Motion Generation
为文本驱动的人体动作生成提供了大规模、带三级语义分类与细粒度标注的野外动作数据,并配套统一的评测工具箱;做动作生成或动作-文本对齐的研究可直接用它替换小规模动捕数据,或借用其分类体系做按类别的误差分析。
重新审视数据集蒸馏:关于软标签的硬真相
Rethinking Dataset Distillation: Hard Truths about Soft Labels
论文揭示了软标签评估下数据集蒸馏方法性能饱和的问题,并提出计算感知的样本难度选择指标 CAD-Prune 与对齐方法 CA2D,为视觉数据高效训练提供了可复用的样本筛选与评估协议。
Ref4D-VideoBench:面向文本到视频生成模型的四维参考式评测
Ref4D-VideoBench: Four-Dimensional Reference-Based Evaluation of Text-to-Video Generative Models
为文生视频模型提供以参考视频为时空证据的细粒度评测协议,可直接用于诊断目标行为偏差、时序不一致与常识违背等实例级问题,替代纯文本提示下的无参考打分。
RealVLG-R1:面向机器人感知与操作的大规模真实世界视觉-语言定位基准
RealVLG-R1: A Large-Scale Real-World Visual-Language Grounding Benchmark for Robotic Perception and Manipulation
该工作提供了带边界框、分割掩码、抓取位姿与接触点统一标注的大规模真实场景视觉-语言定位数据集,并用强化微调让 VLM 在统一输出头下同时预测定位与抓取参数,可作为语言驱动操作与开放词表定位的联合评测基准。
RealUnify:统一模型真的从统一中获益吗?一个全面的基准
RealUnify: Do Unified Models Truly Benefit from Unification? A Comprehensive Benchmark
对做统一多模态模型(理解+生成)的研究者,这个基准提供了可复用的双向协同评测协议:把任务拆成理解阶段与生成阶段分别打分,能定位瓶颈是核心能力不足还是能力整合失败,可直接用来诊断自家统一模型的训练策略与归纳偏置设计。
RealBirdID:多模态大模型时代的鸟类物种识别基准
RealBirdID: Benchmarking Bird Species Identification in the Era of MLLMs
为细粒度视觉识别引入「可弃权」评测协议:模型需在不可回答样本上给出带证据的理由(如需要鸣声、图像质量低、视角遮挡),可直接迁移到其他细粒度分类或开放世界识别任务中,用于衡量模型的校准性与拒识能力,而非只测闭集准确率。
RealAppliance:让高保真家电资产可控可用,并与真实手册对齐
RealAppiance: Let High-fidelity Appliance Assets Controllable and Workable as Aligned Real Manauls
提供了100个高保真家电资产及配套基准,可用于评测多模态大语言模型在手册检索、部件定位和开/闭环操作规划上的能力,为具身操作研究提供标准化测试平台。
基于组相对策略优化的实时长时空气质量预测
Real-Time Long Horizon Air Quality Forecasting via Group-Relative Policy Optimization
将GRPO与类别奖励、课程rollout结合,用于优化非对称代价下的时空预测,可迁移到视觉中的长时预测任务(如视频预测、气象场预测)以降低误报率。
重新审视持续视觉问答:面向多模态持续学习的公平与鲁棒评测
Re-evaluating Continual VQA: Toward Fair and Robust Evaluation for Multimodal Continual Learning
对做多模态持续学习的人,这篇论文指出共享答案词表与静态答案先验会系统性高估性能、低估遗忘,并给出可复用的无偏基准构造方式(token 级不相交答案空间 + 任务内训练-测试分布偏移);其 question-only replay 与双层蒸馏基线也可作为轻量防遗忘的对照方案。
RMIR:一个面向推理密集型多模态图像检索的基准数据集
RMIR: A Benchmark Dataset for Reasoning-Intensive Multimodal Image Retrieval
为视觉研究者提供了一个需要复杂推理(功能、时序、因果)的多模态图像检索基准,并揭示了生成式嵌入模型在推理感知训练下的优势,可启发设计更强的推理型视觉-语言检索模型。
基于 RGB-事件的行人属性识别:一个基准数据集与一个非对称 RWKV 融合框架
RGB-Event based Pedestrian Attribute Recognition: A Benchmark Dataset and An Asymmetric RWKV Fusion Framework
提供了首个大规模 RGB-Event 配对的行人属性识别数据集与基准,并给出基于 RWKV 的非对称融合基线,可直接用于研究事件相机与 RGB 的跨模态融合、低光照与运动模糊场景下的视觉识别。
RDFace:极端数据稀缺下罕见病面部图像分析的基准数据集与表型感知合成生成
RDFace: A Benchmark Dataset for Rare Disease Facial Image Analysis under Extreme Data Scarcity and Phenotype-Aware Synthetic Generation
在极端低数据条件下(每类平均 4.4 张)做细粒度面部表型分类时,可参考其用 DreamBooth/FastGAN 合成样本、再用面部关键点相似度过滤以保持表型保真度的流程,以及用视觉语言模型生成表型描述并计算报告相似度来校验合成图像语义有效性的评估思路。
R2G:从RTL到GDSII的多视图电路图基准套件
R2G: A Multi-View Circuit Graph Benchmark Suite from RTL to GDSII
该基准将电路图表示与模型选择解耦,其多视图信息对等设计可迁移到视觉图结构任务(如场景图、点云图)中,用于系统评估表示选择对GNN性能的影响。
ProactiveMobile:面向移动设备主动式智能增强的综合基准
ProactiveMobile: A Comprehensive Benchmark for Boosting Proactive Intelligence On Mobile Devices
为视觉语言模型提供了一个可执行、可客观评测的主动式移动端任务基准:模型需从屏幕截图等设备上下文信号中推断潜在用户意图,并输出由 63 个 API 组成的可执行函数序列,可直接用于评测 VLM 的意图推理与工具调用能力。
ProSoftArena:在专业软件环境中基准测试多模态智能体的分层能力
ProSoftArena: Benchmarking Hierarchical Capabilities of Multi-modal Agents in Professional Software Environments
为视觉-语言-动作智能体在专业软件中的操作能力提供了首个五级能力层级和可执行评估环境,其基于执行的评估框架和人机协同效率量化方法可直接用于评测GUI智能体在真实软件工作流中的表现。
PosterIQ:面向海报理解与生成的设计视角基准
PosterIQ: A Design Perspective Benchmark for Poster Understanding and Generation
为视觉语言模型与扩散生成器提供海报理解与生成的细粒度诊断基准,可用于评测模型在版面解析、文字-图像对应、字体感知与构图可控生成上的能力,并暴露商业模型作为自动评分器不敏感的问题。
植物分类学遇上植物计数:一个用于计数数百种植物的细粒度分类学数据集
Plant Taxonomy Meets Plant Counting: A Fine-Grained, Taxonomic Dataset for Counting Hundreds of Plant Species
为类别无关计数(CAC)提供了一个带林奈层级标签与器官类别的多尺度点标注基准,可直接用于检验回归式与检测式计数模型在细粒度、跨生长阶段、跨成像尺度(冠层遥感→组织显微)条件下的泛化能力。
PinPoint:面向显式负样本、多图查询与改写测试的组合图像检索评测
PinPoint: Evaluation of Composed Image Retrieval with Explicit Negatives, Multi-Image Queries, and Paraphrase Testing
为组合图像检索提供了带显式难负样本、多正确答案、指令改写与多图查询的评测基准,并给出一个可直接套用到任意现有检索系统上的免训练 MLLM 重排序方案,可用于诊断和缓解假阳性与指令敏感性问题。
Pico-Banana-400K:一个用于文本引导图像编辑的大规模数据集
Pico-Banana-400K: A Large-Scale Dataset for Text-Guided Image Editing
该数据集为文本引导图像编辑模型提供了大规模、高质量的训练与评测资源,特别是其多轮编辑、偏好对齐和指令重写子集,可直接用于研究编辑的序列规划、奖励模型训练和指令理解,推动更鲁棒的编辑系统发展。
PhysInOne:一体化视觉物理学习与推理套件
PhysInOne: Visual Physics Learning and Reasoning in One Suite
为物理感知视频生成与世界模型提供带3D几何、语义、运动、物理属性与文本标注的大规模合成视频数据,可直接用于微调视频生成/预测基础模型并评测其物理合理性。
PhysGaia:面向动态新视角合成的多体交互物理感知基准
PhysGaia: A Physics-aware Benchmark with Multi-Body Interactions for Dynamic Novel View Synthesis
为动态新视角合成提供带3D粒子轨迹与物理参数(如粘度)真值的物理一致性评测基准,可直接用于检验4D高斯泼溅等动态重建方法是否遵守物理规律,并推动物理仿真与深度学习结合的场景理解研究。
PRISM:面向稀疏运动的渐进细化与插入式视频数据集浓缩
PRISM: Video Dataset Condensation with Progressive Refinement and Insertion for Sparse Motion
把视频压缩成极少量关键帧加插值来构造蒸馏数据集,这种「按需插入关键帧」的思路可直接迁移到视频训练数据筛选、高效视频预训练和视频 token 压缩等环节。
PIX-TAB:结合投机解码与区域图像分割的高效像素级精确表格结构识别方法
PIX-TAB: Efficient PIXel-Precise TABle Structure Recognition Approach with Speculative Decoding and Region-Based Image Segmentation
位置感知的像素级 token 与仅训练期使用的框监督,为文档版面这类密集结构化预测提供了可复用的空间定位方案;投机解码在序列式结构生成上的加速也可迁移到其他自回归式视觉输出任务。
PAI-Bench:面向物理 AI 的综合基准
PAI-Bench: A Comprehensive Benchmark For Physical AI
做视频生成或视频理解的人可以直接用 PAI-Bench 的 2,808 个真实案例和任务对齐指标,检验模型是否保持物理一致的动力学,而不是只看视觉保真度;也可借鉴其条件视频生成与视频理解统一评测的协议设计。
OpenMarcie:工业环境下多模态动作识别数据集
OpenMarcie: Dataset for Multimodal Action Recognition in Industrial Environments
提供了大规模多模态工业动作识别基准,可用于评测第一人称/第三人称视频中的动作分类、开放词表描述和跨模态对齐方法,推动真实制造场景下的视觉-可穿戴信号融合研究。
基于对数据集级平均精度边际贡献的目标检测在线数据筛选
Online Data Curation for Object Detection via Marginal Contributions to Dataset-level Average Precision
DetGain 把每张图对数据集级 AP 的边际扰动作为在线采样分数,并用教师-学生贡献差挑样本;做检测训练时可直接套用这套打分器做数据筛选,且与知识蒸馏叠加还能再涨点。
OmniFood8K:基于分层频域对齐融合的单图营养估计
OmniFood8K: Single-Image Nutrition Estimation via Hierarchical Frequency-Aligned Fusion
单张 RGB 图像经深度估计后,用频域分层对齐融合 RGB 与深度特征,并用基于掩码的检测头动态选择通道突出关键食材区域;这套「伪深度+频域融合」思路可迁移到任何缺乏深度传感器的细粒度识别任务。
OmniBrainBench:面向多阶段临床任务的脑影像分析综合多模态基准
OmniBrainBench: A Comprehensive Multimodal Benchmark for Brain Imaging Analysis Across Multi-stage Clinical Tasks
为视觉语言模型在专业医学域提供覆盖15种脑成像模态、含封闭式与开放式问答的多阶段临床评测协议,可用于诊断MLLM在视觉到临床推理链路上的短板,并作为医学多模态模型选型与改进的对照基准。
Omni-Fake:统一多模态社交媒体深度伪造检测基准
Omni-Fake: Benchmarking Unified Multimodal Social Media Deepfake Detection
提供了百万级图像/音频/视频/音视频说话人头的多模态伪造数据集与OOD基准,并给出三元检测(真实/部分篡改/全合成)加空间或时序定位掩码的评测协议,可直接用于训练和评测视觉伪造检测与篡改定位模型;Omni-Fake-R1 的强化学习驱动多模态检测器输出结构化决策与自然语言解释,为可解释伪造检测提供可复用范式。
Omni-AD:面向工业异常检测的大规模通用基准
Omni-AD: A Large-scale and Versatile Benchmark for Industrial Anomaly Detection
为工业异常检测提供了一个规模更大、类别更多且同时支持无监督协议与 MLLM 协议(VQA 与视觉定位)的评测平台,可直接用于检验现有 IAD 方法与多模态大模型在细粒度缺陷判别上的真实能力上限。
Omni IIE Bench:面向图像编辑模型实用能力的基准
Omni IIE Bench: Benchmarking the Practical Capabilities of Image Editing Models
为指令式图像编辑模型提供按语义尺度分层的诊断基准,可用于暴露模型在属性修改与实体替换之间的性能不一致,并指导多轮编辑一致性的评测协议设计。
Olbedo:面向大规模户外环境的反照率与光照数据集
Olbedo: An Albedo and Shading Aerial Dataset for Large-Scale Outdoor Environments
为户外本征图像分解提供了带多视图一致 albedo/shading、度量深度、法线与 HDR 天空穹顶的真实航空监督,可直接用于微调室内合成数据训练的 CNN/扩散 IID 模型,并支撑 3D 资产重光照与材质编辑。
OccuFly:航空视角下语义场景补全的3D视觉基准
OccuFly: A 3D Vision Benchmark for Semantic Scene Completion from the Aerial Perspective
提供了首个真实世界、基于相机的航空视角语义场景补全基准,并揭示了当前视觉基础模型在航空场景下的根本性局限,为鲁棒3D场景理解研究提供了新挑战和评测平台。
ORIC:面向大型视觉语言模型上下文不协调下物体识别的基准测试
ORIC: Benchmarking Object Recognition under Contextual Incongruity in Large Vision-Language Models
ORIC 通过 LLM 引导采样和 CLIP 引导采样构造上下文不协调的物体-场景对,为评估 LVLM 的物体识别鲁棒性和幻觉提供了可复用的基准与训练数据构造流程;其视觉强化微调策略也可用于提升模型在非典型场景下的识别可靠性。
ORBIT:利用360度视频在野外基准测试SfM
ORBIT: Benchmarking SfM in the Wild with 360deg Video
为视觉研究者提供了一个基于360度全景视频构建的、具有挑战性的SfM相机位姿估计基准,可用于评估和推动在复杂相机运动和动态场景下的三维重建与定位方法。
OLATverse:一个具有精确光照控制的大规模真实世界物体数据集
OLATverse: A Large-scale Real-world Object Dataset with Precise Lighting Control
为物体级逆渲染、重光照与法线估计提供首个大规模真实世界基准,含精确标定的相机参数、物体掩码、光度法线与漫反射反照率,可直接用于训练与评测真实场景下的分解式渲染方法。
NERFIFY:将NeRF论文转化为代码的多智能体框架
NERFIFY: A Multi-Agent Framework for Turning NeRF Papers into Code
为NeRF论文提供自动代码复现框架,通过CFG约束LLM生成、图思维链多文件合成和视觉反馈迭代,可加速视觉研究中的可复现性验证与基线构建。
多模态奖励基准 2:评估面向交错图文的全能奖励模型
Multimodal RewardBench 2: Evaluating Omni Reward Models for Interleaved Text and Image
为视觉生成模型(文生图、图像编辑、交错生成)提供了首个统一的奖励模型评测基准,可直接用于评估和选择生成模型的偏好对齐信号,并揭示当前多模态奖励模型与人类判断的差距。
MultiBanana:一个面向多参考文本到图像生成的挑战性基准
MultiBanana: A Challenging Benchmark for Multi-Reference Text-to-Image Generation
为多参考主体驱动生成提供了覆盖参考数量(最多8张)、跨域、尺度不匹配、罕见概念与多语言文本的评测协议,可直接用于诊断个性化生成模型在异构参考组合下的失败模式。
Multi-Crit:面向多元准则遵循能力的多模态评判者基准
Multi-Crit: Benchmarking Multimodal Judges on Pluralistic Criteria-Following
为视觉生成与多模态理解提供了一套以细粒度准则为条件的评判基准与三项新指标(多元准则遵循度、准则切换灵活性、准则级偏好冲突识别),可直接用于诊断和选择 LMM 作为视觉生成质量评估器,并揭示整体性评判微调无法泛化到准则级判断这一关键失效模式。
MovieRecapsQA:一个多模态开放式视频问答基准
MovieRecapsQA: A Multimodal Open-Ended Video Question-Answering Benchmark
对做视频理解或多模态大模型的人,这里提供了一个可复用的开放式视频问答评测协议:用「答案应包含的事实」构造无参考指标,并可在全长电影、完整回顾视频、对齐片段等不同视觉输入设定下对比模型,从而把视觉感知与视觉推理的瓶颈分开诊断。
MooCap:用于牛-物体-人交互与行为动力学的多视角基准
MooCap: A Multi-View Benchmark for Cow-Object-Human Interaction and Behavior Dynamics
该基准提供了多视角同步视频、密集的23种行为标注和39个身体关键点,可用于评估和开发多实体交互感知的时序动作分割与基于关键点轨迹的行为识别模型,尤其是交互密集片段下的性能退化问题值得关注。
缓解基于扩散的数据集蒸馏中的分布偏移
Mitigating The Distribution Shift of Diffusion-based Dataset Distillation
对做数据集蒸馏或需要合成小规模训练集的人,这篇给出了两个可直接复用的手段:在扩散训练时加 L1 稀疏正则让模型学紧凑流形,以及在采样时对整个合成集同步去噪并加分布正则,替代逐样本顺序采样。
Minerva-Ego:面向第一人称视频理解的时空提示
Minerva-Ego: Spatiotemporal Hints for Egocentric Video Understanding
把「该看哪里、何时看」的时空掩码作为提示注入前沿多模态模型,可显著提升复杂视频推理;这套提示构造与推理链标注方式可直接迁移到其他视频问答或具身感知任务的评测与增强。
Med-CMR:融合视觉证据与临床逻辑的医学复杂多模态推理细粒度基准
Med-CMR: A Fine-Grained Benchmark Integrating Visual Evidence and Clinical Logic for Medical Complex Multimodal Reasoning
为医学多模态大模型提供按能力维度拆解的细粒度评测协议:把视觉理解拆成小目标检测、细节判别、空间理解,把推理拆成时序预测、因果推理、长尾泛化、多源整合,可直接用于诊断自研医学 VLM 的失效环节,尤其是长尾病例的视觉证据整合能力。
MV-Fashion:面向虚拟试穿与尺寸估计的多视角配对数据集
MV-Fashion: Towards Enabling Virtual Try-On and Size Estimation with Multi-View Paired Data
提供了带配对平铺商品图的多视角同步视频与像素级标注、材质属性、点云,可直接作为虚拟试穿与服装尺寸估计的监督/评测基准,也适合做动态人体新视角合成的真实数据来源。
MOGeo:超越一对一跨视角目标地理定位
MOGeo: Beyond One-to-One Cross-View Object Geo-localization
论文提出跨视角多目标地理定位任务并构建基准数据集,为视觉定位研究提供了更贴近现实的多目标设定和评测协议,可推动多目标跨视角匹配方法的发展。
MMVIP:面向多天气海上视觉的可见光-红外配对数据集
MMVIP: A Visible-infrared Paired Dataset for Multi-weather Marine Vision
为可见光-红外跨模态研究提供了带精确时空对齐的海上多天气配对数据,可直接用于训练与评测图像配准、融合、跨模态翻译和海上目标检测模型,弥补了现有配对数据缺乏真实海上场景的空白。
MMSD3.0:面向真实世界多模态讽刺检测的多图像基准
MMSD3.0: A Multi-Image Benchmark for Real-World Multimodal Sarcasm Detection
该论文提出的多图像基准和跨图像推理模型(CIRM)为视觉-语言任务中多图像语义关系建模提供了可复用的评测平台和融合思路,尤其适用于需要跨图像推理的讽刺检测、情感分析等场景。
MMR-AD:面向多模态大语言模型通用异常检测基准的大规模多模态数据集
MMR-AD: A Large-Scale Multimodal Dataset for Benchmarking General Anomaly Detection with Multimodal Large Language Models
提供了一个面向多模态大语言模型通用异常检测的大规模训练与评测基准,并给出基于思维链和强化学习的基线模型 Anomaly-R1,可作为视觉研究者探索 MLLM 在工业异常检测中后训练与推理增强的起点。
MMLandmarks:面向地理空间理解的跨视角实例级基准
MMLandmarks: a Cross-View Instance-Level Benchmark for Geo-Spatial Understanding
该基准提供跨视角(地面-卫星)检索与地理定位任务,可用于评估视觉模型在视角变化下的表征鲁棒性,其CLIP式基线表明多模态训练能提升泛化性,为跨视角检索研究提供标准化评测平台。
MMGait:迈向多模态步态识别
MMGait: Towards Multi-Modal Gait Recognition
为视觉研究者提供了一个覆盖 RGB、深度、红外、激光雷达与 4D 雷达五种传感器、共十二种模态的步态识别基准,可用于研究跨模态检索与模态互补性;其 OmniGait 基线通过共享嵌入空间统一单模态、跨模态与多模态三种范式,可作为多模态表征对齐的可复用思路。
MMBench-GUI:面向多平台 GUI 智能体的统一分层评估框架
MMBench-GUI: A Unified Hierarchical Evaluation Framework for Multi-Platform GUI Agents
该基准将元素视觉定位(Element Grounding)确立为 GUI 智能体性能的关键瓶颈,为视觉定位研究提供了跨平台、细粒度的评测场景;其 EQA 指标同时衡量任务成功与动作冗余,可启发视觉智能体在效率与效果权衡上的评估方法设计。
MICo-150K:推进多图像合成的综合数据集
MICo-150K: A Comprehensive Dataset Advancing Multi-Image Composition
该数据集为多图像合成任务提供了大规模训练数据和标准化评测基准,其提出的 Weighted-Ref-VIEScore 指标和 De&Re 子集可用于评估和提升模型在多参考输入下的身份一致性与组合能力。
MICON-Bench:统一多模态模型中多图上下文图像生成的基准评测与增强
MICON-Bench: Benchmarking and Enhancing Multi-Image Context Image Generation in Unified Multimodal Models
对做统一多模态模型与图像生成评测的人,这篇提供了多图上下文生成的六任务基准和 MLLM-as-verifier 的自动打分协议,可直接用于诊断跨图一致性与幻觉;DAR 是一种免训练、即插即用的推理期注意力调整手段,可迁移到任意扩散/自回归生成骨干上提升跨图连贯性。
MDS-VQA:面向视频质量评估的模型感知数据选择
MDS-VQA: Model-Informed Data Selection for Video Quality Assessment
提出一种模型感知的数据选择机制,通过失败预测器和多样性度量在有限标注预算下挑选难且多样的视频样本,可直接用于视觉任务中的主动微调与数据高效适配。
MCHDoc:面向多载体中文历史文档阅读的综合基准
MCHDoc: A Comprehensive Benchmark for Reading Multi-Carrier Chinese Historical Documents
为文档图像理解提供了跨载体、跨三千年的高分辨率评测基准,可用于检验 OCR 与多模态大模型在异构版式、材质退化下的字符级识别与 LLM 后校正能力,并可作为文档分析模型领域泛化性的测试床。
M4Human:面向人体网格重建的大规模多模态毫米波雷达基准
M4Human: A Large-Scale Multimodal mmWave Radar Benchmark for Human Mesh Reconstruction
为视觉研究者提供了大规模毫米波雷达与RGB-D对齐的人体网格重建基准,可用于探索隐私保护、抗遮挡的人体感知,以及多模态融合(雷达点云+RGB-D)的HMR方法。
M4-RAG:大规模多语言多文化多模态检索增强生成基准
M4-RAG: A Massive-Scale Multilingual Multi-Cultural Multimodal RAG
该基准为视觉语言模型提供了跨42种语言、56种方言和189个国家的8万余个文化多样图像-问题对,并构建了可控检索环境,可用于系统评估多语言多模态RAG的检索效果与模型规模的关系,揭示大模型在RAG下性能反而下降的问题。
Long-RVOS:面向长时指代视频目标分割的综合基准
Long-RVOS: A Comprehensive Benchmark for Long-term Referring Video Object Segmentation
Long-RVOS 提供了长时指代视频目标分割的基准和评估指标,可直接用于测试模型在遮挡、消失重现和镜头切换下的时序建模能力;其基线 ReferMo 融合运动信息与局部到全局架构,为长视频 RVOS 提供了可复用的设计思路。
LifeEval:面向第一人称日常生活任务辅助 AI 的多模态基准
LifeEval: A Multimodal Benchmark for Assistive AI in Egocentric Daily Life Tasks
为视觉研究者提供了一个以第一人称连续视频流为输入、要求模型在对话中实时给出任务导向协助的评测设定,可用于检验 MLLM 的在线感知与自适应交互能力,而非事后视频问答。
从成对用户偏好中学习个性化摄影风格
Learning Personalized Photographic Style from Pairwise User Preferences
提供了以成对比较标注刻画用户隐式审美偏好的数据与评测协议,可复用于个性化图像增强、风格迁移与生成模型的用户对齐;其比较式评估框架也适用于其他主观视觉任务(如审美评分、个性化生成)的评测设计。
从真实世界失真中学习三维形状保真度指标
Learning 3D Shape Fidelity Metric from Real-world Distortions
提出基于局部连接注意力和LoRA式预训练的点云骨干网络,用于评估三维网格的感知保真度,可作为三维生成/重建任务的评价指标,替代Chamfer Distance等几何匹配指标。
可学习性引导的扩散用于数据集蒸馏
Learnability-Guided Diffusion for Dataset Distillation
提出可学习性引导的扩散生成框架,通过课程式增量合成数据减少冗余,可复用于任何需要高效训练数据合成的视觉任务,如图像分类、目标检测的数据压缩。
LIBERO-Plus:面向视觉-语言-动作模型的渐进式鲁棒性基准
LIBERO-Plus: A Progressive Robustness Benchmark for Visual-Language-Action Models
对做 VLA 或机器人操作策略的视觉研究者,这篇提供了七维度可控扰动的自动化评测协议,可直接用来暴露策略在视角、光照、纹理、传感器噪声变化下的脆弱性,并作为训练时数据增广与鲁棒性改进的对照基准。
KaLOS 寻找共识:一种评估复杂视觉任务中标注者间一致性的元算法
KaLOS finds Consensus: A Meta-Algorithm for Evaluating Inter-Annotator Agreement in Complex Vision Tasks
为视觉基准的标注质量提供可复用的评估流程:先做空间对应匹配再计算一致性,把框、体素分割、姿态等异构标注统一成名义可靠性矩阵,可直接用于清洗检测/分割数据集并诊断标注者与协作结构。
分箱生成不可或缺吗?一种基于语义视角的免分箱数据集量化方法
Is Bin Generation Indispensable? A Bin-Generation-Free Dataset Quantization via Semantic Perspective
做大规模视觉数据集训练时,可用这套免分箱的 KNN 近邻识别加自适应图像块丢弃流程替代 bin generation 来压缩核心集,在 CIFAR-100 上最多提升 5% 验证精度,并能扩展到 10^5 同类样本规模。
InfiniBench:面向视觉空间推理的可定制场景复杂度无限基准生成
InfiniBench: Infinite Benchmarking for Visual Spatial Reasoning with Customizable Scene Complexity
InfiniBench 提供了一种可参数化控制场景复杂度的自动化基准生成方法,视觉研究者可用它系统性地评测 VLM 在测量、视角转换和时空追踪等空间推理任务上的失效模式,并借助其基于聚类的布局优化与任务感知相机轨迹优化生成高复杂度视频输入。
ImmerIris:面向沉浸式应用中离轴与无约束虹膜识别的大规模数据集与基准
ImmerIris: A Large-Scale Dataset and Benchmark for Off-Axis and Unconstrained Iris Recognition in Immersive Applications
该数据集与基准把「离轴、无约束」的头戴式显示设备眼部成像作为新设定,并给出免归一化、直接从微调眼部图像学习的识别范式,可启发视觉研究者重新审视依赖预处理对齐的pipeline在非受控成像下的脆弱性。
ID-Sim:一种以身份为中心的相似度指标
ID-Sim: An Identity-Focused Similarity Metric
ID-Sim 提供了一个前馈式身份相似度指标,可直接用于个性化图像生成、身份检索与识别的一致性评估,替代 CLIP/ArcFace 等与人类判断偏差较大的代理指标;其用生成式合成数据构造受控身份/上下文变化来训练度量模型的做法,也可迁移到其他需要细粒度感知对齐的评测任务。
ICTPolarReal:真实世界物体的偏振反射与材质数据集
ICTPolarReal: A Polarized Reflection and Material Dataset of Real World Objects
该数据集提供带交叉/平行偏振的 8 相机 346 光源 Light Stage 采集,并解析导出漫反射反照率、镜面反照率与法线,可直接用于训练和评测本征分解、重光照与稀疏视角重建模型,是检验逆渲染方法能否从合成域泛化到真实物体的现成基准。
I2I-Bench:面向图像到图像编辑模型的综合基准套件
I2I-Bench: A Comprehensive Benchmark Suite for Image-to-Image Editing Models
做图像编辑模型时可直接用这套含 10 类任务、30 个解耦维度的自动化评测协议(专用工具 + LMM 混合打分)替代人工评测,并用其对齐验证方法检验自建指标是否与人类偏好一致。
HumanVBench:以自动合成基准探测多模态大模型中以人为中心的视频理解能力
HumanVBench: Probing Human-Centric Video Understanding in MLLMs with Automatically Synthesized Benchmarks
提供了一套可复用的自动化基准构建流水线:用强模型生成高质量视频标注,并把模型自身的错误系统性地转化为干扰项,从而以极低人工成本构造细粒度多选题评测集;做视频 MLLM 评测或需要构造难负样本的视觉研究者可直接借鉴这一「错误即干扰项」的合成思路。
视频基础模型编码了多少 3D 信息?
How Much 3D Do Video Foundation Models Encode?
提出一种模型无关的探针框架,通过浅层读出从视频基础模型特征中估计多种 3D 属性,为评估视觉模型内在 3D 理解提供可复用工具,并揭示视频生成模型可超越专家 3D 模型。
合成数据用于音视频声源定位究竟能走多远?
How Far Can We Go With Synthetic Data for Audio-Visual Sound Source Localization?
对做音视频多模态定位的研究者,这篇给出了用 text-to-X 生成模型批量合成 VGGSound 克隆数据、并与真实数据混合训练的完整配方,可直接复用于缓解视觉-音频配对数据规模小、语义错位的问题。
Hoi!:一个基于力与跨视角铰接操作的多模态数据集
Hoi! - A Multimodal Dataset for Force-Grounded, Cross-View Articulated Manipulation
该数据集提供人类手部与机器人夹爪两种视角下的铰接物体操作视频,并同步记录末端执行器力与触觉信号,可用于研究跨视角动作理解、力感知表征学习以及人-机器人策略迁移。
HierAmp:面向生成式数据集蒸馏的由粗到细自回归语义放大
HierAmp: Coarse-to-Fine Autoregressive Amplification for Generative Dataset Distillation
把 VAR 的由粗到细多尺度生成当作层级语义的天然载体,在每个尺度注入类别词元并生成显著性图来引导合成,这个「尺度级条件注入 + 显著性引导」的机制可直接迁移到任何需要分层控制生成内容的视觉合成任务。
利用基础模型实现准确的材质分类
Harnessing the Power of Foundation Models for Accurate Material Classification
提出利用视觉语言基础模型进行自动标注和先验蒸馏的流程,可复用于其他数据稀缺的细粒度分类任务;其合成数据生成与自动标注管道为视觉研究提供了数据增广新思路。
HanDyVQA:面向细粒度手物交互动态的视频问答基准
HanDyVQA: A Video QA Benchmark for Fine-Grained Hand-Object Interaction Dynamics
提供了一个细粒度手物交互视频问答基准,并配套物体/部件级分割掩码,可用于评测视频基础模型的时空与部件级几何推理能力;其发现「显式注入 HOI 线索到视觉特征可提升性能」为设计 HOI 感知的视频表征提供了可复用思路。
HUMAPS-4D:一个融合生理与语义信息的多模态人体运动分析数据集
HUMAPS-4D: A Multimodal Dataset for HUman Motion Analysis with Physiological and Semantic informations
为视觉研究者提供了一条不依赖视频的人体姿态重建路径:用足底压力、IMU、sEMG 等低层生理信号回归三维姿态,并与多视角视频、动作捕捉同步,可直接用于多模态融合与隐私受限场景下的姿态估计基准。
HERBench:视频问答中多证据整合的基准
HERBench: A Benchmark for Multi-Evidence Integration in Video Question Answering
HERBench 提供了强制多证据整合的视频问答基准,并引入最小所需帧集(MRFS)量化证据需求,可用于诊断视频大模型在检索与融合上的瓶颈,指导设计更鲁棒的多帧推理模型。
HAVE-Bench:从感知到交互的层级化音视频评测基准
HAVE-Bench: Hierarchical Audio-Visual Evaluation from Perception to Interaction
做音视频多模态的视觉研究者可把 HAVE-Bench 的三级认知层级(感知-推理-交互)与多轮交互标注协议当作评测模板,用来诊断模型在语音驱动视觉问答上相对文本-图像设定的性能落差,并据此设计跨模态推理能力迁移的训练目标。
网格蒸馏:基于结构化生成网格的组合式图像蒸馏
Grid Distillation: Compositional Image Distillation via Structured Generative Grids
把数据集蒸馏的合成样本组织成高分辨率组合网格、再降采样并用 Stable Diffusion Turbo 单步重建细节,这套「网格布局 + 扩散先验补全」思路可迁移到任何需要把大量图像压缩成少量可训练样本的场景(如快速架构搜索、隐私受限数据发布)。
GraphVLM:面向多模态图学习的视觉语言模型基准测试
GraphVLM: Benchmarking Vision Language Models for Multimodal Graph Learning
该基准系统评估了VLM作为编码器、对齐器和预测器三种范式在多模态图学习中的表现,为视觉研究者将VLM与图结构数据结合提供了可复用的评测框架和范式参考。
Graph2Eval:通过知识图谱为智能体自动生成多模态任务
Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs
为多模态智能体提供可自动扩展的评测任务生成管线:用知识图谱作为结构化任务空间,通过子图采样与元路径构造文档理解与网页交互任务,可直接用于构建视觉-语言智能体的评测基准,缓解静态数据集规模受限的问题。
人脸验证的“金发姑娘”测试集
Goldilocks Test Sets for Face Verification
该论文提出的三个测试集(Hadrian、Eclipse、ND-Twins)和“Goldilocks”测试集构建规则,为评估人脸识别模型在面部属性变化和相似身份上的鲁棒性提供了新基准,可直接用于诊断现有模型在真实场景下的弱点。
GeoMMBench 与 GeoMMAgent:面向地球科学与遥感专家级多模态智能
GeoMMBench and GeoMMAgent: Toward Expert-Level Multimodal Intelligence in Geoscience and Remote Sensing
GeoMMBench 提供了覆盖多学科、多传感器、多任务的遥感多模态问答基准,可用于系统评估 MLLM 在遥感领域的感知与推理短板;GeoMMAgent 展示了如何通过工具增强的多智能体框架(集成检索、感知、推理)提升复杂遥感任务的性能,为视觉-语言模型在专业领域的落地提供了可复用的范式。
GenColorBench:面向文本到图像生成的颜色评测基准
GenColorBench: A Color Evaluation Benchmark for Text-to-Image Generation
做文本到图像生成或可控生成时,可直接用 GenColorBench 的 44K 颜色提示词与 ISCC-NBS/CSS3 色彩体系来诊断模型在细粒度颜色(含 RGB 数值色)上的失效模式,并作为颜色遵循度的评测协议复用。
Gastric-X:用于推进胃癌分析中视觉语言模型的多模态多期基准数据集
Gastric-X: A Multimodal Multi-Phase Benchmark Dataset for Advancing Vision-Language Models in Gastric Cancer Analysis
为医学视觉语言模型提供了一个包含配对CT、内镜图像、生化指标和专家报告的多模态基准,可用于评测和开发面向真实临床工作流的VQA、报告生成、跨模态检索和病灶定位方法。
Garments2Look:面向含服装与配饰的高保真整套穿搭虚拟试衣的多参考数据集
Garments2Look: A Multi-Reference Dataset for High-Fidelity Outfit-Level Virtual Try-On with Clothing and Accessories
为多参考服装与配饰的整套穿搭试衣提供了 8 万对多图到单图的配对数据与基线评测,做可控生成或多参考条件注入的研究者可直接用它检验模型在层叠、细粒度类别与造型推理上的能力。
GUIDE:面向开放式 GUI 任务中理解与辅助用户的基准
GUIDE: A Benchmark for Understanding and Assisting Users in Open-Ended GUI Tasks
为视觉研究者提供了一个屏幕录制序列上的行为状态识别与意图预测基准,可用于训练和评测多模态大模型对连续界面操作序列的时序理解与用户建模能力,并验证了结构化用户上下文对辅助决策的显著增益。
GUI-CEval:面向移动 GUI 智能体的分层综合中文基准
GUI-CEval: A Hierarchical and Comprehensive Chinese Benchmark for Mobile GUI Agents
对做多模态 GUI 智能体的视觉研究者,它提供了基于真实设备的中文评测协议,把感知、规划、反思、执行、评估拆成原子能力与端到端两级,可直接用来诊断 MLLM 在反思决策与动作后自评上的短板,也可作为训练/微调后的验证基准。
GGBench:面向统一多模态模型的几何生成推理基准
GGBench: A Geometric Generative Reasoning Benchmark for Unified Multimodal Models
为视觉研究者提供了一个可确定性验证的生成式几何推理评测框架:每个样本对齐自然语言指令、可执行 GeoGebra 代码与渲染图,可用于检验多模态模型「先推理再作图」的能力,并作为训练/评测几何作图与程序化图形生成的数据来源。
从位置到功能:多模态大语言模型中的空间-功能智能基准
From Where Things Are to What They Are For: Benchmarking Spatial-Functional Intelligence in Multimodal LLMs
该基准为视觉语言模型提供了诊断空间记忆与功能推理结合能力的评测工具,可用于检验模型在具身场景下的高阶认知瓶颈,并指导融合感知、记忆与推理的模型设计。
从室内到开放世界:揭示多模态大模型中的空间推理鸿沟
From Indoor to Open World: Revealing the Spatial Reasoning Gap in MLLMs
对做多模态大模型空间推理的人,这篇提供了用双目+LiDAR+IMU/GPS 采集的行人视角视频自动生成分层空间推理问答的流程,以及合成异常场景与盲测两种诊断协议,可直接用来检验模型是否真的依赖视觉 grounding 而非语言先验。
自由粒度层级视觉识别
Free-Grained Hierarchical Visual Recognition
把视觉语言模型的语义先验和半监督学习引入层级分类,用于处理训练标签粒度不统一的现实场景;其「自由粒度推理」让模型按置信度自适应选择预测深度,这一思路可迁移到任何需要输出粗细可变预测的视觉任务。
平板包装基准:通过家具组装评估大型视觉语言模型的时空理解
Flat-Pack Bench: Evaluating Spatio-Temporal Understanding in Large Vision-Language Models through Furniture Assembly
该基准通过家具组装任务和视觉提示,系统评测LVLM的细粒度时序排序、状态定位、部件匹配与跟踪能力,为视频理解模型在复杂空间交互场景下的评估提供了新协议和诊断工具。
固定锚点不足够:面向数据集蒸馏的动态检索与持续同调
Fixed Anchors Are Not Enough: Dynamic Retrieval and Persistent Homology for Dataset Distillation
提出动态检索连接与持续拓扑对齐,可复用于其他需要匹配教师特征分布的数据集蒸馏或合成数据生成任务,以提升类内多样性和泛化性。
细粒度图像美学评估:从相对排序中学习判别性分数
Fine-grained Image Aesthetic Assessment: Learning Discriminative Scores from Relative Ranks
论文提出的细粒度图像美学评估数据库 FGAesthetics 与基于相对排序的框架 FGAesQ,为视觉研究提供了在细微美学差异下进行判别性评估的新设定与可复用技术(DiffToken、CTAlign、RankReg),可迁移到其他需要细粒度比较的视觉任务。
细粒度多图物体幻觉基准
Fine-Grained Multi Image Object Hallucination Benchmark
做多模态大模型视觉理解时,可把 MIOH 的三类多图推理模式(综合/对比/选择)与三种对抗压力(视觉上下文规模、感知难度、上下文偏置)当作诊断探针,定位幻觉是发生在感知阶段还是跨图对象表征整合阶段,从而指导多图融合模块的设计与评测。
FailureAtlas:通过主动探索绘制T2I模型的失败景观
FailureAtlas: Mapping the Failure Landscape of T2I Models via Active Exploration
提出主动探索范式替代静态基准评测,通过结构化搜索输入空间发现T2I模型的系统性失败模式,并首次大规模关联训练数据稀缺性,为生成模型鲁棒性评估提供可复用引擎。
FPS-Bench:面向高帧率视频理解的基准
FPS-Bench: A Benchmark for High Frame-Rate Video Understanding
提出 minFPS 这一可复用的度量,用来量化一个问题所需的最低帧率;做视频 VLM 或时序建模时,可用它诊断模型在时间采样上的瓶颈,并据此设计高帧率采样或时序聚合策略。
FAVE:面向多模态大模型细粒度音视频时序评测的结构化基准
FAVE: A Structured Benchmark for Fine-Grained Audio-Visual Temporal Evaluation in Multimodal LLMs
对做视频-语言或多模态大模型的人,FAVE 提供了三个可复用的评测维度(跨模态时序对齐、事件时序关系、时刻描述)和一套基于镜头边界检测+自动描述+GPT 精修的标注流水线,可直接用来诊断模型的时间戳定位与音视频联合推理短板。
FAST:面向核心集选择的拓扑感知频域分布匹配
FAST: Topology-Aware Frequency-Domain Distribution Matching for Coreset Selection
把核心集选择建模为谱图约束下的频域分布匹配问题,用特征函数距离(CFD)一次性约束所有阶矩,并提供无需 DNN 的 CPU 级高效实现;做视觉数据压缩、训练集蒸馏或大规模预训练数据筛选时,可直接替换随机采样或基于 DNN 的打分策略。
从生成视角探索空间智能
Exploring Spatial Intelligence from a Generative Perspective
提供了一个可复用的评测协议与合成数据管线:用 3D 先验引导生成并自动标注空间编辑样本,可直接用于评测或微调统一多模态模型的 3D 空间约束遵循能力,并验证生成式训练反哺空间理解。
探索带形变的 6D 物体位姿估计
Exploring 6D Object Pose Estimation with Deformation
为 6D 位姿估计提供了首个系统性的形变物体基准:26 类物体各含 1 个标准态与 3 个形变态的高精度 3D 扫描及到标准网格的配准,可直接用于评测现有位姿方法在非刚性形变下的失效程度,也可作为形变鲁棒位姿估计的训练与测试源。
EgoXtreme:极端条件下第一人称视角鲁棒物体姿态估计数据集
EgoXtreme: A Dataset for Robust Object Pose Estimation in Egocentric Views under Extreme Conditions
该数据集为第一人称视角下的 6D 物体姿态估计提供了极端条件(严重运动模糊、动态光照、烟雾遮挡)下的评测基准,可用于检验现有泛化姿态估计器的失效模式,并推动时序信息利用与鲁棒性方法的研究。
EgoSound:第一人称视频中声音理解基准
EgoSound: Benchmarking Sound Understanding in Egocentric Videos
为视觉研究者提供了一个可复用的第一人称音视频问答基准与七任务分类体系,可用于诊断多模态大模型在离屏事件、空间定位与因果推理上的盲区,并作为音频-视觉联合训练或评测的下游测试床。
Ego2Web:基于第一人称视频的网页智能体基准
Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos
Ego2Web 将第一人称视频感知与网页任务执行串联,为视觉研究者提供了检验视频理解模型能否支撑真实世界在线任务的新基准;其 LLM-as-a-Judge 自动评估方法(Ego2WebJudge)也可迁移到其他需要开放式判断的视觉任务评测中。
Ego-1K:面向第一人称视觉的大规模多视角视频数据集
Ego-1K - A Large-Scale Multiview Video Dataset for Egocentric Vision
为第一人称多视角动态场景重建与4D新视角合成提供了一个时间同步、带标定的评测平台,其近距离动态物体与大视差设定可直接用于检验现有4D新视角合成方法在剧烈视差与自运动下的失效模式。
EVLF:面向生成式数据集蒸馏的早期视觉-语言融合
EVLF: Early Vision-Language Fusion for Generative Dataset Distillation
提出在编码器与生成主干之间插入轻量交叉注意力实现早期视觉-语言融合,可即插即用地改进任何基于扩散的数据集蒸馏流程,为视觉研究者提供了一种平衡文本语义与视觉潜变量的生成控制手段。
ENC-Bench:评估多模态大语言模型电子海图理解能力的基准
ENC-Bench: A Benchmark for Evaluating Multimodal Large Language Models in Electronic Navigational Chart Understanding
该基准揭示了MLLMs在专业符号系统(如海图矢量符号)和几何空间计算上的系统性缺陷,为视觉-语言模型在安全关键领域的符号接地与多约束推理提供了可复用的评测框架和失败模式分析。
EMMA:具备全面语义指标与多样类别的概念擦除基准
EMMA: Concept Erasure Benchmark with Comprehensive Semantic Metrics and Diverse Categories
为概念擦除方法提供了一套覆盖隐式提示、视觉相似非目标概念以及性别/族裔偏见的评测协议,做 T2I 安全生成或模型编辑的研究者可直接用其 13 项指标检验方法是否真正从表征中移除概念,而非仅对直接提示失效。
E-comIQ-ZH:面向电商海报细粒度评测的人类对齐数据集与基准(含思维链)
E-comIQ-ZH: A Human-Aligned Dataset and Benchmark for Fine-Grained Evaluation of E-commerce Posters with Chain-of-Thought
为生成图像质量评估提供了一条可复用的路线:用专家校准的 CoT 理由训练专用评测模型,可迁移到其他需要细粒度、可解释打分的生成内容评测场景(如中文文字渲染正确性、版式功能性)。
视觉语言模型达标了吗?用 MeasureBench 对视觉测量读数进行基准评测
Do Vision-Language Models Measure Up? Benchmarking Visual Measurement Reading with MeasureBench
提供了一个可程序化合成仪表图像(指针、刻度、字体、光照、杂乱可控)的流水线,以及一个诊断 VLM 细粒度空间定位能力的基准;做 VLM 数值感知或空间 grounding 的研究可直接用它构造训练/评测数据,并验证 RFT 在合成数据上的迁移效果。
检测任意AI伪造文本图像
Detect Any AI-Counterfeited Text Image
DanceText 提供了覆盖全图生成、区域擦除与编辑三类伪造范式的十万级文本图像伪造数据集,并首次纳入多模态大模型与商用软件产物;DS-Net 的取证解耦编码器提取与生成器无关的伪影特征、协同去噪解码器联合图像级分类与实例级定位,可直接迁移到通用 AIGC 图像取证与篡改区域定位任务。
DeepfakeImpact:一个具有现实世界影响力的两阶段深度伪造检测基准
DeepfakeImpact: A Two-Stage Benchmark with Real-World Impact in Deepfake Detection
提出社会误判影响(SMI)指标,将误分类视频的社会危害纳入评估,为视觉检测模型提供超越准确率的伦理感知评测框架,可复用于其他安全敏感检测任务。
大规模地理空间图像数据集中的数据泄漏检测与去重
Data Leakage Detection and De-duplication in Large Scale Geospatial Image Datasets
提出基于感知哈希的数据验证流水线,可自动检测大规模视觉数据集中的重复与泄漏问题,为训练可靠模型提供数据质量保障。
DSERT-RoLL:面向多样驾驶条件的鲁棒多模态感知——立体事件-RGB-热成像相机、4D雷达与双LiDAR
DSERT-RoLL: Robust Multi-Modal Perception for Diverse Driving Conditions with Stereo Event-RGB-Thermal Cameras, 4D Radar, and Dual-LiDAR
为事件相机、4D雷达、热成像等新传感器提供了带2D/3D框与轨迹ID的多模态驾驶数据与统一基准,可直接用于研究跨传感器家族的融合策略与恶劣天气下的3D检测鲁棒性。
DPGF-Net:用于联合评估 AI 生成图像感知质量与语义一致性的双先验引导融合网络
DPGF-Net: Dual-Prior Guided Fusion Network for Joint Assessment of Perceptual Quality and Semantic Consistency in AI-Generated Images
面向 AI 生成图像的联合质量与语义一致性评估,用图像侧先验把渲染失真与内容解耦、再与提示词模板交互,可作为 T2I 生成模型评测与数据筛选的自动化打分器。
DMGD:扩散模型中基于语义-分布匹配的无训练数据集蒸馏
DMGD: Train-Free Dataset Distillation with Semantic-Distribution Matching in Diffusion Models
用条件似然优化替代辅助分类器实现语义匹配,并以最优传输做分布匹配,为扩散模型中的无训练引导提供可复用方案;其分布近似匹配与贪心渐进匹配策略可迁移到任何需要低成本分布对齐的生成流程。
DENALI:一个利用低成本激光雷达实现非视域空间推理的数据集
DENALI: A Dataset Enabling Non-Line-of-Sight Spatial Reasoning with Low-Cost LiDARs
提供了首个大规模真实世界低成本的消费级激光雷达时空直方图数据集,可用于训练和评测数据驱动的非视域感知方法,并揭示了仿真到真实迁移的差距,为后续研究提供基准。
CrossHOI-Bench:跨视觉语言模型与 HOI 专用方法的统一 HOI 评测基准
CrossHOI-Bench: A Unified Benchmark for HOI Evaluation across Vision-Language Models and HOI-Specific Methods
用带显式正例与精选负例的多项选择协议替代 HICO-DET 的精确标签匹配,可直接用于公平比较 VLM 与专用 HOI 模型,并暴露多动作并发与动作-人物绑定这两类失败模式。
共识与争议:刻画架构产生分歧的决策空间
Consensus vs. Controversy: Mapping the Decision Space Where Architectures Diverge
提供了一种按图像分歧程度划分分布尾部(高分歧 vs 低分歧)的分析框架,可用于指导模型选择与集成构建——在争议图像子集上挑选互补架构,比在整体精度上做集成更能带来收益。
CompBench:面向复杂指令引导图像编辑的基准
CompBench: Benchmarking Complex Instruction-guided Image Editing
做指令引导图像编辑的研究者可以直接用 CompBench 的细粒度指令与四维解耦(位置/外观/动态/物体)来诊断模型在复杂场景下的精确操控短板,也可借鉴其 MLLM-人工协同构建流程来造自己的评测数据。
常见修复物体的上下文内外数据集
Common Inpainted Objects In-N-Out of Context
用扩散修复在 COCO 上系统性地替换物体,构造出上下文一致与不一致的受控样本,为上下文推理、上下文预测和伪造检测提供了可复用的评测床;做图像取证或上下文理解的研究者可以直接用这套数据做零微调评测。
CoCoVideo:面向AI生成视频检测的基于商用模型的高质量对比基准
CoCoVideo: The High-Quality Commercial-Model-Based Contrastive Benchmark for AI-Generated Video Detection
提供了基于13个商用生成器的语义对齐真假视频对,可用于训练和评测高保真AIGC视频检测器;其「R3D-18时空特征+置信度门控路由到MLLM推理物理合理性」的框架,为在视觉检测中引入多模态大模型推理提供了可复用的设计范式。
ClimaOoD:通过物理真实的合成数据改进异常分割
ClimaOoD: Improving Anomaly Segmentation via Physically Realistic Synthetic Data
ClimaDrive 的语义引导图像到图像框架可生成物理真实、天气多样的 OoD 驾驶数据,为异常分割模型提供高质量训练数据;其结构引导多天气生成与提示驱动异常修复的统一思路,可复用于其他需要合成异常样本的视觉任务。
CineBrain:用于脑条件视频生成的大规模多模态视听脑数据集
CineBrain: A Large-Scale Multi-Modal Audiovisual Brain Dataset for Brain-Conditioned Video Generation
该工作提出的多模态脑信号融合编码器与神经潜变量解码器,为视觉解码提供了可复用的跨模态对齐与融合范式;其同步fMRI-EEG数据集可用于研究听觉皮层激活如何增强视觉解码,对脑机接口和视觉神经科学交叉方向有直接参考价值。
ChartR:评估图表问答中的推理准确性与鲁棒性
ChartR: Evaluating Reasoning Accuracy and Robustness in Chart Question Answering
对做多模态大模型视觉推理的人,它提供了把问题拆成 4-10 步子问题、并对同一图表施加模糊/加噪/水印/去标注四种视觉扰动来定位「哪一步开始错、错误如何向后传播」的评测协议与八项指标,可直接用于诊断自家模型是依赖文本线索还是真正读图。
ChartNet:面向鲁棒图表理解的百万级高质量多模态数据集
ChartNet: A Million-Scale, High-Quality Multimodal Dataset for Robust Chart Understanding
对做图表理解或多模态文档理解的视觉研究者,ChartNet 提供了百万级、五元对齐(绘图代码/图像/数据表/摘要/带推理问答)的监督信号,可直接用于微调 VLM 并检验其在几何图形与结构化数值联合推理上的泛化能力。
Charge:一个统一绑定所有任务的全新视角合成综合基准与数据集
Charge: A Comprehensive Novel View Synthesis Benchmark and Dataset to Bind Them All
该数据集同时提供深度、表面法线、分割与光流等多模态真值,并设置稠密多视角、稀疏相机与单目视频三种基准场景,可直接用于评测4D重建与新视角合成方法在不同数据稀疏度下的鲁棒性,也为多模态监督训练提供了现成的配对数据。
CaptionQA:你的描述能像图像本身一样有用吗?
CaptionQA: Is Your Caption as Useful as the Image Itself?
把「图像描述能否替代图像」转化为可用 LLM 直接作答的多选题效用探针,为评估 captioning 与多模态描述模型提供了可复用的下游效用评测协议,也提示视觉研究者关注 caption 在检索、推荐、agent 流水线中的信息保真度。
CURVE:面向文化与多语言长视频推理的基准
CURVE: A Benchmark for Cultural and Multilingual Long Video Reasoning
提供了一个以原生语言、区域文化视频构建的长视频推理基准,并给出基于推理链构建证据图来定位细粒度推理错误的迭代评测策略,可直接用于诊断 Video-LLM 在视觉文化感知环节的失效点。
CRIT:基于图的自动数据合成以增强跨模态多跳推理
CRIT: Graph-Based Automatic Data Synthesis to Enhance Cross-Modal Multi-Hop Reasoning
提供了一套基于图自动生成跨模态多跳推理训练/评测数据的流水线,可直接用于构造需要图文互补才能作答的 VLM 训练数据,缓解模型推理链缺乏视觉依据的幻觉问题。
CREval:面向复杂指令下创意图像编辑的自动化可解释评估
CREval: An Automated Interpretable Evaluation for Creative Image Manipulation under Complex Instructions
提供了一套基于问答的自动化评估流程和包含800多个样本、13K查询的基准,可用于系统评估图像编辑模型在复杂创意指令下的表现,替代不透明的MLLM直接打分。
CopyLens:通过版权感知提示词学习实现受版权保护角色的侵权检测
COPYLENS: Towards Copyrighted Characters Infringement Detection via Copyright-Aware Prompt Learning
把 LVLM 检测器与 LLM 元提示闭环结合,用人类标注一致性作为反馈信号自动优化检测提示词,这一「提示词自动搜索 + 人类判断对齐」的范式可迁移到任何需要与人类主观判断对齐的视觉判别任务(如审美、安全、真实性评估)。
CLP:面向鲁棒语义分割的真实世界受污染镜头保护罩数据集
CLP: A Real-World Dataset of Contaminated Lens Protectors for Robust Semantic Segmentation
为镜头保护罩污染这一真实退化提供带密集语义分割掩码与对齐复原目标的基准,可直接用于评测域泛化、基础模型微调以及复原-分割联合流水线在有限数据下的表现。
CI-VID:一个连贯的交错文本-视频数据集
CI-VID: A Coherent Interleaved Text-Video Dataset
CI-VID 提供了带交错文本标注的多片段视频序列,可直接用于训练和评测文本-视频到视频(T&V2V)生成模型,推动从孤立片段生成向具有跨片段语义连贯性的故事化视频生成发展。
CHIRP数据集:面向野外鸟类种群的长期、个体级行为监测
CHIRP dataset: towards long-term, individual-level, behavioral monitoring of bird populations in the wild
提供了一个面向野外鸟类长期行为监测的多任务数据集(CHIRP)和基于彩色腿环分割分类的个体重识别流程(CORVID),其应用导向评测(如取食率、共现率)为视觉模型在真实生态场景中的效用评估提供了可借鉴的范式。
CARD:面向复杂道路地形的稠密三维重建多模态自动驾驶数据集
CARD: A Multi-Modal Automotive Dataset for Dense 3D Reconstruction in Challenging Road Topography
提供准稠密多激光雷达融合深度真值(每帧约 50 万有效深度像素,约为 KITTI 深度补全的 6.5 倍),可用于训练与评测深度估计/补全模型在减速带、坑洼、非铺装路面等困难地形上的细粒度几何能力;其立体引导深度补全变体与标准化评测协议可直接作为新基准复用。
弥合图像超分辨率评测中的感知鸿沟
Bridging the Perception Gap in Image Super-Resolution Evaluation
对做超分辨率的人,这篇给出了一个可直接套用的评测改造:把任意 FR/NR IQA 指标换成成对相对质量比较(RQI),既能更贴合人眼偏好地排名 SR 模型,也能当作训练损失引导生成更真实的细节。
打破平滑运动假设:面向复杂恶劣条件下多目标跟踪的无人机基准
Breaking Smooth-Motion Assumptions: A UAV Benchmark for Multi-Object Tracking in Complex and Adverse Conditions
为无人机视角多目标跟踪提供了包含剧烈自运动、尺度变化和运动模糊的严苛基准,可用于评估和提升跟踪器在动态复杂场景下的检测与关联鲁棒性。
超越软标签:通过正交梯度匹配进行数据集蒸馏
Beyond Soft Label: Dataset Distillation via Orthogonal Gradient Matching
OGM 通过正交化梯度并匹配奇异向量方向,为数据集蒸馏提供了一种无需反向传播的梯度匹配新思路,可复用于其他需要高效匹配梯度方向的视觉任务。
超越单视角充分性:CVBench 跨视角人体理解基准
Beyond Single-View Sufficiency: CVBench for Cross-View Human Understanding
该基准通过强制单视角信息不足的设定,暴露了现有多模态大模型在跨视角融合上的系统性缺陷,为设计具备几何 grounding 和身份持久性的视觉架构提供了诊断工具与明确方向。
超越单张图像:面向相册级视觉语言理解的综合基准
Beyond Single Images: A Comprehensive Benchmark for Album-Level Vision-Language Understanding
为多图/相册级视觉语言理解提供了带用户意图标注的评测基准,可直接用于检验和训练 VLM 的跨图上下文聚合与意图对齐能力,例如在相册内做照片筛选、评分与分组。
超越全局相似度:面向细粒度跨模态理解的多条件检索
Beyond Global Similarity: Multi-Conditional Retrieval for Fine-Grained Cross-Modal Understanding
为视觉研究者提供了一个诊断性基准,用于检验多模态检索器与视觉语言重排序器在自然语言多约束查询下的细粒度组合匹配能力;其发现(视觉线索主导早期排序精度、文本元数据稳定长尾排序、pointwise 重排序器通过显式验证查询-候选一致性显著提升匹配)可直接指导检索系统的重排序模块设计与多模态特征融合策略。
单因素物理视频到音频生成的基准评测
Benchmarking Single-Factor Physical Video-to-Audio Generation
为视频到音频生成提供了单因素反事实配对与单视频模式测试的评测协议,可直接用于诊断多模态生成模型对视觉流与文本条件的依赖程度,并揭示时序对齐与语义准确率之间的权衡。
基准测试博士级编码在3D几何计算机视觉中的表现
Benchmarking PhD-Level Coding in 3D Geometric Computer Vision
GeoCodeBench 提供了从论文官方仓库中筛选核心 3D 几何组件并自动生成边界单元测试的流程,可直接用于评估或训练模型实现几何变换、算法逻辑等 3D 视觉代码的能力,其上下文消融结果(截断至方法部分优于全文)也为科学长文档理解提供了可复用的实验设计。
通过建模多视觉模式分布实现平衡的数据集蒸馏
Balanced Dataset Distillation via Modeling Multiple Visual Pattern Distribution
把「每类单簇」的假设换成类内多视觉模式分布,用层次语义结构在中心与边缘各取子集做平衡 coreset,可直接迁移到视觉数据集压缩与高效训练流程中,并提供了信息覆盖与性能一致性的理论保证。
BabyVLM-V2:迈向具有发展依据的视觉基础模型预训练与基准评测
BabyVLM-V2: Toward Developmentally Grounded Pretraining and Benchmarking of Vision Foundation Models
DevCV Toolbox 把 NIH Baby Toolbox 的视觉相关测查改造成十个多模态任务的基准,为「样本高效/发展式预训练」提供了可量化的评测协议;做数据高效预训练或小模型 VLM 的工作可以直接用它作为认知对齐的评测集,也可借鉴其纵向婴儿视听语料的构建方式来设计低资源预训练数据。
Artiverse:一个多样且物理落地的铰接物体数据集
Artiverse: A Diverse and Physically Grounded Dataset for Articulated Objects
为铰接物体理解与生成提供带功能部件、多自由度关节和物理属性(尺度、材质、质量)的标注资源,可直接用于训练部件运动分析、铰接物体生成与物理交互模型;其半自动标注流程(少样本分割+几何推理+多阶段人工校验)也可迁移到其他需要部件级标注的3D数据构建。
面向上下文依赖分割的标注高效核心集选择
Annotation-Efficient Coreset Selection for Context-dependent Segmentation
把 coreset 选择建模为前景/背景分布间的最优传输问题,并用基于点的破坏-重建过程估计传输代价,这套「弱标注打分 + 最大距离熵采样」可直接迁移到分割/检测数据集的高效标注与主动学习流程中。
面向自动驾驶的以实例为中心的全景占用预测基准
An Instance-Centric Panoptic Occupancy Prediction Benchmark for Autonomous Driving
为3D全景占用预测提供带实例级真值的高分辨率(0.05 m)物理一致数据集与标准化评测指标,可直接用于训练和公平对比体素级语义+实例联合预测模型,并支撑遮挡推理与几何重建研究。
AirSim360:一个无人机视角下的全景仿真平台
AirSim360: A Panoramic Simulation Platform within Drone View
为全景/无人机视角下的深度估计、语义与实例分割、导航等任务提供带像素级几何与语义标注的合成数据源,并给出可自动生成飞行轨迹的仿真接口,可直接用于训练与评测 360 度空间理解模型。
敏捷协商:面向主观视觉分类的概念协商
Agile Deliberation: Concept Deliberation for Subjective Visual Classification
对做视觉分类器落地的人,这篇给出了一个可复用的「概念协商」流程:先用层级子概念分解把模糊概念结构化,再主动挑出语义边界样本让用户反馈,从而在概念本身会漂移的主观任务上迭代对齐分类器;其18场、每场1.5小时的用户实验协议也可作为主观分类系统评测的参考。
ActivityForensics:面向视频中被操纵活动定位的综合基准
ActivityForensics: A Comprehensive Benchmark for Localizing Manipulated Activity in Videos
为视频取证提供了「活动级」伪造的定位基准与跨域/开放世界评测协议,并给出基于扩散特征正则化的基线 TADiff;做视频生成检测、时序定位或伪造溯源的研究者可直接在其协议上评测,或借鉴其用扩散模型暴露生成伪影痕迹的思路。
AVFakeBench:面向音视频大语言模型的综合音视频伪造检测基准
AVFakeBench: A Comprehensive Audio-Video Forgery Detection Benchmark for AV-LMMs
为视觉研究者提供一个覆盖人类主体与一般场景、含七类伪造与四级标注的音视频伪造检测基准,并给出二分类判断、伪造类型分类、伪造细节选择与解释性推理的多任务评测协议,可直接用于检验 AV-LMM 在细粒度伪造感知与推理上的短板。
AVA-Bench:面向视觉基础模型的原子视觉能力基准
AVA-Bench: Atomic Visual Ability Benchmark for Vision Foundation Models
把 VQA 评测拆成 14 个原子视觉能力并让训练/测试分布对齐,可直接用来给任意 VFM 做能力指纹诊断,避免把 LLM 指令微调数据不匹配误判为视觉能力缺陷;同时证明 0.5B LLM 头即可复现 7B 头的模型排序,为视觉评测省下 8 倍 GPU 时间。
4DWorldBench:面向3D/4D世界生成模型的综合评估框架
4DWorldBench: A Comprehensive Evaluation Framework for 3D/4D World Generation Models
为3D/4D世界生成模型提供统一评测框架,其将多模态条件映射到文本空间并用LLM/MLLM作为评判器的自适应评估策略,可复用于其他生成任务的跨模态对齐与物理合理性度量。
3DReflecNet:面向反射、透明与低纹理物体三维重建的大规模数据集
3DReflecNet: A Large-Scale Dataset for 3D Reconstruction of Reflective, Transparent, and Low-Texture Objects
该数据集为反射/透明/低纹理物体的多视图重建提供了大规模合成与真实数据,并定义了图像匹配、SfM、新视角合成、反射去除和重光照五个基准任务,可直接用于评测和开发针对这些挑战性材料的鲁棒3D视觉方法。