Tag · 55 篇
基准数据集
一帧世界:将文化混合理解为视觉语言模型的新挑战
World in a Frame: Understanding Culture Mixing as a New Challenge for Vision-Language Models
为 LVLM 研究提供了一个可复用的文化混合 VQA 基准与四种子任务设定,并验证了用扩散生成的多文化混合数据做监督微调可显著降低模型对背景的依赖、提升跨上下文预测一致性,可作为评估和缓解 LVLM 背景偏置的参考范式。
当线条遇上纹理:面向跨稀疏度对应的空间-频率对齐扩散特征
When Lines Meet Textures: Spatial-Frequency Aligned Diffusion Features for Cross-Sparsity Correspondence
把扩散模型中间层特征当作免训练的描述子来做稀疏线条图与纹理照片之间的匹配,并指出仅做空间对齐不够、需在频域聚合低频分量以抹平纹理密度差异——这套双域对齐思路可直接迁移到草图检索、跨模态配准、线稿上色等需要跨越抽象层级差异的匹配任务。
VideoFusion:用于多模态视频融合的时空协同网络
VideoFusion: A Spatio-Temporal Collaborative Network for Multi-modal Video Fusion
提出面向视频的多模态融合框架,其双时序协同注意力机制可动态聚合前后向时序上下文,为视频复原、增强等任务中时空一致性建模提供可复用模块;同时发布的M3SVD基准数据集填补了多传感器视频融合的数据空白,便于后续研究公平对比。
VLM-Loc:基于视觉语言模型的点云地图定位
VLM-Loc: Localization in Point Cloud Maps via Vision-Language Models
将点云转为BEV图像和场景图,利用VLM的跨模态推理能力实现文本到点云的定位,为3D场景理解提供可解释的空间推理新范式。
UAVLight:无人机场景下光照鲁棒三维重建的基准
UAVLight: A Benchmark for Illumination-Robust 3D Reconstruction in Unmanned Aerial Vehicle (UAV) Scenes
为多视图立体、SfM 与神经渲染方法提供了一个几何与视角固定、仅光照变化的受控评测基准,可用于诊断和缓解光照不一致导致的几何漂移、颜色不一致与阴影烙印问题,并支撑可重光照重建研究。
通过时空似然进行生成视频的训练无关检测
Training-free Detection of Generated Videos via Spatial-Temporal Likelihoods
提出一种无需训练、基于时空似然评分的零样本合成视频检测器,可复用其概率框架对视频的时空一致性进行建模,用于检测任务或作为生成质量评估的参考。
迈向3D世界中的视觉查询定位
Towards Visual Query Localization in the 3D World
论文提出的3DVQL基准和LaF融合算法为视觉研究者提供了在3D点云与RGB-D数据上进行时空查询定位的新任务设定和可复用的多模态融合模块,可直接用于点云-图像融合的定位与跟踪研究。
迈向摄影相机通用计算像差校正:一份全面的基准分析
Towards Universal Computational Aberration Correction in Photographic Cameras: A Comprehensive Benchmark Analysis
该基准为计算像差校正提供了跨24种图像复原算法的系统性评测,并引入光学退化评估器(ODE)量化任务难度,可直接用于评估和设计面向真实镜头的图像复原方法。
面向可泛化全脑表征的高分辨率光片数据
Toward Generalizable Whole Brain Representations with High-Resolution Light-Sheet Data
提供了首个亚细胞分辨率全脑光片荧光显微镜基准数据集,可用于评估和开发面向大规模三维生物医学数据的检测与分类模型,并揭示了现有架构在细胞形态异质性下的泛化挑战。
StreamReady:学习在长流式视频中何时回答与回答什么
StreamReady: Learning What to Answer and When in Long Streaming Videos
提出了一种基于证据窗口的时序就绪度机制,可集成到流式视频理解模型中,实现证据出现时及时回答,避免过早或过晚响应。
SpatialReward:面向文本到图像生成中细粒度空间一致性的可验证空间奖励建模
SpatialReward: Verifiable Spatial Reward Modeling for Fine-Grained Spatial Consistency in Text-to-Image Generation
提供了一套可验证的空间奖励建模流程:用提示词分解器抽取实体与空间元数据,用专家检测器做视觉定位,再用视觉语言模型做思维链推理判断空间关系,可直接作为强化学习微调 T2I 模型(SD、FLUX)的奖励信号,也可复用其 SpatRelBench 评测生成图像的空间一致性。
小目标,大挑战:小目标视觉定位基准
Small Object, Great Challenge: A Benchmark for Small Object Visual Grounding
对做视觉定位的研究者,这篇提供了小目标场景的评测基准 RefCOCOs 与基于 MLLM 的自动数据构建流水线,可直接用于检验现有 VG 模型在尺度分布偏移下的失效模式;SoVG-Net 的分层文本注入模块也给出了把多层级语言特征注入视觉骨干的具体做法。
Skyra:基于接地伪影推理的AI生成视频检测
Skyra: AI-Generated Video Detection via Grounded Artifact Reasoning
提出基于多模态大语言模型的伪影定位与推理框架,可复用于其他可解释视觉检测任务;构建的细粒度伪影标注数据集与基准为后续研究提供评测基础。
SciEducator:基于戴明循环多智能体系统的科学视频理解与教育
SciEducator: Scientific Video Understanding and Educating via Deming-Cycle Multi-Agent System
将戴明循环(Plan-Do-Study-Act)重构为多智能体自演化推理与反馈机制,用于科学视频的逐步推理与外部知识整合;该迭代式智能体框架可迁移到需要专业领域知识注入的视频问答与教学场景。
SaPaVe:面向机器人视觉-语言动作模型的主动感知与操作
SaPaVe: Towards Active Perception and Manipulation in Vision-Language Action Models for Robotics
将相机运动作为独立的语义控制动作与操作动作解耦,并用3D几何感知模块提升动态视角下的执行鲁棒性,为视觉-语言-动作模型提供可复用的主动视角控制范式与ActiveViewPose-200K数据。
SDDF:面向开放词表伪装目标检测的特异性驱动动态聚焦
SDDF: Specificity-Driven Dynamic Focusing for Open-Vocabulary Camouflaged Object Detection
针对伪装目标与背景视觉高度相似导致开放词表检测失效的问题,提出子描述主成分对比融合来过滤多模态大模型生成的冗余修饰词,并用特异性引导的区域弱对齐与动态聚焦增强前景-背景判别,可直接迁移到任何文本提示驱动的检测器中做提示去噪与区域对齐。
SAM 3D:把图像中的一切三维化
SAM 3D: 3Dfy Anything in Images
把单图物体重建当作生成任务,用「合成数据预训练 + 真实数据对齐」的多阶段训练突破 3D 数据瓶颈;对做单目重建、3D 资产生成或需要大规模带位姿/纹理 3D 标注数据的工作,这套数据管线与训练范式可直接复用。
RobustVisRAG:视觉退化下因果感知的基于视觉的检索增强生成
RobustVisRAG: Causality-Aware Vision-Based Retrieval-Augmented Generation under Visual Degradations
提出因果引导的双路径框架,通过非因果路径捕获退化信号并引导因果路径学习纯化语义,为视觉检索增强生成在退化条件下的鲁棒性提供了可复用的解耦思路;同时构建的 Distortion-VisRAG 数据集可用于评测多模态检索与生成模型在真实退化下的表现。
ReFAct:赋予多模态网络智能体视觉与上下文聚焦能力
ReFAct: Empowering Multimodal Web Agents with Visual and Context Focusing
提出 Grounding 工具进行主动视觉感知以动态过滤视觉信息,并设计基于外部记忆的 Defocus/Refocus 操作调节多模态上下文信息密度,可复用于视觉语言模型在噪声环境下的鲁棒推理。
RHO:基于OpenStreetMap的鲁棒整体度量跨视角地理定位
RHO: Robust Holistic OSM-Based Metric Cross-View Geo-Localization
提出基于全景图与OSM的度量跨视角地理定位新设定,并设计Split-Undistort-Merge模块处理全景畸变、Position-Orientation Fusion机制融合位置与朝向,为视觉定位中全景畸变校正与多模态融合提供可复用技术。
R4-CGQA:基于检索的视觉语言模型用于计算机图形图像质量评估
R4-CGQA: Retrieval-based Vision Language Models for Computer Graphics Image Quality Assessment
提出双流检索增强生成框架,利用视觉相似图像的质量描述提升VLM对细粒度图像质量的判断能力,可迁移至其他需要细粒度感知的视觉语言任务。
像素不会说谎(但你的检测器可能会):自举多模态大语言模型作为评判器以实现可信的深度伪造检测与推理监督
Pixels Don't Lie (But Your Detector Might): Bootstrapping MLLM-as-a-Judge for Trustworthy Deepfake Detection and Reasoning Supervision
提出以多模态大语言模型作为评判器(MLLM-as-a-Judge),通过自举生成-评估过程将人类反馈扩展为结构化推理监督,可用于评估和提升深度伪造检测模型推理的视觉证据忠实性,为可解释的伪造检测提供可扩展的监督信号。
Paper2Figure:面向学术论文图表生成的多智能体协作系统
Paper2Figure: A Multi-Agent Collaborative System for Figure Generation Towards Academic Research Paper
把「图」表示为可编辑的中间脚本语言(FigScript),再由渲染器出图、由多智能体迭代修订——这套「脚本中间表示 + 渲染 + 反思式修订」的范式可直接迁移到视觉领域的示意图/流程图/架构图生成与可控编辑,也提示了用结构化中间表示替代像素级扩散生成来获得可编辑性的思路。
PECCVAI:克服 AI 图像水印在视觉转述攻击下的脆弱性
PECCVAI: Overcoming the Brittleness of AI Image Watermarking Under Visual Paraphrasing Attacks
提出视觉转述攻击(caption→扩散模型重生成)可同时移除可见与不可见水印,并给出基于非融化点(NMP)与多通道频域编码的鲁棒水印方案 PECCAVI,为生成内容溯源与版权保护提供可复用的攻防基准。
OmniGround:面向真实复杂场景的综合时空视觉定位基准
OmniGround: A Comprehensive Spatio-Temporal Grounding Benchmark for Real-World Complex Scenarios
STVG 被拆成「高层时序定位 + 细粒度时空传播」两阶段且免训练,可直接套用到现有多模态大模型上做视频目标定位,无需微调即可提升小目标与遮挡场景的 m_tIoU/m_vIoU。
OMG-Bench:面向骨架在线微手势识别的新挑战性基准
OMG-Bench: A New Challenging Benchmark for Skeleton-based Online Micro Hand Gesture Recognition
提供首个大规模骨架在线微手势基准与多视图自监督骨架生成流程,其分层记忆增强 Transformer 用帧级与窗口级记忆库保留历史上下文,可迁移到其他在线时序动作/手势检测任务。
并非所有鸟都长得一样:面向鸟类的身份保持生成
Not All Birds Look The Same: Identity-Preserving Generation For Birds
针对非刚性细粒度类别(鸟类)的身份保持生成,提出按物种、年龄、性别分组训练作为身份代理,可迁移到其他缺乏多视角/视频数据的细粒度域(如动植物、时尚单品)的定制化生成。
NAMI:通过桥接渐进式整流流 Transformer 实现高效图像生成
NAMI: Efficient Image Generation via Bridged Progressive Rectified Flow Transformers
NAMI 通过按分辨率分段使用不同层数的 DiT 并用 BridgeFlow 模块对齐各阶段流,在 1024×1024 生成上减少 64% 推理时间,为视觉生成模型提供了一种可复用的高效多分辨率训练与推理范式。
MarkushGrapher-2:端到端多模态化学结构识别
MarkushGrapher-2: End-to-end Multimodal Recognition of Chemical Structures
该工作将文本、图像与版面信息通过视觉-文本-版面编码器与光学化学结构识别视觉编码器联合编码,并采用两阶段训练策略融合,为文档图像中的多模态结构识别提供了可复用的编码与融合范式。
MOGeo:超越一对一跨视角目标地理定位
MOGeo: Beyond One-to-One Cross-View Object Geo-localization
论文提出跨视角多目标地理定位任务并构建基准数据集,为视觉定位研究提供了更贴近现实的多目标设定和评测协议,可推动多目标跨视角匹配方法的发展。
MMSD3.0:面向真实世界多模态讽刺检测的多图像基准
MMSD3.0: A Multi-Image Benchmark for Real-World Multimodal Sarcasm Detection
该论文提出的多图像基准和跨图像推理模型(CIRM)为视觉-语言任务中多图像语义关系建模提供了可复用的评测平台和融合思路,尤其适用于需要跨图像推理的讽刺检测、情感分析等场景。
MMDIR:多模态指令驱动的混合退化文档图像复原框架
MMDIR: Multimodal Instruction-Driven Framework for Mixed-Degradation Document Image Restoration
提出用语义结构化指令动态识别混合退化类型(模糊、阴影、文字水印、印章),为文档图像复原提供了一种可复用的多模态条件控制思路;同时发布的 MixedDoc 基准填补了真实混合退化数据集的空白,可用于评估模型在复杂退化下的鲁棒性。
MICo-150K:推进多图像合成的综合数据集
MICo-150K: A Comprehensive Dataset Advancing Multi-Image Composition
该数据集为多图像合成任务提供了大规模训练数据和标准化评测基准,其提出的 Weighted-Ref-VIEScore 指标和 De&Re 子集可用于评估和提升模型在多参考输入下的身份一致性与组合能力。
LaS-Comp:基于隐空间-空间一致性的零样本三维补全
LaS-Comp: Zero-shot 3D Completion with Latent-Spatial Consistency
把 3D 基础模型的生成先验当作免训练的补全器,用「显式替换 + 隐式精修」两阶段保证观测区域保真与边界无缝,可直接迁移到点云/隐式场补全、稀疏观测重建等任务。
交互式跟踪:一种具有记忆增强适应的人机回环范式
Interactive Tracking: A Human-in-the-Loop Paradigm with Memory-Augmented Adaptation
提出交互式跟踪新范式,允许用户通过自然语言指令实时引导跟踪器,并引入动态记忆机制从反馈中学习;为视觉跟踪研究提供了新基准和基线,推动人机协同的跟踪系统发展。
照亮通用多模态嵌入中的视觉身份
Illuminating Visual Identity in Universal Multimodal Embeddings
提出身份感知采样机制,在通用多模态嵌入中联合优化视觉身份表示,可直接用于实例检索、重识别和生成内容身份保持等视觉任务。
如何拍出令人难忘的照片?以可执行反馈赋能用户
How to Take a Memorable Picture? Empowering Users with Actionable Feedback
把 MLLM 的内部激活沿「由低到高记忆性」的教师轨迹做免训练引导,使其输出可执行的拍摄建议;这套 teacher-student steering 思路可直接迁移到其他需要让 VLM 给出可操作建议的视觉任务(如构图、光照、美学反馈)。
Graph2Eval:通过知识图谱为智能体自动生成多模态任务
Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs
为多模态智能体提供可自动扩展的评测任务生成管线:用知识图谱作为结构化任务空间,通过子图采样与元路径构造文档理解与网页交互任务,可直接用于构建视觉-语言智能体的评测基准,缓解静态数据集规模受限的问题。
将具身问答从感知扩展到决策
Extending Embodied Question Answering from Perception to Decision
为视觉语言模型在具身环境中的空间理解与交互推理提供了统一的四层级评测框架(静态场景构建、空间理解、任务动态推理、即时决策),并配套 RoboDecision 基线,可直接用于诊断 VLM 在感知到行动决策链条上的短板。
基于事件的视觉形变测量
Event-based Visual Deformation Measurement
将事件流的时间稠密运动线索与帧的空间稠密估计融合,并用分片线性化(AIS)与邻域贪心优化抑制稀疏噪声事件带来的运动歧义和长期跟踪误差累积,为高动态场景下的稠密对应与形变跟踪提供了可复用范式。
一步一步地预见未来
Envisioning the Future, One Step at a Time
把未来场景演化预测从稠密视频/潜空间生成改为稀疏点轨迹上的逐步自回归扩散推理,使单张图像快速 rollout 上千种未来假设;对做视频预测、轨迹生成或世界模型的研究者,这是一种可复用的「以稀疏轨迹为生成载体」的建模范式,并配套开放集运动预测基准 OWM。
EchoFoley:以事件为中心的层次化控制用于视频接地创意音效生成
EchoFoley: Event-Centric Hierarchical Control for Video Grounded Creative Sound Generation
提出以事件为中心的符号化表示(何时、何声、如何发声)作为细粒度控制信号,可迁移到视频生成中的局部事件控制;其慢快思维智能体框架为多模态条件平衡提供新思路。
DiGraphHal-Bench:评估多模态大语言模型在复杂有向图上的表现
DiGraphHal-Bench: Evaluating Multimodal Large Language Models on Complex Directed Graphs
该论文提出的有向图VQA基准和两阶段自动数据整理流程,可用于评估和提升多模态大模型在结构化视觉信息(如图表、流程图)上的细粒度推理与幻觉抑制能力,为视觉-语言模型在复杂图结构理解方向提供可复用的评测方法和数据构建思路。
跨模态模糊对齐网络用于文本-航拍行人检索及大规模基准
Cross-modal Fuzzy Alignment Network for Text-Aerial Person Retrieval and A Large-scale Benchmark
针对无人机视角下视觉信息退化导致的跨模态对齐难题,提出用模糊隶属度函数动态量化词元级可靠性,并引入地面视角图像作为桥接代理,为跨模态检索中的噪声抑制和模态鸿沟弥合提供了可复用的对齐思路。
ChronoGS:解耦多期场景中的不变量与变化
ChronoGS: Disentangling Invariants and Changes in Multi-Period Scenes
把多期采集的图像集合统一到一套锚点支架上的时序调制高斯表示,并显式解耦稳定几何与变化成分,为长期、非连续变化场景(城市重扫描、施工进度、环境监测)的新视角合成提供了可复用的表示与评测基准。
Chart-FR1:面向稠密图表的视觉聚焦驱动细粒度推理
Chart-FR1: Visual Focus-Driven Fine-Grained Reasoning on Dense Charts
Focus-CoT 把推理步骤显式锚定到局部图像区域与 OCR 信号上,配合带信息效率奖励的 Focus-GRPO 压缩冗余视觉 token,这套「视觉聚焦+自适应推理深度」的机制可直接迁移到文档、图表、密集标注场景的多模态推理,也为视觉 token 冗余问题提供了 RL 层面的解法。
CaST-Bench:面向视频问答的因果链视觉定位时空推理基准
CaST-Bench: Benchmarking Causal Chain-Grounded Spatio-Temporal Reasoning for Video Question Answering
该基准要求模型在视频中定位因果链的时空证据(时序片段和边界框轨迹),为视觉语言模型的可解释推理和减少虚假关联提供了可评估的测试平台,其标注管线和评估指标可直接用于训练和评测更透明的视频问答模型。
CREval:面向复杂指令下创意图像编辑的自动化可解释评估
CREval: An Automated Interpretable Evaluation for Creative Image Manipulation under Complex Instructions
提供了一套基于问答的自动化评估流程和包含800多个样本、13K查询的基准,可用于系统评估图像编辑模型在复杂创意指令下的表现,替代不透明的MLLM直接打分。
CME-CAD:面向 CAD 代码生成的异构协同多专家强化学习
CME-CAD: Heterogeneous Collaborative Multi-Expert Reinforcement Learning for CAD Code Generation
把 CAD 建模转成可执行的 CADQuery 代码生成,并用多专家协同的强化学习范式提升精度与可编辑性;对视觉研究者而言,它提供了从正交投影图到参数化三维模型的代码化重建路线,以及带精确尺寸标注与思维链的 17,299 条基准,可用于评测图像到可编辑三维结构的生成。
BridgeEQA:面向真实桥梁巡检的虚拟具身智能体
BridgeEQA: Virtual Embodied Agents for Real Bridge Inspections
将基础设施巡检建模为情景记忆具身问答任务,并提出以马尔可夫决策过程求解的 EMVR 框架;其『引用相关图像』的评测指标与长程多尺度空间推理设定,可迁移到需要跨视角检索证据的视觉语言任务。
打破平滑运动假设:面向复杂恶劣条件下多目标跟踪的无人机基准
Breaking Smooth-Motion Assumptions: A UAV Benchmark for Multi-Object Tracking in Complex and Adverse Conditions
为无人机视角多目标跟踪提供了包含剧烈自运动、尺度变化和运动模糊的严苛基准,可用于评估和提升跟踪器在动态复杂场景下的检测与关联鲁棒性。
超越单张图像:面向相册级视觉语言理解的综合基准
Beyond Single Images: A Comprehensive Benchmark for Album-Level Vision-Language Understanding
为多图/相册级视觉语言理解提供了带用户意图标注的评测基准,可直接用于检验和训练 VLM 的跨图上下文聚合与意图对齐能力,例如在相册内做照片筛选、评分与分组。
超越瓦片匹配:弥合未对齐的航空与卫星视角以实现纯视觉无人机导航
Beyond Matching to Tiles: Bridging Unaligned Aerial and Satellite Views for Vision-Only UAV Navigation
把跨视角地理定位从「匹配地图瓦片」转为「从邻域特征联合回归绝对位置与航向」,并显式编码相对空间关系以抵抗视角差异与错位,对做无人机/遥感定位与视觉导航的人是一个可直接复用的轻量化范式。
ACPV-Net:面向航空影像无缝矢量地图生成的全类别多边形矢量化
ACPV-Net: All-Class Polygonal Vectorization for Seamless Vector Map Generation from Aerial Imagery
面向航空影像的「全类别多边形矢量化」任务与 Deventer-512 基准,其共享边界、无缝隙无重叠的拓扑约束与语义监督条件化机制,可迁移到建筑提取、地物制图等需要输出矢量多边形的视觉任务。
A3:迈向广告美学评估
A3: Towards Advertising Aesthetic Assessment
论文提出的 A3-Law 分层美学评估范式与思维链引导的多模态大模型训练方法,可迁移至图像美学评估、广告创意生成等视觉任务,为视觉语言模型提供可解释的细粒度评价能力。