Tag · 29 篇
基准评测
当理解成为风险：新兴图像生成范式中的真实性与安全风险
When Understanding Becomes a Risk: Authenticity and Safety Risks in the Emerging Image Generation Paradigm
论文系统对比了MLLM与扩散模型在生成不安全内容和虚假图像上的安全风险，并揭示现有虚假图像检测器对MLLM生成图像识别困难、且可通过更长描述性输入绕过。对视觉安全研究者而言，这提示需要针对MLLM生成范式设计新的检测与防御方法，并重新评估现有检测器的泛化性。
当漂亮不再有用：探究现代文本到图像模型为何无法作为可靠的训练数据生成器
When Pretty Isn't Useful: Investigating Why Modern Text-to-Image Models Fail as Reliable Training Data Generators
对做合成数据训练、数据增强或生成式数据引擎的视觉研究者，这篇论文提示：T2I 模型的视觉保真度与提示词遵循度提升并不等于训练数据可用性提升，需在数据生成流程中显式度量生成分布的多样性与对真实分布的覆盖度，而非只看 FID 或人工观感。
VQ-VA World：迈向高质量视觉问题视觉回答
VQ-VA World: Towards High-Quality Visual Question-Visual Answering
论文提出以图像而非文本回答视觉问题的 VQ-VA 任务，并给出基于智能体流水线的大规模交错图文数据构建方案与 IntelligentBench 基准，为视觉语言模型从判别式问答向生成式视觉回答扩展提供了可复用的数据与评测范式。
VINS-120K：基于大规模数据集的超高清图像编辑
VINS-120K: Ultra High-Resolution Image Editing with A Large-Scale Dataset
针对超高清图像编辑中高频纹理细节难以建模的问题，提出高频感知的后适配策略，可将预训练的非高清编辑模型扩展到超高清域，为高分辨率生成与编辑提供可复用的微调思路。
词元变换帮助多模态大模型从邻近视角观察
Token Warping Helps MLLMs Look from Nearby Viewpoints
把视角变换从像素域搬到 ViT 词元域，用反向词元 warping 替代像素 warping，为 MLLM 提供对深度误差更鲁棒的视角外推手段；做多视角/具身推理的可以直接复用这一词元级几何对齐思路。
SA-FARI 数据集：面向识别与鉴定的动物视频分割一切
The SA-FARI Dataset: Segment Anything in Footage of Animals for Recognition and Identification
SA-FARI 提供了大规模、多物种、跨地域的相机陷阱视频密集标注（掩码、边界框、身份），可直接用于训练和评测多动物跟踪与重识别模型；其基准测试还系统比较了 SAM 3 等视觉语言模型在物种特定与通用提示下的表现，为视觉-语言模型在细粒度动物跟踪中的适用性提供了参考。
分布外检测中的隐形大猩猩效应
The Invisible Gorilla Effect in Out-of-distribution Detection
对做 OOD 检测的人，这篇论文提示：在近分布 OOD 场景下，检测分数会被伪影与 ROI 的视觉相似性（如颜色）系统性抬高或压低，因此设计检测器时应把伪影颜色/纹理与 ROI 的相似度作为控制变量，并用颜色交换的反事实样本做压力测试，而不是只在单一伪影类型上报告 AUROC。
Spot The Ball：视觉社会推理基准
Spot The Ball: A Benchmark for Visual Social Inference
提供了一个需要从注视方向、身体姿态等社会线索推断隐藏目标的评测设定，可用于检验 VLM 是否真正利用结构化行为线索而非空间捷径，并启发在视觉编码中显式建模人体朝向与视线几何。
SpatiaLQA：评估视觉语言模型空间逻辑推理能力的基准
SpatiaLQA: A Benchmark for Evaluating Spatial Logical Reasoning in Vision-Language Models
可复用其递归场景图辅助推理框架：用视觉基础模型把复杂室内场景逐步分解为与任务相关的场景图，再交给 VLM 做多步空间逻辑推理，这一思路可直接迁移到具身导航、机器人操作等需要空间关系判断的视觉任务。
以多模态基础模型扩展空间智能
Scaling Spatial Intelligence with Multimodal Foundation Models
该工作系统构建了800万空间能力数据并微调多模态基础模型，为视觉研究者提供了可复用的空间智能训练数据构建范式与评测基准，同时揭示了数据缩放对空间推理泛化能力的影响。
SO-Bench：多模态大语言模型的结构化输出评测
SO-Bench: A Structural Output Evaluation of Multimodal LLM
为视觉研究者提供了一个以 JSON schema 约束 MLLM 输出的评测与训练框架，可直接用于评估和提升模型在 UI、文档、图表等图像上的结构化信息抽取能力，也可作为 schema 约束解码或结构化微调的数据来源。
重新审视2D基础模型用于可扩展的3D医学图像分类
Revisiting 2D Foundation Models for Scalable 3D Medical Image Classification
将2D基础模型通过轻量插件适配到3D医学分类，并系统评估多种适配策略，为视觉领域利用大规模2D预训练模型解决3D任务提供了可复用的范式。
基于 RGB-事件的行人属性识别：一个基准数据集与一个非对称 RWKV 融合框架
RGB-Event based Pedestrian Attribute Recognition: A Benchmark Dataset and An Asymmetric RWKV Fusion Framework
提供了首个大规模 RGB-Event 配对的行人属性识别数据集与基准，并给出基于 RWKV 的非对称融合基线，可直接用于研究事件相机与 RGB 的跨模态融合、低光照与运动模糊场景下的视觉识别。
QuantiPhy：评估视觉语言模型物理推理能力的定量基准
QUANTIPHY: A Quantitative Benchmark Evaluating Physical Reasoning Abilities of Vision-Language Models
该基准把 VLM 的物理理解从定性 VQA 推进到对尺寸、速度、加速度的定量数值估计，并揭示模型依赖预训练世界知识而非忠实使用视觉输入；做视频理解或多模态推理的研究者可用它诊断模型是否真正从像素中推断运动学量，也可借鉴其标准化提示与评分协议来构建数值化评测。
PosterReward：为高质量平面设计生成解锁准确评估
PosterReward: Unlocking Accurate Evaluation for High-Quality Graphic Design Generation
为文生图模型提供针对海报设计的细粒度奖励信号，可用于生成后筛选或作为强化学习/偏好优化（如 RLHF、DPO）的奖励函数，弥补现有美学奖励模型忽略排版与文字准确性的缺陷。
Omni2Sound：迈向统一的视频-文本到音频生成
Omni2Sound: Towards Unified Video-Text-to-Audio Generation
提出三阶段多任务渐进训练调度，将视频到音频与文本到音频的跨任务竞争转化为联合优化，并缓解VT2A任务中的模态偏置；该调度策略可迁移到其他多模态条件扩散生成任务（如视频配音、音效生成）中平衡异构条件。
OddGridBench：揭示多模态大语言模型缺乏细粒度视觉差异敏感性
OddGridBench: Exposing the Lack of Fine-Grained Visual Discrepancy Sensitivity in Multimodal Large Language Models
OddGridBench 用可控网格图把「细粒度视觉差异检测」拆成颜色/大小/旋转/位置等单属性变量，可直接用来诊断任意 MLLM 的低层感知短板；OddGrid-GRPO 的距离感知奖励 + 课程学习配方也可迁移到其他需要空间定位精度的视觉定位训练中。
MERLIN：构建面向电磁信号的低信噪比鲁棒多模态大语言模型
MERLIN: Building Low-SNR Robust Multimodal LLMs for Electromagnetic Signals
论文提出的低信噪比鲁棒训练框架与信号-文本对齐方法，可迁移到视觉-语言模型在噪声图像或低质量视觉信号下的鲁棒性增强，其构建的大规模信号-文本数据集与基准也为多模态预训练提供了新范式。
IF-Bench：面向红外图像的多模态大模型基准评测与生成式视觉提示增强
IF-Bench: Benchmarking and Enhancing MLLMs for Infrared Images with Generative Visual Prompting
提出免训练的生成式视觉提示方法，利用图像编辑模型将红外图像转换为语义和空间对齐的RGB图像，以缓解域分布偏移，可复用于其他跨域视觉-语言任务。
合成数据用于音视频声源定位究竟能走多远？
How Far Can We Go With Synthetic Data for Audio-Visual Sound Source Localization?
对做音视频多模态定位的研究者，这篇给出了用 text-to-X 生成模型批量合成 VGGSound 克隆数据、并与真实数据混合训练的完整配方，可直接复用于缓解视觉-音频配对数据规模小、语义错位的问题。
组编辑：一次编辑多张图像
Group Editing: Edit Multiple Images in One Go
将图像组视为伪视频，利用预训练视频模型的时序一致性先验，并通过 VGGT 提取显式几何对应进行融合，为多图一致编辑提供了可复用的技术路线。
EgoAVU：第一人称音视频理解
EgoAVU: Egocentric Audio-Visual Understanding
对做第一人称视频理解的人，这篇提供了可自动生成音视频叙述与问答的数据引擎，以及揭示 MLLM 视觉偏置的音视频基准；可直接用于构建音视频指令微调数据或诊断模型对音频线索的忽视。
EMMA：具备全面语义指标与多样类别的概念擦除基准
EMMA: Concept Erasure Benchmark with Comprehensive Semantic Metrics and Diverse Categories
为概念擦除方法提供了一套覆盖隐式提示、视觉相似非目标概念以及性别/族裔偏见的评测协议，做 T2I 安全生成或模型编辑的研究者可直接用其 13 项指标检验方法是否真正从表征中移除概念，而非仅对直接提示失效。
CoVFT：面向多模态大模型的上下文感知视觉微调
CoVFT: Context-aware Visual Fine-tuning for Multimodal Large Language Models
对做 MLLM 视觉侧适配的人，这篇给出了一个可复用的思路：把多模态上下文显式抽成 context vector 并送入 MoE 来分解视觉编码器在不同上下文下的冲突梯度，从而让视觉微调稳定超过冻结基线；其配置对齐的基准也提示视觉微调实验必须控制训练配置变量。
CapNav：面向能力条件化室内导航的视觉语言模型基准
CapNav: Benchmarking Vision Language Models on Capability-conditioned Indoor Navigation
为视觉语言模型引入「智能体物理能力」这一条件变量，并给出 45 个真实室内场景、473 个任务的能力条件化导航基准，可直接用于评测和训练 VLM 的空间尺寸推理与具身决策能力。
超越多项选择：面向鲁棒视觉语言强化微调的可验证开放问答
Beyond Multiple Choice: Verifiable OpenQA for Robust Vision-Language RFT
为视觉语言模型提供可验证的开放问答数据构造与自动验证流程，可直接用于强化微调（RFT）和更可靠的基准评测，避免多项选择选项泄露带来的奖励信号偏差。
我们准备好将强化学习用于文本到3D生成了吗？一项渐进式探究
Are We Ready for RL in Text-to-3D Generation? A Progressive Investigation
把 GRPO 这类 RL 后训练从 2D 图像生成迁移到文本到 3D 自回归生成，并给出奖励设计（多模态模型作奖励、人类偏好对齐）与 token 级优化的可复用经验；Hi-GRPO 的全局到局部层级奖励集成思路可直接用于任何分阶段生成的 3D/视频模型。
锚定与重标定注意力实现语义连贯的中间帧生成
Anchoring and Rescaling Attention for Semantically Coherent Inbetweening
把关键帧与文本作为语义/时序引导注入自注意力（Keyframe-anchored Attention Bias），并用重标定的时序 RoPE 强化帧间一致性，这套无需训练的注意力调制手段可直接迁移到视频插帧、长视频生成与关键帧约束的扩散采样中。
4DP-QA：面向视觉语言模型 4D 感知的可扩展问答
4DP-QA: Scalable QA for 4D Perception in Vision Language Models
提出 True-Motion Tracking 这一固定参考系下的跟踪表述，把相机运动与物体运动解耦，可直接用于构建视频/4D 场景的 VLM 训练数据与评测基准，缓解 VLM 只能通过 2D 投影间接观察运动的问题。