Tag · 195 篇
视觉语言模型
mVLM:面向 mNPU 的视觉语言模型
mVLM: A Vision Language Model for mNPUs
面向 NPU 端侧部署的轻量 VLM 架构:用纯 NPU 友好算子构建动态卷积编码器(全局空间调制)与 SSM 解码器,并配合编码器-解码器全参数协同量化,为视觉研究者提供在极端内存约束下压缩 VLM 并保持生成质量的工程与架构思路。
基于视觉语言模型的零样本深度补全
Zero-Shot Depth Completion with Vision-Language Model
把稀疏深度以视觉 token、文本提示和文本监督三种方式注入 VLM,使通用视觉语言模型无需改结构即可输出带绝对尺度的稠密深度,为利用 VLM 语义先验做几何感知提供了一条可复用的路径。
ZOO-Prune:视觉语言模型中基于零阶梯度估计的免训练词元剪枝
ZOO-Prune: Training-Free Token Pruning via Zeroth-Order Gradient Estimation in Vision-Language Models
用零阶扰动在投影层估计每个视觉词元的敏感度,无需反向传播即可决定剪枝对象,可直接移植到任意 VLM 的视觉编码器—投影层之间做免训练加速。
白平衡优先,后调整:通过视觉语言模型评估的跨相机颜色恒常性
White-Balance First, Adjust Later: Cross-Camera Color Constancy via Vision-Language Evaluation
将颜色恒常性重新定义为迭代感知反馈问题,利用LoRA微调的VLM评估白平衡后的图像并给出残差色偏方向,替代直接RGB回归,为跨相机颜色恒常性提供新思路。
当CLIP看到更多时,它反击得更狠:面向测试时对抗鲁棒性的多视图引导自适应反击
When CLIP Sees More, It Fights Back Harder: Multi-View Guided Adaptive Counterattacks for Test-Time Adversarial Robustness
提出一种免调优的测试时多视图自适应反击框架,通过估计每个视图的损坏程度来软加权反击强度,可直接用于提升CLIP等视觉语言模型在推理阶段对抗攻击的鲁棒性。
WebGym:面向长程视觉网页智能体的大规模训练环境与真实任务
WebGym: Scaling Training Environments for Long-Horizon Visual Web Agents with Realistic Tasks
提供了一个可扩展的视觉网页智能体 RL 训练环境与高吞吐异步 rollout 系统,视觉研究者可借鉴其「自采样轨迹 + 任务奖励」的 RL 配方与异步采样加速思路,用于训练以截图/网页渲染为观测的 VLM 智能体。
WeDetect:将快速开放词表目标检测视为检索
WeDetect: Fast Open-Vocabulary Object Detection as Retrieval
将开放词表检测视为检索问题,采用双塔架构避免跨模态融合层,实现实时推理;其冻结检测器并微调对象性提示词生成通用提案的思路,可复用于需要快速回溯历史数据的场景。
VoxTell:可自由文本提示的通用三维医学图像分割
VoxTell: Free-Text Promptable Universal 3D Medical Image Segmentation
把自由文本提示(单词到完整临床句子)映射为三维掩码,并在解码器各层做多尺度视觉-语言融合,为医学体数据分割提供可复用的零样本跨模态迁移范式;其跨模态迁移与语言变体鲁棒性评测协议也值得借鉴。
VisionDirector:视觉语言引导的闭环优化用于生成式图像合成
VisionDirector: Vision-Language Guided Closed-Loop Refinement for Generative Image Synthesis
提出一种无需训练的视觉语言监督器,通过结构化目标提取、动态决策、微网格采样与语义验证回滚,实现长指令下的闭环图像生成与编辑;并利用Group Relative Policy Optimization微调规划器,为可控生成提供可复用的规划与验证框架。
视觉语言模型引导的最优传输无源域自适应
Vision-Language Model Guided Source-Free Domain Adaptation via Optimal Transport
用预训练 VLM 的语义先验替代不可靠伪标签来构造目标特征与源原型的 OT 匹配,并配合模型↔VLM 双向蒸馏交替训练,可作为无源域自适应、测试时无标签迁移场景下替代伪标签自训练的通用范式。
面向终身行人重识别的视觉-语言属性解耦与强化
Vision-Language Attribute Disentanglement and Reinforcement for Lifelong Person Re-Identification
把 VLM 的文本属性作为跨域共享的细粒度监督信号,用文本属性解耦+跨模态属性对齐来指导视觉特征提取,这一思路可直接迁移到其他需要抗遗忘的跨域检索/分类任务(如跨域行人检索、细粒度识别)中。
VirtueBench:评估长视频理解中不确定性下的可信度
VirtueBench: Evaluating Trustworthiness under Uncertainty in Long Video Understanding
该基准通过多级帧采样构造可回答与不可回答的样本,为评估视觉语言模型在长视频理解中的诚实性(拒绝回答能力)提供了可复用的评测协议,可直接用于诊断现有模型在信息缺失时是否倾向于猜测。
VideoNet:面向领域特定动作识别的大规模数据集
VideoNet: A Large-Scale Dataset for Domain-Specific Action Recognition
提供了一个覆盖38个领域、1087类动作的视频动作识别基准与近50万视频问答对训练集,可用于评测和微调VLM的细粒度动作理解与少样本能力,并揭示当前VLM在领域特定动作上的显著短板。
视频即答案:用联合 GRPO 预测并生成下一个视频事件
Video-as-Answer: Predict and Generate Next Video Event with Joint-GRPO
提出 Joint-GRPO 强化学习框架,将视觉语言模型与视频扩散模型联合优化,使 VLM 生成利于可视化的描述,VDM 生成与描述和视觉上下文一致的视频,为多模态推理与生成一体化提供可复用范式。
VidPrism:用于图像到视频迁移的异构混合专家
VidPrism: Heterogeneous Mixture of Experts for Image-to-Video Transfer
提出异构时序混合专家框架,通过内容感知多速率采样生成不同语义/运动强度的视频流,并分配给功能特化的专家,为视觉中的时序建模提供可复用的分工与融合机制。
ViHOI:借助视觉先验的人体-物体交互合成
ViHOI: Human-Object Interaction Synthesis with Visual Priors
把大视觉语言模型的多层特征经 Q-Former 适配器压缩成先验 token,作为扩散生成 3D 人体-物体交互运动的条件;视觉研究者可复用这套「VLM 特征→紧凑先验→条件生成」的跨模态条件注入范式,并用文生图合成参考图提升对未见物体的泛化。
VectorArk:以圆角多边形表示学习实用的图像矢量化
VectorArk: Learning Practical Image Vectorization with Rounded Polygon Representation
圆角多边形表示把矢量图元的学习简化为可回归的几何参数,配合退化模型提升对未知栅格化方式与生成图像的鲁棒性,可复用于任何需要从像素回归结构化几何表示的视觉任务。
VLM4RSDet:协同优化与视觉语言模型增强遥感目标检测
VLM4RSDet: Collaborative Optimization with Vision-Language Model for Enhancing Remote Sensing Object Detection
提出一种协同训练框架,利用视觉语言模型的先验知识增强闭集遥感目标检测器,推理时仅保留标准检测架构,避免额外开销;其全局-局部交叉注意力模块和可学习分层预测策略可迁移到其他检测任务中。
VLM-Pruner:在高效 VLM 离心式词元剪枝范式中为空间稀疏性引入缓冲机制
VLM-Pruner: Buffering for Spatial Sparsity in an Efficient VLM Centrifugal Token Pruning Paradigm
提出免训练的视觉词元剪枝范式:用离心式由近及远的选择配合空间稀疏缓冲准则,避免保留词元过度稀疏而漏掉目标区域,可直接套用到任意 VLM 的视觉编码器输出上做推理加速。
VLM-Loc:基于视觉语言模型的点云地图定位
VLM-Loc: Localization in Point Cloud Maps via Vision-Language Models
将点云转为BEV图像和场景图,利用VLM的跨模态推理能力实现文本到点云的定位,为3D场景理解提供可解释的空间推理新范式。
面向扩散式人体网格恢复的 VLM 引导组偏好对齐
VLM-Guided Group Preference Alignment for Diffusion-based Human Mesh Recovery
把 VLM 驱动的自反思评审智能体产出的细粒度质量分数,转成组间偏好数据用于微调扩散式 HMR,可直接迁移到其他一对多歧义的三维/生成任务(如姿态、深度、新视角合成)做偏好对齐后训练。
VLIC:以视觉语言模型作为感知裁判实现人类对齐的图像压缩
VLIC: Vision-Language Models As Perceptual Judges for Human-Aligned Image Compression
把 VLM 的零样本二选一判断直接当作奖励信号,用偏好后训练(如 DPO/奖励加权)微调扩散式图像压缩器,替代传统在心理物理数据上标定的可微感知损失网络;这套「VLM 当裁判」的奖励设计与训练细节可迁移到超分、去噪、增强等任何需要人眼对齐的复原任务。
按需视觉:以稀疏、动态选择的视觉-语言交互提升 VLLM 效率
VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions
对做多模态视觉研究的人,这篇论文给出了一条不丢弃视觉词元、而是稀疏化图文交互的加速路径:用少量交叉注意力层提供全局视觉上下文,再用动态选择的自注意力层按样本复杂度精炼高分辨率视觉表示,可直接迁移到任何 LVLM 的推理加速与高分辨率细粒度理解场景。
VIRST:面向时空分割的视频指令推理助手
VIRST: Video-Instructed Reasoning Assistant for SpatioTemporal Segmentation
将分割感知的视频特征通过时空融合注入视觉语言主干,并用时序动态锚框更新器在大运动、遮挡与重现下维持稳定时序线索,为指代视频分割与推理式分割提供可复用的端到端范式。
VCP-Attack:面向大型视觉语言模型的可迁移黑盒目标攻击的视觉对比投影
VCP-Attack: Visual-Contrastive Projection for Transferable Black-Box Targeted Attacks on Large Vision-Language Models
把动态 PCA 子空间投影与多样本对比损失结合,用于约束对抗扰动并使其对齐目标语义,这套「低维语义子空间 + 对比监督」的扰动优化思路可直接迁移到视觉编码器的对抗样本生成与特征空间分析中。
V-Attack:针对解耦值特征实现对LVLM的可控对抗攻击
V-Attack: Targeting Disentangled Value Features for Controllable Adversarial Attacks on LVLMs
针对LVLM视觉编码器中自注意力value特征进行对抗操控,绕过纠缠的patch特征实现局部语义编辑,为研究多模态模型的语义可控性与安全漏洞提供了可复用的攻击面。
Unsafe2Safe:兼顾下游效用的可控图像匿名化
Unsafe2Safe: Controllable Image Anonymization for Downstream Utility
用视觉语言模型生成成对的私有/公开描述并让大语言模型产出结构化编辑指令,再以双提示词驱动扩散编辑器只重写敏感区域,这套「检测—指令—局部编辑」流程可直接迁移到数据清洗、人脸/文本脱敏和可控局部重绘任务。
释放视觉语言语义用于深度伪造视频检测
Unleashing Vision-Language Semantics for Deepfake Video Detection
利用预训练VLM的跨模态语义作为深度伪造检测的判别线索,并通过身份先验文本提示增强语义特异性,为视频伪造检测提供可复用的语义增强思路。
从通用到特定:动态知识引导的多实例学习用于少样本全切片图像分类
Universal-to-Specific: Dynamic Knowledge-Guided Multiple Instance Learning for Few-Shot Whole Slide Image Classification
将通用病理视觉语言知识动态实例化为切片特异性的图像块级特征,为少样本全切片图像分类提供可复用的知识检索与对齐机制。
通过由粗到细语言引导的通用三维形状匹配
Universal 3D Shape Matching via Coarse-to-Fine Language Guidance
把类无关三维分割得到的部件与 MLLM/VLM 的文本嵌入对齐,用语言作为跨类别形状的语义桥梁,再以基于排名的对比学习把粗粒度部件匹配细化为稠密对应,可直接迁移到跨类别非等距形状配准、纹理/属性迁移等任务。
UniEdit-I:通过迭代理解、编辑与验证实现统一VLM的免训练图像编辑
UniEdit-I: Training-free Image Editing for Unified VLM via Iterative Understanding, Editing and Verifying
提出在统一VLM的语义潜空间中构建理解-编辑-验证闭环,利用VLM的多模态推理能力实时评估中间结果并动态调整编辑强度,为图像编辑提供免训练、自校正的新范式。
Uni-Hema:面向数字血液病理学的统一模型
Uni-Hema: Unified Model for Digital Hematopathology
Hema-Former 在层级上桥接视觉与语言表征、统一处理检测/分类/分割/形态预测/VQA 的多粒度多任务设计,可迁移到其他需要细胞级多任务推理的显微成像场景;其 46 个数据集、700K 图像与 21K QA 对的整合方式也提供了多源医学数据统一训练的参考。
UNI-OOD:通过跨上下文注意力视觉语言建模统一对象级与图像级分布外检测
UNI-OOD: Unified Object- and Image-level Out-of-Distribution Detection via Cross-Context Attentive Vision-Language Modeling
UNI-OOD 的跨上下文注意力机制可复用于任何需要细粒度对象级语义对齐的视觉语言任务,例如开放词表检测中的对象-背景关系建模;其统一的对象级与图像级 OOD 评分机制为视觉系统在开放环境下的可靠性评估提供了可直接借鉴的框架。
TrajRAG:面向零样本目标导航的几何-语义经验检索
TrajRAG: Retrieving Geometric-Semantic Experience for Zero-Shot Object Navigation
把导航过程中产生的历史观测压缩成拓扑-极坐标轨迹表示并做分层检索,为大模型推理提供可复用的几何-语义先验;做具身导航或VLA的读者可以直接借用这套「经验库+粗到细检索」的框架来替代纯常识先验。
迈向统一的人类感知与机器理解:词元流引导的压缩框架
Towards Unified Human Perception and Machine Understanding: Token Flow Guided Compression Framework
TFGC 提出基于词元的灵活压缩框架,让 LVLM 直接处理压缩后的词元而无需图像重建,并支持超低码率下的可变码率控制;其词元流传播和语义引导对齐策略可被视觉研究者复用于设计面向机器理解的压缩-理解联合优化方案。
迈向策略自适应的图像护栏:基准与方法
Towards Policy-Adaptive Image Guardrail: Benchmark and Method
对做视觉安全审核的人,这篇给出了一个用图像编辑模型构造「仅局部违规」安全-不安全图像对的基准构造范式,以及用可验证奖励强化学习(RLVR)替代固定策略 SFT 来让 VLM 护栏跨策略泛化的训练思路,可直接迁移到内容审核与越狱防御模型。
面向内参感知的单目3D目标检测
Towards Intrinsic-Aware Monocular 3D Object Detection
用 LLM/VLM 把相机内参编码成语义嵌入,再通过层级式内参适配模块调制检测网络特征,为跨相机内参泛化与多数据集联合训练提供了一条可复用的条件注入思路。
迈向细粒度归因:用于对齐扩散模型的实例感知偏好优化
Towards Fine-Grained Attribution: Instance-Aware Preference Optimization for Aligning Diffusion Models
将扩散模型对齐的偏好优化从图像级推进到实例级,通过自动构建实例级偏好数据集和动态重加权掩码,为视觉生成模型提供更细粒度的反馈信号,可复用于其他需要局部控制的生成任务。
TherA:热感知视觉语言提示用于可控 RGB 到热红外翻译
TherA: Thermal-Aware Visual-Language Prompting for Controllable RGB-to-Thermal Infrared Translation
TherA 将视觉语言模型(VLM)作为条件编码器,把用户提示的场景-物体条件对映射为热感知嵌入,再驱动潜扩散模型实现可控的 RGB 到热红外翻译;这种“VLM 编码条件 + 扩散解码”的范式可复用到其他需要物理属性感知的跨模态图像翻译任务(如 RGB 到近红外、深度、事件相机)。
SA-FARI 数据集:面向识别与鉴定的动物视频分割一切
The SA-FARI Dataset: Segment Anything in Footage of Animals for Recognition and Identification
SA-FARI 提供了大规模、多物种、跨地域的相机陷阱视频密集标注(掩码、边界框、身份),可直接用于训练和评测多动物跟踪与重识别模型;其基准测试还系统比较了 SAM 3 等视觉语言模型在物种特定与通用提示下的表现,为视觉-语言模型在细粒度动物跟踪中的适用性提供了参考。
适配的盲区:量化与缓解微调驾驶模型中的遗忘
The Blind Spot of Adaptation: Quantifying and Mitigating Forgetting in Fine-tuned Driving Models
把适配从权重空间搬到提示词空间、按场景线索动态路由到不同知识专家的做法,为视觉研究者提供了一种在微调下游任务时保住预训练世界知识的可复用范式,尤其适合 VLM 迁移到驾驶等专用域的场景。
TextFM:语言引导的鲁棒半稠密特征匹配
TextFM: Robust Semi-dense Feature Matching with Language Guidance
将视觉语言模型(VLM)的文本嵌入作为实例级查询引入无检测器特征匹配的粗匹配阶段,为视觉特征提供域不变的语义上下文;同时用LoRA微调视觉基础模型并融合光照不变物理先验,提升跨域和极端光照下的匹配鲁棒性。
双先验文本-相位协同网络用于无监督跨域图像检索
Text-Phase Synergy Network with Dual Priors for Unsupervised Cross-Domain Image Retrieval
利用CLIP生成的域特定提示作为文本先验提供语义监督,并引入域不变相位特征作为相位先验桥接域分布差距,为无监督跨域检索提供可复用的双先验协同框架。
面向开放词表遥感图像分割的测试时多提示词自适应
Test-Time Multi-Prompt Adaptation for Open-Vocabulary Remote Sensing Image Segmentation
提出一种即插即用的测试时多提示词自适应方法,利用大语言模型生成上下文感知的类别描述,并通过视觉引导的测试时自适应策略和熵最小化像素级损失优化提示词表示,可灵活集成到现有开放词表分割方法中提升性能。
面向被植入后门的大型视觉语言模型的测试时注意力净化
Test-Time Attention Purification for Backdoored Large Vision Language Models
对做多模态大模型安全与部署的研究者,这篇给出了一个可直接复用的测试时检测信号——跨模态融合层中视觉-文本注意力比值,以及一个免训练、即插即用的输入净化流程(剪除高注意力可疑视觉 token),无需重训 LoRA 或适配器即可中和后门激活。
TTP:面向视觉语言模型对抗检测与鲁棒自适应的测试时填充
TTP: Test-Time Padding for Adversarial Detection and Robust Adaptation on Vision-Language Models
对做 CLIP 类视觉语言模型鲁棒性的人,这篇给出了一个无需重训的推理期防御范式:用空间填充前后 CLIP 特征的余弦相似度漂移做对抗检测,并对检测出的对抗样本用可训练填充修复注意力模式,可直接套用到自己的 VLM 安全部署流程中。
TTL:面向预训练视觉语言模型 OOD 检测的测试时文本学习
TTL: Test-time Textual Learning for OOD Detection with Pretrained Vision-Language Models
把 CLIP 的可学习 prompt 在无标签测试流上做在线更新,并用伪标签筛选与文本知识库做跨批次分数校准,可直接迁移到任何需要测试时分布漂移检测的视觉流水线(如开放世界分类、异常检测)。
TRANSPORTER:从 VLM 流形迁移视觉语义
TRANSPORTER: Transferring Visual Semantics from VLM Manifolds
把 VLM 的 logit 分数通过最优传输耦合映射到 T2V 模型的语义嵌入空间,用生成视频作为解释载体——做 VLM 可解释性或探针研究时,可复用这套「logit→嵌入方向→条件生成」的流程来可视化模型内部语义。
T2SGrid:面向视频时序定位的时序到空间网格化
T2SGrid: Temporal-to-Spatial Gridification for Video Temporal Grounding
将视频帧按时间顺序以行主序拼成网格图像,把时序定位转化为二维空间理解任务,为视觉语言模型处理长视频提供了一种无需额外时间戳词元的可复用输入组织方式。
SwiftTailor:基于几何图像表示的高效三维服装生成
SwiftTailor: Efficient 3D Garment Generation with Geometry Image Representation
用紧凑的几何图像(统一 UV 空间编码所有衣片 3D 表面)替代序列化缝纫图案到网格的物理仿真流程,配合重网格化与动态缝合的逆映射直接组装网格,为视觉研究者提供了一种可复用的「2D 参数化图像 → 3D 网格」快速重建范式,可迁移到其他可展曲面/薄壳物体的生成。
Superman:统一骨架与视觉的人体运动感知与生成
Superman: Unifying Skeleton and Vision for Human Motion Perception and Generation
提出视觉引导的运动分词器,利用3D骨架与视觉数据的几何对齐构建跨模态运动词汇表,使单一MLLM统一处理时序3D姿态估计与运动生成任务,为人体运动分析提供可复用的统一建模范式。
基于典型相关分析的 CLIP 持续学习子空间对齐
Subspace Alignment for CLIP-based Continual Learning via Canonical Correlation Analysis
针对 CLIP 单模态持续学习中视觉分支漂移强于文本分支的「非对称漂移」问题,用跨任务累积的视觉-文本协方差求解 CCA 共享子空间,在不改动 CLIP 参数、不用样本回放的前提下恢复跨模态对齐;这一子空间对齐思路可直接迁移到任何需要冻结主干、只做后处理投影的持续学习或跨模态检索场景。
精简的开放词表人-物交互检测
Streamlined Open-Vocabulary Human-Object Interaction Detection
对做开放词表检测的人,这篇给出了一个可复用的思路:不再拼接传统检测器与 VLM 两套表征,而是把交互查询和骨干图像 token 一起送进 DINOv3 的文本对齐视觉头,让交叉注意力在同一个表征空间内完成,从而绕开跨模型特征融合的鸿沟;同时全冻结骨干、只训练少量参数的做法可直接迁移到其他开放词表定位任务。
StreamingTOM:面向高效视频理解的流式词元压缩
StreamingTOM: Streaming Token Compression for Efficient Video Understanding
提出免训练的两阶段词元压缩框架,在LLM前通过因果时序缩减减少每帧预填充成本,在LLM后通过4位量化内存管理KV缓存,为流式视频理解提供可预测延迟和有限内存的解决方案。
基于时空因果推理的流式视频犯罪预测
Streaming Video Crime Anticipation with Spatio-Temporal Causal Reasoning
将实体间的隐式动态关系显式建模为时空因果超图,并以流式模块接入 VLM,为视频时序推理提供了一种可复用的因果结构注入方式,可用于任何需要预测未来事件或建模实体交互的视频理解任务。
SpaceDrive:将空间感知注入基于视觉语言模型的自动驾驶
SpaceDrive: Infusing Spatial Awareness into VLM-based Autonomous Driving
把 3D 坐标(多视角深度、历史自车状态、文本提示)统一编码为位置编码,既叠加到 2D 视觉 token 上,又替代数字 token 作为 VLM 的输入输出,使 VLM 能直接回归连续轨迹坐标;这一「空间位置编码替代数字 token」的思路可迁移到任何需要 VLM 做几何量输出的视觉任务。
SoliReward:缓解视频生成奖励模型对奖励攻击与标注噪声的敏感性
SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models
为视频生成模型的偏好对齐提供了一套可复用的奖励模型训练范式:用单条二值标注加跨提示配对构造偏好数据,用分层渐进查询注意力聚合特征,并改造 BT 损失以容纳平局样本、正则化正样本分数分布,从而缓解奖励攻击;做视频生成后训练或构建 VLM 奖励模型时可直接借鉴这套数据与损失设计。
SoC:面向测试时提示词调优的语义正交校准
SoC: Semantic Orthogonal Calibration for Test-Time Prompt Tuning
对做 VLM 测试时自适应的人,这篇给出了一个可直接替换全正交约束的 Huber 型正则项:在文本提示词嵌入的原型分离上做平滑约束,既保留语义近邻又避免过度自信,可插到任何 TPT 流程里改善置信度校准。
Simple-ViLMedSAM:简单文本提示结合视觉语言模型用于医学图像分割
Simple-ViLMedSAM: Simple Text Prompts Meet Vision-Language Models for Medical Image Segmentation
用 CLIP 文本嵌入隐式生成位置先验图来替代 SAM 的几何提示,并通过双向交叉注意力把该先验与 SAM 像素特征对齐,这一「文本→位置图→分割」的提示替代思路可直接迁移到其他需要免手工提示的开放词表分割任务。
SenseSearch:通过强化学习赋能视觉语言模型的高分辨率智能体搜索推理
SenseSearch: Empowering Vision-Language Models with High-Resolution Agentic Search-Reasoning via Reinforcement Learning
提出通过强化学习让 VLM 自适应协调图像搜索、文本搜索和图像裁剪工具,解决高分辨率细粒度视觉理解问题;其 BN-GSPO 算法和 HR-MMSearch 基准可直接用于多模态智能体训练与评测。
面向少样本类增量学习的语义引导全局-局部协同提示词学习
Semantic-Guided Global-Local Collaborative Prompt Learning for Few-Shot Class Incremental Learning
利用冻结的视觉语言模型原型与 LLM 生成的语义描述做全局-局部双对齐提示词学习,为视觉研究者提供了一种在少样本增量场景下抑制灾难性遗忘与过拟合的可复用范式,可直接迁移到开放词表识别与持续学习式视觉分类。
SemLT3D:语义引导的专家蒸馏用于纯视觉长尾三维目标检测
SemLT3D: Semantic-Guided Expert Distillation for Camera-only Long-Tailed 3D Object Detection
针对纯视觉三维目标检测中的长尾分布问题,提出语言引导的混合专家路由与CLIP语义投影蒸馏,可复用于其他长尾三维感知任务以增强稀有类表征。
SelecTKD:面向大语言模型的选择性词元加权知识蒸馏
SelecTKD: Selective Token-Weighted Knowledge Distillation for LLMs
对做多模态大模型压缩的视觉研究者,可把教师验证的接受/拒绝词元掩码机制直接套到 VLM 蒸馏上,替代对所有词元一视同仁的 KL 损失,在容量差距大时抑制高熵噪声监督。
从极性看运动:面向事件相机动作识别的极性知识增强框架
Seeing Motion Through Polarity for Event-based Action Recognition
把事件相机的正负极性显式解耦为运动线索,并用大语言模型对极性诱导的运动动态做语义推理,再与视觉特征对齐;这套『极性分支+语言推理+跨模态对齐』的做法可迁移到任何事件流或高动态场景的时序理解任务。
可扩展的物体关系编码:提升大语言模型中的三维空间推理能力
Scalable Object Relation Encoding for Better 3D Spatial Reasoning in Large Language Models
QuatRoPE 用四元数式整体向量编码 3D 坐标,并通过注意力层点积隐式算出成对空间关系,使输入长度随物体数线性增长;做 3D 场景-语言对齐或把场景图喂给 LLM 的工作可直接复用这一位置编码与 IGRE 门控扩展思路。
SPEAR-1:通过 3D 理解超越机器人演示数据规模
SPEAR-1: Scaling Beyond Robot Demonstrations via 3D Understanding
将 2D 图像-语言预训练的 VLM 通过 3D 标注数据增强为能单图预测物体 3D 坐标的 3D 感知 VLM,并作为机器人基础模型的感知前端,为视觉研究者提供了用廉价非机器人数据注入 3D 理解以提升具身控制可靠性的可复用范式。
SIMPACT:利用视觉语言模型的仿真赋能动作规划
SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models
把可微/高效的物理仿真器当作 VLM 的『世界模型』在测试时闭环调用:从单张 RGB-D 快速构建仿真场景,让 VLM 提出动作、观察 rollout 再修正推理,无需额外训练。做具身操作或 VLM 物理常识的研究者可直接复用这一『仿真在环』的推理范式,替代纯文本 CoT 或昂贵的真机试错。
SIF:面向大型视觉语言模型的语义分布内指纹
SIF: Semantically In-Distribution Fingerprints for Large Vision-Language Models
对做 LVLM 版权保护或模型溯源的研究者,SIF 给出了一条不修改参数、把文本水印信号蒸馏进视觉模态的指纹注入路径,并配套模拟最坏情况表征扰动的鲁棒优化,可直接迁移到任意 LVLM 的所有权验证与指纹隐蔽性评估。
SGDrive:面向自动驾驶的场景到目标分层世界认知
SGDrive: Scene-to-Goal Hierarchical World Cognition for Autonomous Driving
把通用 VLM 的表征按 scene-agent-goal 层级显式结构化,为视觉研究者提供了一种将通用视觉语言特征适配到具身决策任务的表征组织范式,可直接借鉴到需要时空推理的规划类任务。
SAME:面向有限数据下异构增量学习的稀疏锚定模型编辑
SAME: Sparse and Anchored Model Editing for Heterogeneous Incremental Learning under Limited Data
把模型编辑(稀疏参数更新 + 键值知识对)当作持续学习的载体,用双重锚框约束(特征对齐锚 + 参数幅度锚)在少样本、任务边界未知的跨域序列上稳定注入新知识,可直接迁移到视觉语言模型的增量适配与免遗忘微调。
S2D:选择性谱衰减,用于神经激活的量化友好调理
S2D: Selective Spectral Decay for Quantization-Friendly Conditioning of Neural Activations
对做视觉大模型部署的人,S2D 给出一个在微调阶段抑制激活离群值的正则手段:只对权重最大奇异值对应的分量做谱衰减,就能让 CLIP/SigLIP 类骨干在 W4A4 PTQ 下少掉点,可直接接到自己的量化流水线前。
S2C2Seg:面向开放词表分割的语义-空间一致性与类别优化
S2C2Seg: Semantic-Spatial Consistency and Category Optimization for Open-Vocabulary Segmentation
免训练即插即用的类别子集筛选与置信度加权融合模块,可直接叠加到 SCLIP/ProxyCLIP/CorrCLIP 等 CLIP 密集预测方法上,缓解开放词表下的类别冗余与空间精度不足。
圆头还是流线型头?连接概念瓶颈模型与属性描述的物体部件
Rounded or Streamlined Head? Bridging Concept Bottleneck Models and Attribute-Described Object Parts
把概念重新定义为「部件-属性对」并用类别无关的目标聚类抑制背景伪证据,这套做法可直接迁移到任何需要 VLM 给出细粒度部件掩码的可解释识别或属性定位流程中,缓解 VLM 部件定位噪声。
RoboAgent:链式组合基础能力实现具身任务规划
RoboAgent: Chaining Basic Capabilities for Embodied Task Planning
把长程具身规划拆解为调度器加多个子能力(各自维护独立上下文)的单一 VLM 调用链,并用仿真器内部信息为每个子能力构造监督,这一「能力链式调用 + 多阶段训练」范式可直接迁移到视觉导航、视觉操作等需要多轮视觉观测推理的任务。
RoadSceneBench:面向中层道路场景理解的轻量级基准
RoadSceneBench: A Lightweight Benchmark for Mid-Level Road Scene Understanding
为视觉语言模型在道路场景中的关系推理与结构一致性提供了轻量评测基准,并给出基于分层关系奖励传播与时序一致性的训练框架,可直接用于评估和提升 VLM 的空间与几何推理能力。
检索与分割:少量示例足以弥合开放词表分割中的监督差距吗?
Retrieve and Segment: Are a Few Examples Enough to Bridge the Supervision Gap in Open-Vocabulary Segmentation?
提出检索增强的测试时适配器,通过融合文本与视觉支持特征学习轻量级逐图像分类器,为开放词表分割提供可复用的少样本融合思路,并支持支持集持续扩展与个性化分割。
重新思考基于视觉语言模型的机器人操作的中间表示
Rethinking Intermediate Representation for VLM-based Robot Manipulation
把中间表示拆成「操作词表 + 语法」的思路,以及用上下文学习做开放词表部件级分割(杯柄、壶口)的范式,可直接迁移到需要细粒度部件定位的具身操作与视觉定位任务中。
重新审视概念瓶颈模型:从缺陷到解决方案
Rethinking Concept Bottleneck Models: From Pitfalls to Solutions
为基于概念的预测提供可复用的评估与改进框架:用熵指标预评估概念集与数据集的匹配度,在概念激活与分类器之间插入非线性层以消除线性绕过问题,并用线性教师探针引导的蒸馏损失缩小与黑箱模型的精度差距;同时系统分析不同视觉编码器与 VLM 对精度和可解释性的影响,可直接用于构建可解释的图像分类流程。
强化视频目标分割在分割之前先思考
Reinforcing Video Object Segmentation to Think before it Segments
把 GRPO 强化学习与思维链初始化引入视频推理分割,用整体奖励同时约束空间对齐与时序一致性;对做指代分割或视频 grounding 的研究者,这是一套可直接迁移的「先推理再出掩码」训练范式,也提供了抑制 LVLM 幻觉的奖励设计思路。
RefAV:迈向以规划为中心的场景挖掘
RefAV: Towards Planning-Centric Scenario Mining
把「场景挖掘」形式化为基于自然语言查询的时空指代定位任务,可直接复用指代式多目标跟踪(referential MOT)的设定与评测协议;同时给出「现成 VLM 直接套用效果差」的实证,提示做视觉-语言 grounding 的研究者需要针对多智能体交互与长时驾驶日志设计专门的时序聚合与轨迹级指代建模。
QuietPrune:面向视觉语言模型的查询引导早期词元剪枝
QuietPrune: Query-Guided Early Token Pruning for Vision-Language Models
把剪枝时机提前到 ViT 内部,并用投影器逆变换构造的 [Q-CLS] 词元为视觉词元提供文本相关性打分,这一「查询引导的早期剪枝」思路可直接迁移到任何 ViT-LLM 架构的 VLM 推理加速中,且 2x2 分组剪枝与主流视觉词元合并操作兼容。
Quant Experts:面向大型视觉语言模型量化的 token 感知自适应误差重建与混合专家
Quant Experts: Token-aware Adaptive Error Reconstruction with Mixture of Experts for Large Vision-Language Models Quantization
对需要在有限显存下部署 VLM 的视觉研究者,这篇论文给出了一个可直接套用的 PTQ 误差补偿范式:按 token 与模态区分重要通道,用共享低秩适配器加路由低秩适配器(MoE)分别补偿全局与局部量化误差,可迁移到任意 VLM 的量化部署流程中。
PureProof:抗扩散净化的大型视觉语言模型黑盒目标攻击
PureProof: Diffusion-Resistant Black-box Targeted Attack on Large Vision-Language Models
提出针对扩散净化(DBP)的黑盒目标攻击框架 PureProof,其随机反向对齐(SRA)和自适应重加噪增强(ARA)可被复用为评估视觉语言模型在扩散防御下鲁棒性的攻击基线。
Prune2Drive:面向自动驾驶视觉语言模型加速的即插即用框架
Prune2Drive: A Plug-and-Play Framework for Accelerating Vision-Language Models in Autonomous Driving
面向多视图 VLM 的即插即用视觉词元剪枝:用多样性感知选择保证跨视图语义/空间覆盖,并用视图自适应控制器按相机重要性学习剪枝比例,且不依赖注意力图、无需重训练,可直接套到自动驾驶多相机 VLM 的预填充阶段省算力。
保护以适配:面向少样本动作识别的正交子空间控制与排序负提示词课程
Protect to Adapt: Orthogonal Subspace Control with Ranked Negative-Prompt Curriculum for Few-Shot Action Recognition
OSC 把低秩更新约束在预训练骨干网络主语义子空间的正交补上,这一做法可直接迁移到任何 VLM 微调场景(如少样本图像分类、视频检索),在适配下游任务的同时抑制灾难性遗忘;RNC 用大语言模型生成按难度排序的负提示词,为少样本 episode 中负样本不足、决策边界模糊的问题提供了一种可复用的数据构造思路。
渐进式跨模态因果干预用于长时动作识别
Progressive Cross-Modal Causal Intervention for Long-Term Action Recognition
将因果推断中的前门调整和反事实干预引入视觉语言模型,用于去除长时动作识别中的视觉混淆和动作共现幻觉,为视频理解中的跨模态对齐提供可复用的去偏框架。
ProPhy:面向动态世界模拟的渐进式物理对齐
ProPhy: Progressive Physical Alignment for Dynamic World Simulation
将视觉语言模型的物理推理能力通过渐进式对齐迁移到视频生成模型中,并利用混合物理专家机制实现细粒度物理条件控制,为物理一致的视频生成提供了可复用的技术路径。
一次预热,本地重编程:黑盒服务模型适配的高效替代方案
Prime Once, then Reprogram Locally: An Efficient Alternative to Black-Box Service Model Adaptation
对做视觉模型部署与迁移的研究者,这篇给出了一个可复用的范式:先用少量 API 调用把本地预训练编码器「预热」成可接收黑盒模型知识的代理,再在本地做白盒重编程,从而把黑盒适配的调用成本压到近乎为零;其轻量层预热 + 本地重编程的两阶段流程可直接套用到 VLM 或标准视觉模型的下游任务适配中。
PhysX-Anything:从单张图像生成仿真就绪的物理三维资产
PhysX-Anything: Simulation-Ready Physical 3D Assets from Single Image
提出一种基于 VLM 的物理 3D 生成框架,通过高效几何词元化(减少 193 倍词元)在标准 VLM 词元预算内学习显式几何,并联合预测铰接与物理属性,为单图生成可直接用于仿真的铰接资产提供了新思路。
PhysHead:可直接用于仿真的高斯头部化身
PhysHead: Simulation-Ready Gaussian Head Avatars
把 3D 高斯基元同时绑定在头部参数化网格与可物理仿真的发丝段上,为可动头部化身提供了一种「网格+发丝+高斯外观」的混合表示;其用 VLM 补全动态序列中被遮挡区域外观的训练策略,可迁移到其他存在遮挡缺失的多视角动态重建任务。
基于注意力序列的个性化图像描述
Personalized Image Descriptions from Attention Sequences
把人类观看图像时的注意力序列作为个性化信号,通过辅助注意力预测任务学习主体嵌入,并用轻量适配器接入冻结的 VLM——这为视觉语言模型引入「感知行为」这一新条件维度提供了可复用范式。
Percept-WAM:面向鲁棒端到端自动驾驶的感知增强世界感知-动作模型
Percept-WAM: Perception-Enhanced World-Awareness-Action Model for Robust End-to-End Autonomous Driving
把 2D 检测与 BEV 3D 检测统一编码为 World-PV/World-BEV token 并接入 VLM 自回归解码,为视觉研究者提供了一个可复用的「感知 token 化 + 网格条件预测」范式,可直接迁移到其他需要稠密空间输出的 VLM 任务。
面向开放词表目标检测增强的参数高效语义增强方法
Parameter-Efficient Semantic Augmentation for Enhancing Open-Vocabulary Object Detection
用图像特征金字塔构建多尺度提示词库,为开放词表检测器注入细粒度局部语义,并用语义感知路由器在推理时动态选择增强策略,避免微调破坏预训练泛化性——这套「冻结主干+提示词增强」思路可直接迁移到任何需要跨域迁移的视觉-语言检测或分割模型。
ParaUni:以强化学习驱动的层级并行信息交互增强统一多模态模型的生成能力
ParaUni: Enhance Generation in Unified Multimodal Model with Reinforcement-driven Hierarchical Parallel Information Interaction
把 VLM 各层特征并行抽取后经 Layer Integration Module 融合,作为扩散生成的条件信号,并用 RL 的层级动态调整机制对不同层施加不同奖励;做 VLM-conditioned 生成或想把多层语义注入扩散骨干的工作可直接复用这套并行条件注入与分层奖励设计。
PETAR:面向 PET 自动报告的掩码感知视觉语言建模与局部化发现生成
PETAR: Localized Findings Generation with Mask-Aware Vision-Language Modeling for PET Automated Reporting
把 3D 病灶分割掩码作为显式空间条件注入视觉语言模型,并用 3D focal prompt 聚焦占体积极小(<0.1%)的病灶,这一「掩码感知 + 局部提示」思路可迁移到任何需要空间定位依据的医学或细粒度视觉语言生成任务。
PCA-Seg:重新审视开放词表语义分割与部件分割中的代价聚合
PCA-Seg: Revisiting Cost Aggregation for Open-Vocabulary Semantic and Part Segmentation
把开放词表分割中「空间聚合→类别聚合」的串行代价体处理改为并行双流(语义流+上下文流)加正交化解耦,并用系数映射器做像素级自适应加权;做开放词表分割或需要从图文代价体中抽取对齐线索的工作可直接复用该并行聚合块(仅增 0.35M 参数)。
PAVAS:物理感知的视频到音频合成
PAVAS: Physics-Aware Video-to-Audio Synthesis
把 VLM 估计的物体质量与基于分割的动态三维重建得到的运动轨迹作为物理条件注入潜变量扩散,为视觉研究者提供了一条「从视频中显式提取物理量再驱动跨模态生成」的可复用管线,也给出了用 APCC 衡量生成结果物理一致性的评测思路。
PACT:视觉语言模型基于适配器的持续学习中的类相变约束
PACT: Phase-Like Transition Constraints in Adapter-Based Continual Learning of Vision-Language Models
在基于适配器的持续学习中,用类似相变的稳定性/可塑性正则与先验锚定替代正交约束,让视觉语言模型在任务间保留可迁移共享;做增量适配器训练时可复用其双分支 ViT 结构与稳定适配器初始化。
P-Flow:以提示词驱动视觉特效生成
P-Flow: Prompting Visual Effects Generation
把视觉语言模型当作奖励/评判器,在测试时迭代优化文本提示词,从而免训练地为视频生成注入高层动态特效;这套「VLM 反馈 + 提示词迭代」的框架可直接迁移到风格化、物理现象模拟等难以用轨迹显式控制的可控生成任务。
城市场景分割中的开放词表域泛化
Open-Vocabulary Domain Generalization in Urban-Scene Segmentation
把状态空间模型(SSM)用于修正 VLM 在域偏移下的文本-图像相关性,这一思路可迁移到任何依赖 CLIP 类图文对齐的开放词表分割、检测任务中,用于缓解分布变化导致的图文错配。
面向机器人抓取的障碍物推理
Obstruction Reasoning for Robotic Grasping
把「障碍物推理」形式化为以目标物体为起点的障碍路径多步推理,并用障碍感知视觉线索锚定每一步推理,再以可验证奖励做监督+强化微调;做具身操作或 VLA 的研究者可复用该推理链构造与奖励设计,UNOBench 也可作为遮挡场景抓取的评测基准。
OVI-MAP:开放词表实例语义建图
OVI-MAP: Open-Vocabulary Instance-Semantic Mapping
将实例重建与语义推理解耦:用 RGB-D 增量构建类别无关的三维实例图,仅在自动挑选的少量关键帧上调用视觉语言模型提取语义特征,从而在实时在线建图中同时获得稳定的实例跟踪与零样本开放词表标注,可作为开放词表三维场景理解系统的可复用架构。
ORIC:面向大型视觉语言模型上下文不协调下物体识别的基准测试
ORIC: Benchmarking Object Recognition under Contextual Incongruity in Large Vision-Language Models
ORIC 通过 LLM 引导采样和 CLIP 引导采样构造上下文不协调的物体-场景对,为评估 LVLM 的物体识别鲁棒性和幻觉提供了可复用的基准与训练数据构造流程;其视觉强化微调策略也可用于提升模型在非典型场景下的识别可靠性。
低秩引导视觉语言模型的非参数深度细粒度聚类
Nonparametric Deep Fine-grained Clustering with Low-Rank Guided Vision-Language Model
把贝叶斯非参数过程与低秩/正交引导的表征学习目标结合,可在无细粒度标签下让 VLM 动态发现细粒度类别,为无监督细粒度分类与聚类提供可复用的训练目标设计。
NoOVD:面向开放词表目标检测的新类别发现与嵌入
NoOVD: Novel Category Discovery and Embedding for Open-Vocabulary Object Detection
利用冻结视觉语言模型的知识进行自蒸馏,引导RPN和RoI头发现新类别目标,避免被误判为背景;并通过R-RPN在推理时调整候选框置信度,提升新类别召回率。
NavForesee:面向分层规划与双视野导航预测的统一视觉语言世界模型
NavForesee: A Unified Vision-Language World Model for Hierarchical Planning and Dual-Horizon Navigation Prediction
将视觉语言模型同时作为高层规划器和生成式世界模型,通过预测短期环境动态与长期导航里程碑形成感知-规划-预测-动作的内部反馈闭环,为具身导航中的长程规划提供可复用的双视野预测框架。
面向可泛化医学图像分割的多模态因果驱动表征学习
Multimodal Causality-Driven Representation Learning for Generalizable Medical Image Segmentation
把因果干预引入 CLIP 式视觉语言模型:用文本提示构建「混淆因子字典」来显式建模设备/成像模式等域偏移,再做因果去混淆,这套「字典+干预」思路可迁移到任何需要跨域泛化的分割或检测任务。
基于半监督率失真的多模态表征学习用于广义类别发现
Multi-Modal Representation Learning via Semi-Supervised Rate Reduction for Generalized Category Discovery
把率失真(rate reduction)目标从单模态扩展到多模态半监督场景,用模态内对齐约束表征的紧凑性与结构性,可作为开放集识别、新类发现类视觉任务中替代纯对比学习的表征学习目标。
缓解开放词表全景分割中的物体性偏差与区域-文本错位
Mitigating Objectness Bias and Region-to-Text Misalignment for Open-Vocabulary Panoptic Segmentation
针对开放词表全景分割中掩码选择偏差和区域-文本对齐不足的问题,提出模块化的 COAT 和 OVR 组件,可复用于其他开放词表分割任务,以较低内存成本提升 CLIP 的区域级对齐能力。
错误归因:第一人称视频中的细粒度错误理解
Mistake Attribution: Fine-Grained Mistake Understanding in Egocentric Videos
提出细粒度错误归因任务,将错误定位到指令语义角色、不可逆时间点(PNR)及空间位置,并给出自动构建大规模错误样本的数据引擎 MisEngine 与统一注意力模型 MisFormer,可复用于第一人称视频的时序定位与视觉语言理解。
挖掘以实例为中心的视觉语言上下文用于人-物交互检测
Mining Instance-Centric Vision-Language Contexts for Human-Object Interaction Detection
把 VLM 特征按实例内、实例间、全局三种粒度拆解并渐进融合到检测器实例特征上,这套「实例中心上下文挖掘」思路可直接迁移到任何需要细粒度关系推理的视觉任务(如场景图生成、指代理解)。
MindPower:在基于视觉语言模型的具身智能体中实现心智理论推理
MindPower: Enabling Theory-of-Mind Reasoning in VLM-based Embodied Agents
把心智理论(ToM)推理显式嵌入 VLM 具身智能体的感知-推理-决策-行动流水线,并用 Mind-Reward 优化目标对齐推理与行为,为视觉研究者提供了一个可复用的「以机器人为中心」的推理监督与奖励设计范式。
MindDriver:面向自动驾驶的渐进式多模态推理
MindDriver: Introducing Progressive Multimodal Reasoning for Autonomous Driving
将VLM的思维链从纯文本扩展到语义理解→语义到物理空间想象→物理空间轨迹规划的多模态渐进推理,并用反馈引导的自动标注和渐进强化微调对齐推理过程,为端到端自动驾驶提供可复用的推理框架。
注意你选择负文本的方式:在视觉语言模型的 OOD 检测中追求距离一致性
Mind the Way You Select Negative Texts: Pursuing the Distance Consistency in OOD Detection with VLMs
对做开放世界视觉识别的人,这篇给出了一个可直接复用的思路:用 CLIP 原生优化的跨模态距离(而非模态内距离)来挑选负文本并反演高置信 OOD 图像生成额外负文本嵌入,可作为即插即用的 OOD 打分与负样本构造模块。
基于掩码双路径蒸馏的渐隐侧网络内存高效迁移学习
Memory-Efficient Transfer Learning with Fading Side Networks via Masked Dual Path Distillation
对做视觉大模型适配的人,这篇给出了一个可直接复用的思路:微调时让冻结主干与可学习侧网络互相蒸馏,推理时直接丢掉侧网络,从而在不增加推理开销的前提下获得侧网络的适配收益;其面向多层编码器的特征蒸馏设计也可迁移到 ViT 类主干的 PEFT 方案中。
记忆很重要:用可学习查找表提升免训练零样本时序动作定位
Memory Matters: Boosting Training-Free Zero-Shot Temporal Action Localization with a Learnable Lookup Table
把跨视频的历史知识以可学习查找表的形式累积起来,替代逐视频独立的测试时自适应,可直接迁移到其他免训练 VLM 视频/图像任务(如零样本动作识别、开放词表检测)中做在线记忆增强。
MedCLIPSeg:面向数据高效与可泛化医学图像分割的概率视觉-语言适配
MedCLIPSeg: Probabilistic Vision-Language Adaptation for Data-Efficient and Generalizable Medical Image Segmentation
将CLIP的patch级嵌入通过概率跨模态注意力进行适配,并引入软patch级对比损失,为视觉研究者提供了一种在标注稀缺的医学图像上实现文本引导分割且能输出不确定性图的通用思路。
Make it SING:分析分类器中的语义不变性
Make it SING: Analyzing Semantic Invariants in Classifiers
把分类器线性映射的零空间方向显式构造为等价图像,并借助多模态视觉语言模型为这些方向赋予自然语言语义,为分析模型不变性、比较不同骨干(ResNet 与 DINO-ViT)的语义保持能力提供了可复用的探测工具。
MUSE:利用精确且多样的语义进行少样本全切片图像分类
MUSE: Harnessing Precise and Diverse Semantics for Few-Shot Whole Slide Image Classification
对做视觉研究的人,这篇论文提供了一个可复用的思路:把 LLM 生成的类级文本先验,通过基于 MoE 的样本级视觉-语义交互细化为逐样本先验,再用检索增强的多视图文本做随机语义监督,从而在少样本下缓解过拟合并提升视觉-语义对齐的精度与多样性;该「先细化再增广」的语义监督流程可迁移到其他少样本视觉-语言任务。
MMLandmarks:面向地理空间理解的跨视角实例级基准
MMLandmarks: a Cross-View Instance-Level Benchmark for Geo-Spatial Understanding
该基准提供跨视角(地面-卫星)检索与地理定位任务,可用于评估视觉模型在视角变化下的表征鲁棒性,其CLIP式基线表明多模态训练能提升泛化性,为跨视角检索研究提供标准化评测平台。
MM-OVSeg:面向遥感开放词表分割的多模态光学-SAR 融合
MM-OVSeg: Multimodal Optical-SAR Fusion for Open-Vocabulary Segmentation in Remote Sensing
对做开放词表分割的人,这篇给出了把 SAR 结构先验注入 VLM 文本对齐分割头的双编码器融合方案,可作为恶劣天气/光学缺失场景下扩展 OV 分割输入模态的参考;其跨模态表征统一流程也可迁移到其他传感器组合。
META:面向长视频理解的工具轨迹自适应元进化
META: Meta Evolution of Tool Trajectory Adaptation for Long-Video Understanding
对做长视频理解的视觉研究者,这篇提供了免训练、模型无关的智能体框架:把重复出现的多步工具调用轨迹抽象为可复用的宏工具,并把失败轨迹蒸馏成结构化失败先验来约束后续工具选择,从而在不更新参数的情况下缩短推理链、提升时序感知能力,可直接套用到现有 VLM 的长视频问答流程上。
学习拒答:面向视频时序定位中难负相关查询的拒答感知强化微调
Learning to Refuse: Refusal-Aware Reinforcement Fine-Tuning for Hard-Irrelevant Queries in Video Temporal Grounding
把 GRPO 强化微调引入 VTG,用格式、拒答-IoU、解释、查询纠正四类奖励让 LVLM 学会对语义相近但实际无关的难负查询输出拒答,可直接迁移到任何需要「无目标即拒答」的定位/检索式视觉任务。
从噪声监督中学习:面向弱监督视频异常检测的去噪-纠偏框架
Learning from Noisy Supervision: A Denoising-Debiasing Framework for Weakly Supervised Video Anomaly Detection
把「高训练损失的样本即噪声」这一观察做成动态丢弃率,再用视觉语言模型对被丢弃片段做二次判别,可作为一种即插即用的去噪-纠偏模块迁移到任何基于 MIL 的视频时序定位任务(如弱监督动作定位、视频级标签的时序 grounding)。
自我学习:从视觉语言模型内部挖掘知识用于持续学习
Learning from Itself: Mining Internal Knowledge from Vision Language Models for Continual Learning
把 CLIP 的文本编码器当作可挖掘的内部监督源:通过优化可学习 token 生成伪描述来弥合预训练-下游分布差距,并用按瞬时性能加权的双向蒸馏在视觉分类器与文本编码器之间迁移知识,推理时零额外开销——这套「模型自教」流程可直接迁移到任何需要持续适配的视觉-语言下游任务。
语言驱动的细粒度检索
Language-driven Fine-grained Retrieval
用 LLM 把类别名扩写成属性描述、再用冻结 VLM 对齐并聚类成数据集级属性词表,从而把 one-hot 标签换成语言原型监督——这套「语言原型监督」流程可直接迁移到细粒度分类、开放词表检索、组合零样本等需要跨类别细节可比性的视觉任务。
语言引导的单步扩散模型用于夜间眩光去除
Language-Guided One-Step Diffusion Model for Nighttime Flare Removal
把视觉语言模型提取的细粒度文本语义作为条件注入单步扩散,并用语义感知分布蒸馏稳定一步采样,可迁移到其他强退化复原任务(如夜间去雨、去雾、镜头污渍去除)中,用语义先验约束被遮挡区域的生成。
语言模型可通过引导解释视觉特征
Language Models Can Explain Visual Features via Steering
对做视觉可解释性的人,这篇给出了一个不依赖输入样本的因果式特征解释范式:在视觉编码器里直接引导单个 SAE 特征、再让语言模型描述其语义,可作为探测视觉表征概念的新工具;Steering-informed Top-k 混合策略还能零额外算力提升解释质量。
LVLM 辅助的任务特定视觉模型对齐
LVLM-Aided Alignment of Task-Specific Vision Models
用 LVLM 作为「模型行为→自然语言→图像级批评」的双向翻译器,把领域专家给出的类级规范转成对单张图的批评信号来微调小模型,为视觉模型对齐人类知识、去除虚假相关提供了一套无需细粒度标注的可复用流程。
LAM:语言驱动的铰接物体建模器
LAM: Language Articulated Object Modelers
把铰接物体的几何与关节结构统一表示为可编译、可自纠错的过程化代码,为视觉研究者提供了一条无需视觉先验或预置 3D 资产、由 LLM/VLM 协作直接产出带关节层级 3D 模型的路径,可作为 3D 生成与具身仿真中资产构建的新范式。
通过分歧引导的后缀优化与图像短语注入越狱视觉语言模型
Jailbreaking Vision-Language Models via Dissonance-Guided Suffix Optimization and Image-Phrase Injection
对做 VLM 安全与多模态对齐的研究者,这篇给出了一个可复用的攻击信号:用目标模型与未对齐模型之间的预测分歧(predictive dissonance)来定位被安全对齐压制的词元,替代离散词元空间上的梯度近似;同时把短语的内容与呈现方式一起嵌入图像做联合优化,利用跨模态敏感性提升迁移性,可作为红队评测 VLM 防护的基线。
IntroSVG:通过内省式生成器-评论器框架从渲染反馈中学习文本到SVG生成
IntroSVG: Learning from Rendering Feedback for Text-to-SVG Generation via an Introspective Generator-Critic Framework
将渲染后的视觉反馈引入自回归生成循环,通过生成器-评论器双角色VLM和DPO对齐,为文本到矢量图形生成提供了可复用的闭环优化范式。
带用户反馈的交互式情景记忆
Interactive Episodic Memory with User Feedback
把用户反馈作为条件注入到长视频时序定位中,并用轻量对齐模块(FALM)免去昂贵的序列优化,可直接迁移到视频检索、时刻定位等需要多轮交互修正的任务。
InsCal:面向目标检测的校准式多源全测试时提示词调优
InsCal: Calibrated Multi-Source Fully Test-Time Prompt Tuning for Object Detection
把测试时提示词调优从分类扩展到文本驱动的开放词表检测器,并用实例级校准修正熵最小化带来的误校准,可直接用于跨域检测的免训练适配。
IGen:从开放世界图像可扩展地生成机器人学习数据
IGen: Scalable Data Generation for Robot Learning from Open-World Images
把开放世界单张图像转成可用于操作策略训练的视频-动作对:先用 3D 场景表示重建,再由 VLM 规划并输出 SE(3) 末端位姿,最后渲染时序一致的观测。做视觉-动作数据合成、VLA 预训练或 sim-to-real 的工作可以直接复用这条「图像→3D→位姿→视频」的流水线来扩充训练集。
IF-Prune:信息流引导的词元剪枝用于高效视觉语言模型
IF-Prune: Information-Flow Guided Token Pruning for Efficient Vision-Language Models
提出基于变分信息瓶颈的视觉词元剪枝方法,利用小型VLM估计词元熵作为剪枝指导,可复用于动态分辨率视觉编码器的高效推理。
HyCal:面向跨学科少样本类增量学习的免训练原型校准方法
HyCal: A Training-Free Prototype Calibration Method for Cross-Discipline Few-Shot Class-Incremental Learning
在冻结的 CLIP 嵌入上,用余弦相似度与马氏距离互补地校准类原型,可作为一种免训练的原型修正手段,直接迁移到少样本/增量式的开放词表识别与跨域检索场景。
层次化鲁棒的零样本视觉语言模型
Hierarchically Robust Zero-shot Vision-language Models
把类别层级结构(父类-叶类)引入对抗微调,用层次化嵌入与多层级图文对齐同时提升自然性能与对抗鲁棒性;对做 VLM 鲁棒微调、开放词表分类的人,这是一个可直接复用的对齐框架,并给出嵌入深度与最大间隔尺寸的理论联系。
层次概念嵌入与追踪用于可解释图像分类
Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification
HCEP 利用视觉语言模型的潜空间,通过层次化稀疏编码恢复图像中的概念,为设计可解释分类模型提供了新思路;其几何构造和恢复条件可推广到其他需要结构化概念表示的任务。
利用基础模型实现准确的材质分类
Harnessing the Power of Foundation Models for Accurate Material Classification
提出利用视觉语言基础模型进行自动标注和先验蒸馏的流程,可复用于其他数据稀缺的细粒度分类任务;其合成数据生成与自动标注管道为视觉研究提供了数据增广新思路。
HOPS:基于注意力感知过滤与亲和度引导增强的层次化开放词表部件分割
HOPS: Hierarchical Open-vocabulary Part Segmentation with Attention-Aware Filtering and Affinity-Guided Enhancement
将 CLIP 的语义对齐与 DINO 的结构感知通过双向注意力融合,并用注意力感知过滤抑制物体过分割、用亲和度引导增强缓解部件欠分割,这套两阶段流程可直接迁移到开放词表部件/属性分割与细粒度掩码生成任务。
HOG-Layout:基于视觉语言模型的分层三维场景生成、优化与编辑
HOG-Layout: Hierarchical 3D Scene Generation, Optimization and Editing via Vision-Language Models
用 LLM/VLM 加 RAG 从文本生成分层 3D 场景布局,并配物理一致性优化模块与分层表示实现实时编辑,可作为具身智能与 VR 场景合成的可复用管线。
GraphVLM:面向多模态图学习的视觉语言模型基准测试
GraphVLM: Benchmarking Vision Language Models for Multimodal Graph Learning
该基准系统评估了VLM作为编码器、对齐器和预测器三种范式在多模态图学习中的表现,为视觉研究者将VLM与图结构数据结合提供了可复用的评测框架和范式参考。
几何约束智能体用于空间推理
Geometrically-Constrained Agent for Spatial Reasoning
把 VLM 从「直接输出几何答案」改为「先形式化出参考系与目标约束、再在约束内调用几何工具」,这一免训练的约束式智能体范式可直接迁移到视觉空间问答、具身导航与 3D 场景理解中的几何推理管线。
GeoMMBench 与 GeoMMAgent:面向地球科学与遥感专家级多模态智能
GeoMMBench and GeoMMAgent: Toward Expert-Level Multimodal Intelligence in Geoscience and Remote Sensing
GeoMMBench 提供了覆盖多学科、多传感器、多任务的遥感多模态问答基准,可用于系统评估 MLLM 在遥感领域的感知与推理短板;GeoMMAgent 展示了如何通过工具增强的多智能体框架(集成检索、感知、推理)提升复杂遥感任务的性能,为视觉-语言模型在专业领域的落地提供了可复用的范式。
GeniNav:生成模型驱动的图像目标导航——通过想象引导的一致性流匹配
GeniNav: Generative Model Driven Image-Goal Navigation via Imagination-Guided Consistency Flow Matching
将 VLM 驱动的潜变量子目标想象与多段一致性流匹配结合,用于无地图图像目标导航;其一致性流匹配策略与混合轨迹评估(语义对齐+几何可行性)可迁移到其他视觉导航与具身控制策略的时序平滑生成。
GaussianDWM:面向统一场景理解与多模态生成的 3D 高斯驾驶世界模型
GaussianDWM: 3D Gaussian Driving World Model for Unified Scene Understanding and Multi-Modal Generation
把语言特征直接嵌入每个 3D 高斯原语实现早期模态对齐,并用任务感知的语言引导采样把冗余高斯裁剪成紧凑 3D token 送入 LLM——这套「高斯原语承载语义 + 可学习 token 剪枝」的做法可直接迁移到任何需要 3D 场景问答或 3D 条件生成的任务。
GS-CLIP:通过几何感知提示词与协同视图表征学习实现零样本 3D 异常检测
GS-CLIP: Zero-shot 3D Anomaly Detection by Geometry-Aware Prompt and Synergistic View Representation Learning
把 3D 几何先验蒸馏进 CLIP 文本提示词,并用渲染图与深度图双流互补融合,为点云零样本异常检测提供了可复用的「几何感知提示词 + 多视图协同」范式,可直接迁移到其他 3D 开放词表任务。
G$^2$VLM:统一三维重建与空间推理的几何基础视觉语言模型
G$^2$VLM: Geometry Grounded Vision Language Model with Unified 3D Reconstruction and Spatial Reasoning
把前馈三维重建模型学到的几何特征直接接入 VLM 的表征空间,用交错推理与上下文学习让语言模型「读懂」几何特征;做空间理解或多模态三维任务的可以借鉴这种统一训练范式,用易得的多视图/视频数据替代难采集的三维标注。
从权重到概念:基于奇异向量分解的 CLIP 无数据可解释性
From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition
提供一种无需数据、无需训练的权重空间分析手段:对 CLIP 视觉 Transformer 每个注意力头的 value-output 矩阵做奇异向量分解,并用稀疏匹配追踪把奇异向量解释为可读概念,可直接用于定位并放大或抑制特定语义方向,从而在不重训练的情况下编辑模型行为。
从吸引到平衡:面向零样本异常检测的物理启发式语义引力子
From Attraction to Equilibrium: Physics-Inspired Semantic Gravitons for Zero-Shot Anomaly Detection
把 CLIP 的视觉-文本对齐建模为可学习的「语义引力子」中介,用交替耦合与能量势正则稳定跨模态对应,可直接迁移到需要精确定位的零样本/开放词表视觉任务(异常检测、缺陷分割、开放词表定位)。
自由粒度层级视觉识别
Free-Grained Hierarchical Visual Recognition
把视觉语言模型的语义先验和半监督学习引入层级分类,用于处理训练标签粒度不统一的现实场景;其「自由粒度推理」让模型按置信度自适应选择预测深度,这一思路可迁移到任何需要输出粗细可变预测的视觉任务。
FluoCLIP:荧光显微成像中的染色感知聚焦质量评估
FluoCLIP: Stain-Aware Focus Quality Assessment in Fluorescence Microscopy
把染色语义作为条件注入 CLIP 式视觉语言框架,做染色条件下的序数推理,这个「语义 grounding + 条件化排序」的解耦思路可迁移到其他存在域相关标注偏置的视觉回归任务(如不同成像协议下的质量评分、美学评分)。
FireScope:以思维链预言机进行野火风险栅格预测
FireScope: Wildfire Risk Raster Prediction With a Chain-of-Thought Oracle
把 VLM 的思维链推理作为生成式空间预测的中间监督,用强化学习加视觉监督联合训练,让语言推理轨迹提升栅格生成的跨大陆泛化——这套「推理到生成」的范式可迁移到其他需要多源遥感输入与连续场输出的视觉任务。
面向大型视觉语言模型的细粒度训练后量化:基于量化感知积分梯度
Fine-Grained Post-Training Quantization for Large Vision Language Models with Quantization-Aware Integrated Gradients
把量化敏感度的粒度从模态级下推到词元级,用积分梯度定量衡量每个词元对量化误差的贡献,可直接迁移到任意 LVLM 的 W4A8/W3A16 部署流程中,作为校准阶段的即插即用模块。
动态室内环境中的少样本增量3D目标检测
Few-Shot Incremental 3D Object Detection in Dynamic Indoor Environments
把VLM的2D语义特征与类无关3D框结合成类别原型,并用多模态门控打分,为少样本增量3D检测提供了一条不依赖大量新类标注的路线;其原型印记与特征重加权机制可迁移到其他开放世界/增量检测设定。
FB-CLIP:基于前景-背景解耦的细粒度零样本异常检测
FB-CLIP: Fine-Grained Zero-Shot Anomaly Detection with Foreground-Background Disentanglement
对做视觉异常检测的人,这篇给出了一个可复用的思路:用 CLIP 的文本端多粒度表示(EOT、全局池化、注意力加权词元)配合视觉端沿身份/语义/空间三个维度的软分离与背景抑制,缓解前景背景特征纠缠;SCR 用正常/异常文本原型对齐图像特征,可直接迁移到其他零样本定位任务。
ExtrinSplat:解耦几何与语义以实现三维高斯泼溅中的开放词表理解
ExtrinSplat: Decoupling Geometry and Semantics for Open-Vocabulary Understanding in 3D Gaussian Splatting
用多粒度重叠高斯簇加 VLM 生成文本假设的外在索引层,替代逐高斯特征嵌入,可显著降低开放词表三维场景理解的存储与适配时间,适合迁移到任何需要语言查询的三维表示。
将具身问答从感知扩展到决策
Extending Embodied Question Answering from Perception to Decision
为视觉语言模型在具身环境中的空间理解与交互推理提供了统一的四层级评测框架(静态场景构建、空间理解、任务动态推理、即时决策),并配套 RoboDecision 基线,可直接用于诊断 VLM 在感知到行动决策链条上的短板。
通过概念解释 CLIP 的零样本预测
Explaining CLIP Zero-shot Predictions Through Concepts
把 CLIP 的图像-文本联合嵌入投影到由语言描述学到的概念空间,用对齐+重建目标训练,可在不改 CLIP 权重、不加概念监督的前提下为开放词表零样本预测给出概念级解释;做 VLM 可解释性或概念瓶颈方向可直接复用该投影与训练目标。
通过动态前缀加权增强视觉语言模型的持续学习
Enhancing Continual Learning of Vision-Language Models via Dynamic Prefix Weighting
对做 VLM 下游适配的人,DPW 给出了一种按 token 重要性动态加权 prefix 的门控机制,并让 adapter 只作为 prefix 权重的残差补充,可直接复用到域类增量学习或多任务适配场景中,避免统一归一化带来的过度调整。
Ego-InBetween:在第一人称视频中生成物体状态转移
Ego-InBetween: Generating Object State Transitions in Ego-Centric Videos
把「初始态→目标态」的中间帧生成显式建模为多步状态转移,并用 VLM 推断转移步骤作为生成条件,为视频生成中的长程物理一致性提供了一条可复用的「先推理后生成」范式。
EXOTIC:外部视觉驱动的非完整多视图分类
EXOTIC: External Vision-driven Incomplete Multi-view Classification
利用预训练视觉语言模型的外部知识作为监督信号来补全缺失视图,为多视图分类中的不完整数据问题提供了新思路,可迁移到其他需要跨模态对齐与补全的视觉任务。
EE-RL:面向端到端自动驾驶的探索者与专家模型视觉语言引导强化学习
EE-RL: Vision Language Guided Reinforcement Learning with Explorer and Expert model for End-to-End Autonomous Driving
将微调后的视觉语言模型作为稀疏关键场景的推理专家,并用StateHash按RGB相似度与运动学相似度跳过冗余VLM推理,这一「按需调用VLM」的机制可迁移到其他需要昂贵大模型推理的在线决策或感知流程中。
DrivePTS:一种渐进学习框架,结合文本与结构增强用于驾驶场景生成
DrivePTS: A Progressive Learning Framework with Textual and Structural Enhancement for Driving Scene Generation
提出渐进学习策略与互信息约束解耦几何条件,并利用视觉语言模型生成多视角分层描述作为细粒度文本引导,结合频域结构损失增强前景细节,可迁移至其他条件生成任务。
DocPrune:通过背景、问题和理解感知的词元剪枝实现高效文档问答
DocPrune: Efficient Document Question Answering via Background, Question, and Comprehension-aware Token Pruning
针对文档图像中背景冗余和证据稀疏的特点,提出免训练的词元剪枝方法,可复用于其他视觉语言模型的长文档理解任务,提升推理效率。
视觉语言模型会泄露所学内容吗?自适应词元加权模型反演攻击
Do Vision-Language Models Leak What They Learn? Adaptive Token-Weighted Model Inversion Attacks
提出基于词元梯度加权的模型反演攻击方法 SMI-AW,可复用于评估视觉语言模型在训练数据隐私泄露方面的脆弱性,为隐私保护防御提供攻击基准。
DextER:具备具身推理的语言驱动机器人灵巧抓取生成
DextER: Language-driven Dexterous Grasp Generation with Embodied Reasoning
把「哪根手指连杆接触物体表面何处」作为具身感知的中间表示,用自回归 token 生成桥接任务语义与物理约束;这一接触 token 化的思路可迁移到其他手-物交互、可供性预测与可控操作生成任务。
DeRVOS:解耦一致轨迹生成与多模态理解用于指代视频目标分割
DeRVOS: Decoupling Consistent Trajectory Generation and Multimodal Understanding for Referring Video Object Segmentation
将 RVOS 解耦为预训练实例轨迹生成与多模态理解两个分支,并用 TAIS 模块做跨帧对齐与隐式轨迹选择,为视频分割中轨迹一致性与语言对齐的分离建模提供了可复用范式。
CountGD++:面向开放世界计数的泛化提示
CountGD++: Generalized Prompting for Open-World Counting
把计数任务重新表述为开放词表的提示词条件定位问题:用文本或视觉示例指定目标,用负向提示词排除干扰,并在推理时自动生成伪示例,省去人工标注;这套提示词接口可直接迁移到开放词表检测与基于示例的目标定位。
测试时的可控联邦提示词学习
Controllable Federated Prompt Learning at Test Time
对做 CLIP 类视觉语言模型落地的人来说,这篇给出了一个测试时无需标签、仅靠置信度与模型-数据对齐指标动态加权全局/个性化/冻结三种提示词的方案,可直接迁移到跨域部署时的提示词自适应。
ConceptPose:基于概念向量的免训练零样本物体姿态估计
ConceptPose: Training-Free Zero-Shot Object Pose Estimation using Concept Vectors
用 VLM 的显著性图构造逐点概念向量的 3D 概念图,再靠 3D-3D 对应做无训练 6DoF 相对姿态估计,为无 CAD 模型、无数据集训练的物体姿态估计提供了一条可复用的表征与匹配思路。
面向视觉语言模型长尾泛化的聚类感知神经坍缩提示词微调
Cluster-Aware Neural Collapse Prompt Tuning for Long-Tailed Generalization of Vision-Language Models
把神经坍缩的 ETF 几何约束引入提示词微调,用聚类级局部约束替代全局约束,为在类不平衡数据上微调 VLM 时保住尾类判别力提供了一个可复用的损失设计思路。
CopyLens:通过版权感知提示词学习实现受版权保护角色的侵权检测
COPYLENS: Towards Copyrighted Characters Infringement Detection via Copyright-Aware Prompt Learning
把 LVLM 检测器与 LLM 元提示闭环结合,用人类标注一致性作为反馈信号自动优化检测提示词,这一「提示词自动搜索 + 人类判断对齐」的范式可迁移到任何需要与人类主观判断对齐的视觉判别任务(如审美、安全、真实性评估)。
CLIPoint3D:基于语言锚定的少样本无监督三维点云域自适应
CLIPoint3D: Language-Grounded Few-Shot Unsupervised 3D Point Cloud Domain Adaptation
把点云投影成多张深度图后直接复用冻结的 CLIP 主干,配合知识驱动的提示词微调和熵引导的视角采样,为 3D 域自适应提供了一条无需训练重型 3D 编码器的轻量路线;其中的最优传输对齐损失与不确定性感知原型对齐损失也可迁移到其他跨域特征对齐场景。
BridgeEQA:面向真实桥梁巡检的虚拟具身智能体
BridgeEQA: Virtual Embodied Agents for Real Bridge Inspections
将基础设施巡检建模为情景记忆具身问答任务,并提出以马尔可夫决策过程求解的 EMVR 框架;其『引用相关图像』的评测指标与长程多尺度空间推理设定,可迁移到需要跨视角检索证据的视觉语言任务。
推动视觉语言模型面向跨域增量目标检测
Boosting Vision-Language Models Towards Cross-Domain Incremental Object Detection
把「跨域 + 新类别」同时纳入增量目标检测的评测协议,并用按分布分组的动态子空间 + 渐进式 adapter 合并来平衡稳定性与可塑性,可直接迁移到开放世界检测器或 VLM 检测器的持续适配场景。
面向少样本多类异常检测的双向多模态提示学习与尺度感知训练
Bidirectional Multimodal Prompt Learning with Scale-Aware Training for Few-Shot Multi-Class Anomaly Detection
把文本提示与视觉提示做双向交互、并用全局+局部双视图训练尺度感知前缀,为少样本多类异常检测提供了一种无需异常类型描述、无需外部模块的轻量提示学习范式,可直接迁移到工业质检与医学异常定位。
偏见是子空间而非坐标:对视觉语言模型事后去偏的几何再思考
Bias Is a Subspace, Not a Coordinate: A Geometric Rethinking of Post-hoc Debiasing in Vision-Language Models
把「偏见分布在低维线性子空间而非个别坐标」这一几何视角,转化为可直接套用的后处理去偏算子:在嵌入空间做子空间投影并回填中性均值,可复用于CLIP类模型的零样本分类、图文检索与生成,无需重训练。
超越串行工具:基于动态多专家融合的统一视觉语言模型智能体系统用于摄影后期处理
Beyond Sequential Tools: A Unified VLM Agent System for Photographic Post-Processing via Dynamic Multi-Expert Fusion
把 VLM 当作调度器,为多个只改 K/V 矩阵的专家 LoRA 动态分配权重,并一次性合并进扩散骨干网络完成单步复原,这个「多专家 LoRA 融合 + 单次前向」的范式可直接迁移到去噪、去模糊、低光照增强等耦合退化场景。
AwareVLN:面向视觉语言导航的自感知推理
AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation
将自感知推理机制引入端到端视觉语言导航,通过结构化推理模块让模型显式理解智能体状态与任务进度,为具身智能体提供可解释的决策依据,可复用于其他需要状态感知的视觉导航任务。
按需授权:面向视觉语言模型的动态授权与合法性感知知识产权保护
Authorize-on-Demand: Dynamic Authorization with Legality-Aware Intellectual Property Protection for VLMs
为 VLM 部署提供可动态切换的授权域机制与合法性判别分支,视觉研究者可借鉴其双路径推理设计,在保持授权域任务性能的同时检测越界输入,用于模型分发与滥用防护。
面向大型视觉语言模型的注意力感知推理优化与显存高效解码
Attention-aware Inference Optimizations for Large Vision-Language Models with Memory-efficient Decoding
针对多图/视频长上下文 VLM 解码时 KV 缓存显存爆炸的问题,用隐式低秩结构压缩多头注意力的 K/V 矩阵,并配合 token 级注意力感知解压降低延迟;做视觉长上下文推理加速的工作可直接复用该 KV 压缩与解压调度思路,且能与 eviction、量化、kernel fusion 叠加。
逐 token 对齐文本、图像与三维结构
Aligning Text, Images and 3D Structure Token-by-Token
把结构化 3D 场景当作一种可 tokenize 的模态,用统一的 LLM 自回归建模语言、图像与 3D 场景,为单图重建完整 3D 场景和 3D 目标识别提供了可复用的 tokenizer 与训练配方。
AgentDet:一种用于零样本/少样本目标检测的共享黑板多智能体框架
AgentDet: A Shared-Blackboard Multi-Agent Framework for Zero-/Few-Shot Object Detection
提出共享黑板多智能体框架,将检测解耦为四个协作角色,仅训练Agent-Judge的图像编码器和基于LLM的检测头,为视觉研究者提供了一种轻量级、可泛化到新类别的零/少样本检测新范式。
基于多臂老虎机的自适应数据增强:面向隐式模式识别的样本高效嵌入校准
Adaptive Data Augmentation with Multi-armed Bandit: Sample-Efficient Embedding Calibration for Implicit Pattern Recognition
在冻结的视觉/多模态嵌入模型之上训练轻量校准器,并用多臂老虎机驱动的自适应数据增强缓解少样本下的梯度漂移,可直接用于长尾识别、少样本分类等视觉下游任务的低成本适配。
激活很重要:面向视觉语言模型 OOD 检测的测试时激活负标签
Activation Matters: Test-time Activated Negative Labels for OOD Detection with Vision-Language Models
对做开放世界视觉识别的人,这篇给出了一个免训练、测试时在线挖掘高激活负标签的 OOD 检测流程:用测试样本在语料标签上的累积分配概率构造标签激活指标,并配合激活感知打分函数,可直接插到 CLIP 类 VLM 的零样本推理管线上,替代固定的远距离负标签集合。
AceTone:连接文字与色彩的条件图像分级
AceTone: Bridging Words and Colors for Conditional Image Grading
将颜色分级建模为生成3D-LUT token序列的任务,利用VQ-VAE压缩LUT并用视觉语言模型预测,为图像编辑提供了一种可复用的、语言驱动的全局颜色变换范式。
通过层级词元压缩加速流式视频大语言模型
Accelerating Streaming Video Large Language Models via Hierarchical Token Compression
STC 的层级词元压缩思路可直接用于任何流式视频视觉语言模型:在 ViT 端缓存并复用时序相似帧的特征,在 LLM 预填充前按时空相关性剪枝视觉词元,从而在不重训练的情况下降低延迟,适合实时视频理解部署。
AXG-Reasoner:基于视觉语言模型的长任务视频错误检测与解释
AXG-Reasoner: Error Detection and Explanation in Long Task Videos with Vision-Language Models
用冻结 VLM 配合动作执行图(AXG)与时序动作分割模型,把长视频切分成细粒度子动作片段,再用少量关键帧和增强提示逐段查询 VLM 做错误检测与解释;这套「TAS 分段 + 图对齐 + 稀疏关键帧查询」的流程可直接迁移到长视频中稀疏事件定位与细粒度时序推理任务。
APEX:一种面向异步空中物体目标导航的解耦记忆探索器
APEX: A Decoupled Memory-based Explorer for Asynchronous Aerial Object Goal Navigation
把 VLM 的零样本空间语义理解与开放词表检测器解耦成异步并行的记忆-决策-定位三模块,绕开 VLM 推理延迟,这一「慢感知快决策」的异步分层范式可直接迁移到其他视觉导航与具身探索任务。
AGFT:面向视觉语言模型零样本对抗鲁棒性的对齐引导微调
AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models
提出用原始模型软预测做文本引导的对抗微调,并用温度缩放分布一致性校准保持跨模态对齐,可直接迁移到CLIP类模型的对抗鲁棒性提升。
AGENTSAFE:面向危险指令的具身智能体安全基准
AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions
对做 VLM 具身智能体的视觉研究者,SAFE 提供了可复用的对抗仿真沙盒与通用适配器(把高层 VLM 输出映射到低层具身控制),以及按感知-规划-执行分阶段诊断的评测协议,可用于定位「识别到危险却无法转化为安全规划」这一具体失效环节。
一种可证明的能量引导测试时防御方法提升大型视觉语言模型的对抗鲁棒性
A Provable Energy-Guided Test-Time Defense Boosting Adversarial Robustness of Large Vision-Language Models
ET3 提供了一种无需训练、在推理阶段即可使用的防御手段:通过对输入样本做能量最小化的测试时变换来削弱对抗扰动,可直接套用到 CLIP 零样本分类以及 LVLM 的图像描述、VQA 等下游流程中,为视觉模型部署增加一层轻量防护。
以3D空间为草稿本的可编辑文本到图像生成
3D Space as a Scratchpad for Editable Text-to-Image Generation
把文本到图像生成中的空间推理外化为可编辑的3D网格场景,再渲染回图像域作为身份保持线索,为可控生成提供了一条不依赖2D布局、支持3D编辑且编辑结果能可靠传导到最终图像的思路。