Tag · 7 篇
视觉编码器
VOSR：一种仅视觉的生成式图像超分辨率模型
VOSR: A Vision-Only Generative Model for Image Super-Resolution
提出仅用视觉编码器注入语义、无需文本先验的扩散超分框架，并采用改进的 shortcut 模型实现单步推理，为低层视觉任务摆脱多模态预训练依赖提供了可复用的训练与加速方案。
理解大语言模型与视觉语言模型中的计数机制
Understanding Counting Mechanisms in Large Language and Vision-Language Models
对做 LVLM 的人：论文用因果中介分析定位到视觉嵌入中承载计数的区域（随空间构图在前景/背景间迁移），并指出视觉编码器属性会塑造计数行为——这为诊断和改造 LVLM 的视觉侧数值表征提供了可复用的探针工具 CountScope 与逐层分析范式。
从Gromov-Wasserstein距离视角重新思考VLM中的模型选择
Rethinking Model Selection in VLM Through the Lens of Gromov-Wasserstein Distance
提出一种仅需推理的指标（Gromov-Wasserstein距离）来预测视觉编码器与LLM对齐后的VLM性能，可用于在完整训练前高效筛选视觉编码器，避免盲目选择大模型或高零样本精度的编码器。
PA-Attack：以原型与注意力引导针对 LVLM 视觉编码器的灰盒攻击
PA-Attack: Guiding Gray-Box Attacks on LVLM Vision Encoders with Prototypes and Attention
把视觉编码器当作跨模型稳定的灰盒攻击支点，并用 token 级注意力分数定位关键视觉 token 施加扰动，这一思路可直接迁移到对 CLIP/ViT 类视觉骨干的对抗鲁棒性评测与防御设计上。
Granulon：以自适应多粒度语义唤醒像素级视觉编码器，服务多模态大语言模型
Granulon: Awakening Pixel-Level Visual Encoders with Adaptive Multi-Granularity Semantics for MLLM
用文本条件动态控制视觉编码器的抽象粒度，并通过粒度引导的池化与关系聚类生成紧凑视觉词元，为多模态大模型中的细粒度视觉理解提供可复用方案。
DualMirage：利用轮廓与对抗错觉的 CAPTCHA 猎捕隐蔽多模态大语言模型智能体
DualMirage: Hunting Stealthy Multimodal LLM Agents via CAPTCHAs with Contour and Adversarial Illusions
利用人类与机器感知差异设计 CAPTCHA，通过轮廓错觉和对抗扰动探测 MLLM 智能体，为视觉对抗攻击与多模态安全评估提供新思路。
利用视觉线索的电影音频源分离
Cinematic Audio Source Separation Using Visual Cues
把视觉线索作为条件注入条件流匹配生成过程，为视觉研究者提供了一个可复用的范式：用视频帧（人脸、场景）作为条件信号去引导音频生成/分离，可迁移到其他以视觉为条件的生成任务（如视觉引导的语音增强、音效合成）。