Tag · 28 篇
指令微调
fMRI-LM：迈向面向语言对齐 fMRI 理解的通用基础模型
fMRI-LM: Towards a Universal Foundation Model for Language-Aligned fMRI Understanding
把连续神经信号离散化为语言对齐 token 的分词器思路，可迁移到视频/时序视觉信号与语言模型的对齐；三阶段（分词器→联合预训练→多任务指令微调）流程为视觉-语言基础模型提供了可复用的训练范式。
VideoITG：基于指令时序定位的多模态视频理解
VideoITG: Multimodal Video Understanding with Instructed Temporal Grounding
把「选哪些帧」变成由用户指令驱动的判别式选择问题，并用 VidThinker 自动生成指令条件下的时序定位标注；做视频 LLM 或长视频理解时，可直接复用这套帧采样监督信号与即插即用的选帧模块。
Venus：面向美学指导与裁剪的多模态大语言模型基准构建与能力增强
Venus: Benchmarking and Empowering Multimodal Large Language Models for Aesthetic Guidance and Cropping
把「美学指导」定义为一个可评测的 MLLM 能力，并用两阶段（渐进式美学问答 + CoT 理由）微调把该能力迁移到裁剪重构图任务上，可作为条件化生成/编辑中「可解释美学先验」的可复用范式。
VLM-3R：以指令对齐三维重建增强的视觉语言模型
VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction
把单目视频帧经几何编码器转成隐式 3D 空间 token 与相机运动 view token，再与语言模型对齐，为视觉研究者提供了一条无需外部深度传感器或预建 3D 地图即可让 VLM 获得空间与时序推理能力的可复用路径。
VCU-Bridge：通过语义桥接的层次化视觉内涵理解
VCU-Bridge: Hierarchical Visual Connotation Understanding via Semantic Bridging
提出层次化视觉内涵理解框架和HVCU-Bench基准，用于诊断MLLM从低层感知到高层推理的因果依赖；其MCTS引导的数据生成流程可复用于构建其他需要显式推理链的视觉语言指令微调数据。
Token 化使多模态大语言模型能够理解、生成与编辑建筑平面图
Tokenization Allows Multimodal Large Language Models to Understand, Generate and Edit Architectural Floor Plans
把房间实例离散化为 token 并入语言模型词表，使 MLLM 能像生成文本一样自回归地生成与编辑结构化布局；这套「实例级离散 token + 多模态对齐」的做法可迁移到任何需要输出结构化几何（场景图、矢量图元、版面）的视觉生成任务。
流式视频指令微调
Streaming Video Instruction Tuning
把离线视频 LLM 改造成逐帧到达即可响应的流式助手，其 Streamo-Instruct-465K 的多任务指令构造方式与统一训练管线，可直接复用于需要实时解说、时序定位或时间敏感问答的视频-语言系统。
Score2Instruct：通过自动维度评分扩展以视频质量为中心的指令
Score2Instruct: Scaling Up Video Quality-Centric Instructions via Automated Dimension Scoring
提出基于自动维度评分的指令生成流水线（SIG），将无标注视频的多维质量分数映射为文本等级并构造分层思维链，为视频 LMM 提供可扩展的质量指令数据；其渐进式微调策略与 S2I-Bench 可直接用于评估和提升视频 LMM 的质量评分与解释能力。
ReCALL：为基于多模态大模型的组合图像检索重新校准能力退化
ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval
把生成式 MLLM 适配为判别式检索器时会出现细粒度推理能力退化，ReCALL 用「自引导难例挖掘 + MLLM 生成纠正指令与三元组 + 分组对比持续训练」的 diagnose-generate-refine 流程把退化能力拉回来；做多模态检索或把 MLLM 蒸馏成嵌入模型的工作可直接复用这套自举数据生成与一致性过滤机制。
OralGPT-Omni：一种多功能的牙科多模态大语言模型
OralGPT-Omni: A Versatile Dental Multimodal Large Language Model
构建了牙科领域的思维链数据集 TRACE-CoT 和统一多模态基准 MMOral-Uni，其四阶段训练范式可迁移到其他医学影像的 VLM 微调中，为领域专用 MLLM 的可靠性评估提供了可复用的数据构造与评测思路。
OmniGen2：迈向指令对齐的多模态生成
OmniGen2: Towards Instruction-Aligned Multimodal Generation
两阶段范式（先构建世界知识基础模型，再用渐进式多任务强化学习对齐）可直接迁移到任何需要细粒度指令遵循的视觉生成任务；解耦解码架构与新型位置编码方案为统一多模态生成器的效率设计提供参考。
MedMO：面向医学图像的多模态大语言模型视觉定位与理解
MedMO: Grounding and Understanding Multimodal Large Language Model for Medical Images
MedMO 的多阶段训练配方（跨模态预训练对齐异构视觉编码器、多任务指令微调、带 GIoU 框级奖励的强化学习）为医学视觉-语言模型提供了可复用的训练范式，尤其其框级 GIoU 奖励可直接用于提升视觉定位任务的空间推理能力。
掩码至关重要：释放LLM的空间推理能力用于3D场景-语言理解
Masking Matters: Unlocking the Spatial Reasoning Capabilities of LLMs for 3D Scene-Language Understanding
提出一种无需修改架构和增加参数的注意力掩码策略（3D-SLIM），用几何密度和指令感知替代因果掩码，可直接用于任何基于LLM的3D视觉-语言模型，提升空间推理能力。
MLLM-HWSI：面向层次化全切片图像理解的多模态大语言模型
MLLM-HWSI: A Multimodal Large Language Model for Hierarchical Whole Slide Image Understanding
将全切片图像分解为细胞、图像块、区域、WSI四个尺度，并用尺度特定投影器与层次对比+跨尺度一致性损失对齐病理语言，为视觉-语言模型提供可解释的多尺度证据推理框架，可迁移到其他需要多尺度理解的视觉领域。
MA-Bench：迈向细粒度微动作理解
MA-Bench: Towards Fine-grained Micro-Action Understanding
为视觉研究者提供了一个针对细微人体动作的三层评测协议（感知/关系理解/解释推理）和 20.5K 结构化动作描述训练语料，可直接用于诊断和微调视频 MLLM 在细粒度身体部位动态上的短板。
在多模态大语言模型中用事件流学习看穿极端光照
Learning to See through Illumination Extremes with Event Streaming in Multimodal Large Language Models
把事件流作为与 RGB 互补的模态接入 MLLM，并用 DINOv2 分支导出的可学习光照指示信号自适应调制融合权重，同时用潜空间对齐损失把退化特征拉回正常光照语义——这套「退化感知的模态门控 + 潜空间语义对齐」可直接迁移到低光、过曝、夜间等视觉任务的特征融合设计中。
学习重要内容：基于相对误差驱动样本选择的优先概念学习
Learning What Matters: Prioritized Concept Learning via Relative Error-driven Sample Selection
为视觉语言模型指令微调提供一种无需额外标注与辅助模型的数据选择机制：按技能维度追踪学习进度，优先采样「尚未掌握且难度适中」的样本，可直接用于构建更省数据、省算力的 VLM 微调流程。
隐式视觉推理
Latent Implicit Visual Reasoning
提出一种任务无关的隐式视觉推理 token 机制：让 LMM 在无显式中间监督下自行发现并重编码图像，可迁移到任何需要视觉中间步骤的多模态推理任务，替代依赖深度图、裁剪图等人工先验的做法。
你的 VLM 准备好飞向天空了吗？面向无人机导航的综合空间智能基准
Is your VLM Sky-Ready? A Comprehensive Spatial Intelligence Benchmark for UAV Navigation
为视觉研究者提供了一个面向无人机视角的空间智能评测基准（13 个子类，覆盖包围框、距离、高度、降落安全等），并给出可复用的 SpatialSky-Dataset 与 Sky-VLM 训练范式，可用于诊断和提升 VLM 的细粒度空间推理能力。
用于图像复原的混合智能体
Hybrid Agents for Image Restoration
将多模态大语言模型与轻量级LLM结合为快慢双智能体，通过指令微调与上下文学习实现图像复原任务的自动工具调用与混合退化去除，为构建可交互、自适应的复原系统提供了可复用的智能体框架。
GeoTikzBridge：推进面向几何感知与推理的多模态代码生成
GeoTikzBridge: Advancing Multimodal Code Generation for Geometric Perception and Reasoning
通过生成 TikZ 代码作为中间表示来增强 MLLM 的细粒度几何感知，这种「代码即表示」的思路可迁移到需要精确几何输出的视觉任务（如场景图生成、CAD 重建），也可作为即插即用的推理模块提升几何问题求解。
EmoThinker：通过结构化词元选择与思维链推理推进视觉-声学情感分析
EmoThinker: Advancing Visual-Acoustic Emotion Analysis via Structural Token Selection and Chain-of-Thought Reasoning
其结构化词元选择机制可迁移到任意视觉-语言任务中做显著区域筛选与背景上下文精炼，而构建的思维链标注范式为多模态推理数据构造提供了可复用模板。
EgoProx：在认知层级上评估多模态大语言模型的自我中心三维邻近推理
EgoProx: Evaluating MLLMs on Egocentric 3D Proximity Reasoning Across a Cognitive Hierarchy
为视觉研究者提供了一个以自我中心视角评估 MLLM 三维邻近关系推理的基准与智能体式数据生成引擎，可用于诊断模型的空间知识是否被有效调用，并指导空间推理 VQA 的指令微调设计。
EgoAVU：第一人称音视频理解
EgoAVU: Egocentric Audio-Visual Understanding
对做第一人称视频理解的人，这篇提供了可自动生成音视频叙述与问答的数据引擎，以及揭示 MLLM 视觉偏置的音视频基准；可直接用于构建音视频指令微调数据或诊断模型对音频线索的忽视。
设计你的广告：基于统一自回归模型的个性化广告图像与文本生成
Design Your Ad: Personalized Advertising Image and Text Generation with Unified Autoregressive Models
把图像与文本放进同一个自回归框架联合生成，并用粗到细的偏好理解模块从噪声多模态历史行为中抽取用户兴趣作为生成条件，为视觉生成中的个性化条件注入提供了可复用的范式；其前景感知模块与产品背景相似度指标也可直接用于电商图像生成的质量控制。
CodeMMR：统一自然语言、代码与图像的统一检索
CodeMMR: Bridging Natural Language, Code, and Image for Unified Retrieval
把图像（网页界面、数据可视化、SVG、示意图、UML）与自然语言、代码嵌入同一语义空间做跨模态检索，其指令驱动的多模态对齐与统一嵌入思路可直接迁移到视觉侧的图文检索、视觉定位与多模态 RAG 场景。
帧链：通过帧感知推理提升多模态大语言模型的视频理解能力
Chain-of-Frames: Advancing Video Understanding in Multimodal LLMs via Frame-Aware Reasoning
提出单阶段帧感知推理链（Chain-of-Frames），让视频LLM在推理中显式引用关键帧，无需辅助模块即可提升时序定位与视频理解性能；其构建的CoF-Data数据集和合成数据增强策略可复用于视频推理任务。
A3：迈向广告美学评估
A3: Towards Advertising Aesthetic Assessment
论文提出的 A3-Law 分层美学评估范式与思维链引导的多模态大模型训练方法，可迁移至图像美学评估、广告创意生成等视觉任务，为视觉语言模型提供可解释的细粒度评价能力。