Tag · 13 篇
分布外泛化
为什么RL比SFT泛化更好?基于数据视角的VLM后训练分析
Why Does RL Generalize Better Than SFT? A Data-Centric Perspective on VLM Post-Training
提出基于样本难度的数据筛选策略(DC-SFT),可替代RL微调以更低成本提升VLM的OOD泛化,为视觉语言模型后训练提供数据侧改进思路。
R2-Seg:通过解剖推理与统计拒绝实现免训练的分布外医学肿瘤分割
R2-Seg: Training-Free OOD Medical Tumor Segmentation via Anatomical Reasoning and Statistical Rejection
把「LLM 解剖推理定位器官锚点 + 冻结基础模型出候选 + 双样本统计检验剔除」这套免训练流程当作通用后处理范式,可直接套到任何分割基础模型上抑制 OOD 假阳性,且与测试时增强天然兼容。
面向半导体光刻的基于光学衍射的卷积
Optical Diffraction-based Convolution for Semiconductor Lithography
把光学衍射的相位传播先验写进卷积核(optical phase kernel),为需要物理一致性的成像逆问题提供了一种可复用的「物理算子嵌入网络」范式,可迁移到计算成像、相位恢复等任务。
Omni-Fake:统一多模态社交媒体深度伪造检测基准
Omni-Fake: Benchmarking Unified Multimodal Social Media Deepfake Detection
提供了百万级图像/音频/视频/音视频说话人头的多模态伪造数据集与OOD基准,并给出三元检测(真实/部分篡改/全合成)加空间或时序定位掩码的评测协议,可直接用于训练和评测视觉伪造检测与篡改定位模型;Omni-Fake-R1 的强化学习驱动多模态检测器输出结构化决策与自然语言解释,为可解释伪造检测提供可复用范式。
OctoMed:面向最优多模态医学推理的数据配方
OctoMed: Data Recipes for State-of-the-Art Multimodal Medical Reasoning
对做医学 VLM 的人,这篇给出了可复用的 SFT 数据配方:用长度多样的结构化推理链做监督微调,模型就能在下游任务上自适应地决定推理长度,无需额外监督;可直接迁移到自建医学多模态推理模型的训练数据构造与配比设计上。
MAPS:通过模块级邻近调度保持视觉-语言表征以提升视觉-语言-动作泛化能力
MAPS: Preserving Vision-Language Representations via Module-Wise Proximity Scheduling for Better Vision-Language-Action Generalization
对做 VLA/机器人策略学习的人,这篇给出了一个无需额外参数、可直接插入现有 VLA 的微调调度策略:按模块(视觉编码器 vs 动作导向语言层)差异化地放松对预训练 VLM 的邻近约束,从而在适配下游操作任务的同时保住 OOD 泛化,可直接复用到 OpenVLA 类模型的微调流程中。
面向预训练点云模型的低秩测试时训练
Low-Rank Test-Time Training for Pre-Trained Point Cloud Models
把测试时训练从解码器式辅助目标改为特征层面的掩码一致性对齐,并用 LoRA 低秩单元实现参数高效的自适应,可直接迁移到其他预训练视觉骨干(如点云/图像 Transformer)的 OOD 自适应场景。
学会看与做:面向机器人操作的任务感知虚拟视角探索
Learning to See and Act: Task-Aware Virtual View Exploration for Robotic Manipulation
把「选视角」本身建模为可学习策略,并在重建的场景表示上按所选虚拟相机重渲染观测,这为视觉研究者提供了一条绕开固定相机与遮挡的通用思路:用可微/可重渲染的场景表示做主动感知,而不是被动接受输入图像。
通过弱到强学习实现可泛化的视频质量评估
Generalizable Video Quality Assessment via Weak-to-Strong Learning
把「弱到强学习」当作绕开人工标注的通用范式:用现成 VQA 模型与合成失真模拟器作为弱教师,通过 learn-to-rank 融合异构监督信号,并迭代地把强学生回收为教师,可直接迁移到其他缺乏标注的低层视觉任务(如去噪、超分的主观质量预测)。
BOP-ASK:面向视觉语言模型的物体交互推理
BOP-ASK: Object-Interaction Reasoning for Vision-Language Models
利用 BOP 数据集的 6D 物体位姿自动派生抓取位姿、指代物体位姿、路径轨迹与相对空间/深度关系,为 VLM 的空间与交互推理提供可规模化、带精确几何真值的训练与评测信号;这套「从位姿标注反推问答」的流水线可直接迁移到其他需要细粒度 3D 监督的视觉-语言任务。
AnyPcc:用单一通用模型压缩任意点云
AnyPcc: Compressing Any Point Cloud with a Single Universal Model
面向点云几何压缩的通用上下文模型与实例自适应微调(IAFT)策略,可复用于任何需要跨密度、跨分布泛化的点云/3D 表征编码任务:把少量实例专属权重随码流传输,用极小码率换取几何压缩增益,这一「权重即侧信息」的思路也可迁移到 NeRF/高斯泼溅的压缩与传输。
可供性场干预:使视觉-语言-动作模型摆脱机器人操作中的记忆陷阱
Affordance Field Intervention: Enabling VLAs to Escape Memory Traps in Robotic Manipulation
把 3D 空间可供性场当作 VLA 的按需插件:用本体感知检测记忆陷阱、重定位到高可供性区域、以可供性路径点锚定动作并做轨迹打分,为视觉研究者提供了一个可复用的「显式 3D 几何先验补足端到端策略空间推理」的框架。
VLM 与 IRM 的因果联姻:从理解到推理
A Causal Marriage between VLM and IRM from Understanding to Reasoning
把 CLIP 的对比目标在 token 粒度上重新解释为 IRM 的不变性准则,并给出一个无需改结构的中训练方案来注入不变学习信号;做视觉-语言预训练或 OOD 泛化的人可以直接复用这套 token 分解与词表约束 InfoNCE 等价性,以及用不变对齐分数作为 MLLM 强化学习过程奖励的思路。