Tag · 39 篇
课程学习
基于协同视角的无监督多智能体与单智能体感知
Unsupervised Multi-agent and Single-agent Perception from Cooperative Views
利用多智能体协同视角的点云密度增益与跨视角一致性作为无监督信号，为单车单视角 3D 检测生成伪标签，可直接迁移到车路协同、V2X 等无标注部署场景。
UltraFlux：面向多宽高比高质量原生 4K 文本到图像生成的数据-模型协同设计
UltraFlux: Data-Model Co-Design for High-quality Native 4K Text-to-Image Generation across Diverse Aspect Ratios
针对原生 4K 文生图，提出 Resonance 2D RoPE 与 YaRN 结合的位置编码、非对抗 VAE 后训练、SNR 感知的 Huber 小波损失以及分阶段美学课程学习，系统解决高分辨率下位置编码、VAE 压缩与优化耦合失效的问题，可直接迁移到其他高分辨率扩散模型。
导师-学生强化学习：面向鲁棒深度伪造检测的动态课程
Tutor-Student Reinforcement Learning: A Dynamic Curriculum for Robust Deepfake Detection
将深度伪造检测的训练过程建模为马尔可夫决策过程，用PPO智能体根据样本的视觉特征和历史学习动态（EMA损失、遗忘次数）动态分配损失权重，这种基于强化学习的动态课程策略可迁移到其他需要鲁棒泛化的视觉任务中。
合成课程强化组合式文本到图像生成
Synthetic Curriculum Reinforces Compositional Text-to-Image Generation
用场景图定义组合难度并配合 MCMC 图采样构造由易到难的训练课程，再接入 GRPO 做强化学习微调，这套「难度感知课程 + 策略优化」流程可直接迁移到扩散或自回归 T2I 模型的组合能力提升上。
Sky2Ground：变高度场景建模基准
Sky2Ground: A Benchmark for Site Modeling under Varying Altitude
提出 SkyNet 双流网络与 Masked-Satellite-Attention 机制，解决卫星图像在多视角相机定位与渲染中引入噪声的问题，并采用课程学习式相机采样策略；对做多视角几何、跨视角定位与神经渲染的研究者可复用其注意力隔离与训练采样思路。
SinGeo：释放单模型潜力实现鲁棒的跨视角地理定位
SinGeo: Unlock Single Model's Potential for Robust Cross-View Geo-Localization
论文提出的课程学习策略和一致性评估方法可被视觉研究者复用于提升模型对视角变化的鲁棒性，例如在跨视角定位、无人机视觉等任务中设计渐进式训练和稳定性度量。
ShapeR：从随手拍摄中稳健地进行条件式三维形状生成
ShapeR: Robust Conditional 3D Shape Generation from Casual Captures
把视觉惯性 SLAM 稀疏点、多视角位姿图像与 VLM 生成的描述作为条件，用整流流 Transformer 直接回归度量尺度三维形状，为「随手拍摄视频→物体级三维资产」提供了一条不依赖干净分割与完整观测的流水线；其在线组合式增广与物体级/场景级课程训练策略可直接迁移到其他条件式三维生成任务。
SelecTKD：面向大语言模型的选择性词元加权知识蒸馏
SelecTKD: Selective Token-Weighted Knowledge Distillation for LLMs
对做多模态大模型压缩的视觉研究者，可把教师验证的接受/拒绝词元掩码机制直接套到 VLM 蒸馏上，替代对所有词元一视同仁的 KL 损失，在容量差距大时抑制高熵噪声监督。
以高质量合成数据集扩展指令式视频编辑
Scaling Instruction-Based Video Editing with a High-Quality Synthetic Dataset
用「图像编辑器 + 上下文视频生成器 + 智能体过滤」的流水线批量合成百万级指令式视频编辑数据，并用蒸馏模型加时序增强器压低生成成本；做视频编辑或可控生成的人可以直接复用这套数据构造与课程学习训练范式。
ReflexSplit：基于层融合-分离的单图反射分离
ReflexSplit: Single Image Reflection Separation via Layer Fusion-Separation
把 Differential Transformer 的注意力相消机制推广到双流分离，用跨流相减显式抑制共享结构、放大层间差异，这一思路可直接迁移到去雨、去雾、去反光等需要解耦两个叠加成分的低层复原任务。
重建引导的槽课程：解决视频目标中心学习中的目标过分割问题
Reconstruction-Guided Slot Curriculum: Addressing Object Over-Fragmentation in Video Object-Centric Learning
针对槽注意力模型在视频目标中心学习中普遍存在的过分割问题，提出按重建误差逐步扩展槽容量的课程式训练策略，并配合结构感知损失与循环推理提升时序一致性；这套「按需分配表征容量」的思路可直接迁移到任何使用固定槽/查询数量的视频或图像密集预测模型（如 DETR 类查询、视频实例分割）。
基于组相对策略优化的实时长时空气质量预测
Real-Time Long Horizon Air Quality Forecasting via Group-Relative Policy Optimization
将GRPO与类别奖励、课程rollout结合，用于优化非对称代价下的时空预测，可迁移到视觉中的长时预测任务（如视频预测、气象场预测）以降低误报率。
PanoEnv：在 panor 全景环境中用强化学习探索 3D 空间智能
PanoEnv: Exploring 3D Spatial Intelligence in Panoramic Environments with Reinforcement Learning
针对 ERP 全景图的几何畸变与 3D 监督缺失，给出了一套可复用的方案：用带真值引导奖励的 GRPO 后训练，配合两阶段课程（先结构化任务、后开放式数据），把 3D 空间推理能力注入 VLM；做全景/全向感知或想给 VLM 补几何推理的可以直接借鉴这套奖励设计与课程安排。
POCA：面向视觉文本生成的帕累托最优课程对齐
POCA: Pareto-Optimal Curriculum Alignment for Visual Text Generation
把视觉文本生成中的文本准确率与图像美感/指令遵循的冲突建模为多目标优化，用帕累托最优集替代加权求和奖励，并配合自动难度评估的课程式提示选择；这套「帕累托奖励+课程采样」思路可直接迁移到任何需要多奖励 RL 微调的扩散生成任务（如编辑、个性化）。
OddGridBench：揭示多模态大语言模型缺乏细粒度视觉差异敏感性
OddGridBench: Exposing the Lack of Fine-Grained Visual Discrepancy Sensitivity in Multimodal Large Language Models
OddGridBench 用可控网格图把「细粒度视觉差异检测」拆成颜色/大小/旋转/位置等单属性变量，可直接用来诊断任意 MLLM 的低层感知短板；OddGrid-GRPO 的距离感知奖励 + 课程学习配方也可迁移到其他需要空间定位精度的视觉定位训练中。
Nano-EmoX：从感知到共情的多模态情感智能统一
Nano-EmoX: Unifying Multimodal Emotional Intelligence from Perception to Empathy
对做视觉研究的人而言，可复用点在于用异构适配器把面部编码器、融合编码器等全模态编码器输出投影进统一语言空间，并以课程式训练（先对齐快速感知、再引入思维链推理）让轻量语言模型同时处理多任务；这套「编码器+适配器+课程」的范式可直接迁移到面部表情、情感识别等视觉任务的多任务统一建模。
MedKCO：通过知识驱动的认知编排进行医学视觉语言预训练
MedKCO: Medical Vision-Language Pretraining via Knowledge-Driven Cognitive Orchestration
把课程学习引入医学视觉语言预训练的数据排序与对比目标调度，提供了一种按诊断敏感性和类内代表性组织预训练数据、并用自步非对称对比损失缓解类间相似性干扰的可复用训练策略。
学习重要内容：基于相对误差驱动样本选择的优先概念学习
Learning What Matters: Prioritized Concept Learning via Relative Error-driven Sample Selection
为视觉语言模型指令微调提供一种无需额外标注与辅助模型的数据选择机制：按技能维度追踪学习进度，优先采样「尚未掌握且难度适中」的样本，可直接用于构建更省数据、省算力的 VLM 微调流程。
可学习性引导的扩散用于数据集蒸馏
Learnability-Guided Diffusion for Dataset Distillation
提出可学习性引导的扩散生成框架，通过课程式增量合成数据减少冗余，可复用于任何需要高效训练数据合成的视觉任务，如图像分类、目标检测的数据压缩。
面向机器人操作的语言锚定解耦动作表征
Language-Grounded Decoupled Action Representation for Robotic Manipulation
把高层视觉-语言表征与低层动作控制解耦，用语言作为语义桥梁，并以翻译/旋转/夹爪三类动作基元作为细粒度中间层；对做 VLA 或视觉-语言条件策略的研究者，这套「语义引导软标签对比学习 + 课程式自适应权重」可直接迁移到自己的动作头对齐与跨任务泛化上。
面向恶劣条件下域自适应语义分割的启发式自步学习
Heuristic Self-Paced Learning for Domain Adaptive Semantic Segmentation under Adverse Conditions
把课程学习建模为序贯决策问题，用高维状态编码器+策略梯度自动调度类别学习顺序，可直接迁移到任何需要按难度/信息量安排训练样本的视觉任务（如域自适应检测、分割）。
从无约束图像中泛化的稀疏视角三维重建
Generalizable Sparse-View 3D Reconstruction from Unconstrained Images
提出无需逐场景优化的前馈式稀疏视角室外重建框架，利用学习到的几何先验从无位姿互联网图像直接预测深度、相机参数和规范空间三维高斯，并通过外观适配器与语义分割处理光照变化和瞬态遮挡，为稀疏输入下的实时新视角合成提供了可复用的技术路线。
GaussianMatch：基于多视图高斯一致性的伪标签过滤半监督回归
GaussianMatch: Semi-Supervised Regression with Pseudo-Label Filtering via Multi-View Gaussian Consistency
论文提出的高斯一致性过滤（GCF）与自适应高斯标准差平滑（AGDS）为视觉回归任务（如年龄估计、人脸关键点回归）在标签稀缺时提供了一种可复用的伪标签筛选机制，通过多视图预测一致性量化置信度，可直接嵌入半监督训练流程。
从对比到一致性：重新思考基于事件的连续时间光流估计
From Contrast to Consistency: Rethinking Event-based Continuous-Time Optical Flow Estimation
用时空结构一致性替代纯对比度最大化来约束事件相机光流，并给出从监督点约束到自监督流形正则的课程式混合训练流程，可直接迁移到事件相机或高帧率视频的连续运动估计。
FinPercep-RM：面向基于强化学习的真实世界超分辨率的细粒度奖励模型与协同进化课程
FinPercep-RM: A Fine-grained Reward Model and Co-evolutionary Curriculum for RL-based Real-world Super-Resolution
提出细粒度感知奖励模型（全局分数+感知退化图）和协同进化课程学习策略，可复用于基于强化学习的图像复原任务中，缓解奖励黑客问题并提升局部真实感。
Evo-Retriever：面向多模态文档检索的视角—路径协同 LLM 引导课程演化
Evo-Retriever: LLM-Guided Curriculum Evolution with Viewpoint-Pathway Collaboration for Multimodal Document Retrieval
面向视觉文档检索，提出多视角图像对齐与双向对比学习构造难负例，并用 LLM 元控制器按模型状态动态调整训练课程；做跨模态检索或图文匹配时，可借鉴其难例挖掘与课程调度思路来缓解跨模态嵌入混淆。
通过宽基线匹配激发多模态大语言模型中的复杂空间推理
Eliciting Complex Spatial Reasoning in MLLMs through Wide-Baseline Matching
把宽基线匹配当作可验证奖励信号，用强化学习（DCRL）在无 CoT 监督下提升 MLLM 的几何与视角变化推理；其从 RGB-D 视频与 SfM 重建自动挖掘宽基线视图对的数据流水线，可直接复用于构建空间对应训练数据。
Easy2Hard：从部分不匹配到完全不匹配的模态作为对比学习负样本
Easy2Hard: From Partially to Fully Unmatched Modalities as Negative Samples in Contrastive Learning
对做多模态视觉表征（如图文、视频-音频-文本）的研究者，这篇论文给出了一个可直接替换的负样本构造与加权策略：把部分不匹配与完全不匹配的模态对分开，并用 sigmoid 权重课程从易到难过渡，可嵌入现有对比学习损失中提升细粒度对齐效果。
E-RayZer：自监督三维重建作为空间视觉预训练
E-RayZer: Self-supervised 3D Reconstruction as Spatial Visual Pre-training
将自监督三维重建作为空间视觉预训练任务，直接学习几何感知表征，可替代DINOv3等2D预训练模型用于姿态估计等3D下游任务。
DiT-Distill：通过生成式课程知识实现开放集细粒度检索
DiT-Distill: Open-Set Fine-Grained Retrieval via Generative Curriculum Knowledge
把 DiT 多时间步的生成式知识通过课程对齐损失蒸馏进轻量骨干网络，实现免 DiT 推理，为视觉检索/表征学习提供了一条「用生成模型当教师、按扩散时间步组织课程」的可复用蒸馏范式。
DiG：差分视觉定位——增强多模态大语言模型的细粒度感知
DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Models
把「找出两张相似图的全部差异并定位」做成无需标注数量的代理任务，配合3D渲染自动造配对数据，可直接用于增强MLLM的细粒度定位与空间推理，并可迁移到RefCOCO系列指代定位。
解耦以泛化：面向数据稀缺视觉语言推理的上下文优先自进化学习
Decouple to Generalize: Context-First Self-Evolving Learning for Data-Scarce Vision-Language Reasoning
把 RL 后训练中的奖励信号按「理解上下文」与「解题」两个角色解耦，并配合迭代演化的种子题池做课程学习，可直接迁移到视觉推理类 VLM 的数据稀缺微调场景，缓解奖励黑客与策略熵坍塌。
课程组策略优化：自适应采样释放文生图生成潜力
Curriculum Group Policy Optimization: Adaptive Sampling for Unleashing the Potential of Text-to-Image Generation
把 GRPO 训练中的提示词采样从均匀改为按组奖励方差自适应加权，可直接迁移到扩散/流匹配模型的强化学习后训练，用来提升提示词对齐与训练效率；类别校准的比例公平思路也可用于多类别文生图数据配比。
CrossVL：面向跨视角视觉语言检测的复杂度感知特征路由与配对课程学习
CrossVL: Complexity-Aware Feature Routing and Paired Curriculum for Cross-View Vision-Language Detection
CPA 用多模态统计量估计场景复杂度并据此把视觉特征路由到不同通路，这一「按复杂度动态选择融合路径」的思路可直接迁移到任意 VLM 检测器的视觉-语言融合层；PCL 用同步地空图像对的语义一致性做早期稳定监督、再逐步转向随机采样，为跨域/跨视角微调提供了一种可复用的课程调度策略。
CoLoGen：面向统一图像生成的概念—定位二元性渐进学习
CoLoGen: Progressive Learning of Concept-Localization Duality for Unified Image Generation
把「语义理解」与「空间定位」两类异质表征显式解耦，再用混合专家式路由（PRW）按阶段融合，为统一条件生成中多任务表征冲突提供了一种可复用的架构思路，可直接迁移到编辑、可控生成与个性化生成的统一模型设计。
CURE：面向可靠解剖定位报告生成的课程引导多任务训练
CURE: Curriculum-guided Multi-task Training for Reliable Anatomy Grounded Report Generation
把错误感知的课程学习用在多模态指令微调上，按模型当前表现动态调整短语定位与报告生成样本的采样权重，为视觉-语言模型提升空间对齐、抑制幻觉提供了一个无需额外数据的可复用训练策略。
锚点引导的梯度对齐用于不完整多模态学习
Anchor-Guided Gradient Alignment for Incomplete Multimodal Learning
针对视觉语言预训练模型在模态缺失场景下的优化失衡问题，提出以检索重建样本与完整样本共同构成优化锚点来对齐梯度，并设计语义增强适配器生成动态提示；做多模态下游任务（如跨模态检索、VQA）时可直接复用该训练策略提升缺失模态鲁棒性。
Action-Sketcher：通过视觉草图从推理到动作的机器人操作
Action-Sketcher: From Reasoning to Action via Visual Sketches for Robotic Manipulation
提出可渲染点、框、箭头和关系类型的视觉草图作为中间表示，将语言意图外化为场景几何，为视觉-语言-动作模型提供可验证的推理-动作桥梁，可复用于需要空间消歧的机器人操作任务。
AV-Reasoner：面向多模态大模型的线索锚定音视频计数能力改进与基准构建
AV-Reasoner: Improving and Benchmarking Clue-Grounded Audio-Visual Counting for MLLMs
对做视频多模态推理的人，这篇提供了两点可复用：一是用 GRPO + 课程学习把相关任务（如时序定位、事件定位）的能力迁移到计数这类稀疏监督任务上；二是 CG-AV-Counting 的黑盒/白盒双协议评测，可作为检验模型推理链是否真正依赖视觉线索的测试床。