Tag · 2 篇
梯度对齐
分布 强化学习与具身智能1视觉语言模型1
01 02
面向强化微调的动态重要样本挖掘
Dynamic Important Example Mining for Reinforcement Finetuning
对做视觉推理模型（如多模态大模型、视觉问答）的研究者，DIEM 提供了一种在 RFT 阶段按梯度对齐动态估计样本边际贡献并做约束式批重加权的通用手段，可直接迁移到视觉推理数据的采样与课程设计上。
锚点引导的梯度对齐用于不完整多模态学习
Anchor-Guided Gradient Alignment for Incomplete Multimodal Learning
针对视觉语言预训练模型在模态缺失场景下的优化失衡问题，提出以检索重建样本与完整样本共同构成优化锚点来对齐梯度，并设计语义增强适配器生成动态提示；做多模态下游任务（如跨模态检索、VQA）时可直接复用该训练策略提升缺失模态鲁棒性。