多模态上下文

CoVFT：面向多模态大模型的上下文感知视觉微调

CoVFT: Context-aware Visual Fine-tuning for Multimodal Large Language Models

对做 MLLM 视觉侧适配的人，这篇给出了一个可复用的思路：把多模态上下文显式抽成 context vector 并送入 MoE 来分解视觉编码器在不同上下文下的冲突梯度，从而让视觉微调稳定超过冻结基线；其配置对齐的基准也提示视觉微调实验必须控制训练配置变量。