Tag · 2 篇
视觉编码器微调
01 02
解耦视觉与语言：码本锚定的视觉自适应
Decoupling Vision and Language: Codebook Anchored Visual Adaptation
用离散码本把视觉编码器输出锚定到稳定词元空间，使编码器可独立微调而不改动投影器或 LLM，为视觉侧域自适应提供了一种与语言架构解耦的可复用方案。
CoVFT：面向多模态大模型的上下文感知视觉微调
CoVFT: Context-aware Visual Fine-tuning for Multimodal Large Language Models
对做 MLLM 视觉侧适配的人，这篇给出了一个可复用的思路：把多模态上下文显式抽成 context vector 并送入 MoE 来分解视觉编码器在不同上下文下的冲突梯度，从而让视觉微调稳定超过冻结基线；其配置对齐的基准也提示视觉微调实验必须控制训练配置变量。