查询推理

MSJoE：联合演化多模态大模型与采样器以实现高效长视频理解

MSJoE: Jointly Evolving MLLM and Sampler for Efficient Long-Form Video Understanding

把关键帧选择建模为可微/可强化学习的采样权重预测，并用 MLLM 推理出的查询与冻结 CLIP 的相似度矩阵作为采样依据，为长视频 VLM 提供了一套可联合训练、可复用的帧选择范式。