Tag · 3 篇
关键帧采样
分布 视觉语言模型2生成模型与扩散1
01 02 03
细节决定成败：通过关键帧驱动的细节注入增强视频虚拟试穿
The devil is in the details: Enhancing Video Virtual Try-On via Keyframe-Driven Details Injection
提出关键帧驱动的细节注入策略，在不修改 DiT 架构的前提下将服装动态与背景一致性信息注入标准 DiT 块，为视频生成中的细粒度控制与背景保持提供可复用方案。
ReMoRa：基于精细化运动表征的多模态大语言模型用于长视频理解
ReMoRa: Multimodal Large Language Model based on Refined Motion Representation for Long-Video Understanding
用块级运动矢量作为光流式的紧凑时序代理，替代逐帧 RGB 输入，并配去噪模块提升运动表征保真度；对做长视频理解的人，这是一条把解码与序列长度成本从 RGB 帧转移到压缩域的可复用路径。
MSJoE：联合演化多模态大模型与采样器以实现高效长视频理解
MSJoE: Jointly Evolving MLLM and Sampler for Efficient Long-Form Video Understanding
把关键帧选择建模为可微/可强化学习的采样权重预测，并用 MLLM 推理出的查询与冻结 CLIP 的相似度矩阵作为采样依据，为长视频 VLM 提供了一套可联合训练、可复用的帧选择范式。