先注视再注意力：通过自回归注视实现高效可扩展的视频理解
Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing
把「先看再算」做成可插拔的轻量模块：用自回归+强化学习在 ViT/MLLM 之前挑出最小多尺度 patch 集合，并以重建误差阈值控制保真度，可直接用于长视频、高分辨率输入下的 token 削减与推理加速。
原文依据 AutoGaze autoregressively selects a minimal set of multi-scale patches that reconstructs the video within a user-specified error threshold
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论多模态大语言模型（MLLM）推动了通用视频理解的发展，但在处理长时长、高分辨率视频时仍显吃力——尽管存在大量时空冗余，其视觉 Transformer（ViT）或 LLM 仍对每个像素一视同仁地处理。我们提出 AutoGaze，一个轻量模块，在被 ViT 或 MLLM 处理之前去除冗余 patch。AutoGaze 通过下一 token 预测与强化学习训练，以自回归方式选择一组最小的多尺度 patch，使用户指定的误差阈值内能够重建该视频，从而在保留信息的同时消除冗余。实验上，AutoGaze 将视觉 token 减少 4 倍至 100 倍，并将 ViT 与 MLLM 加速最高 19 倍，使 MLLM 可扩展到 1K 帧、4K 分辨率的视频，并在视频基准上取得更优结果（例如在 VideoMME 上达到 67.0%）。此外，我们提出 HLVid：首个面向 5 分钟、4K 分辨率视频的高分辨率长视频问答基准，在该基准上使用 AutoGaze 扩展的 MLLM 相比基线提升 10.1%，并超过此前最佳 MLLM 4.5%。项目主页：https://autogaze.github.io/。
英文原文摘要 1145 字符
Multi-modal large language models (MLLMs) have advanced general-purpose video understanding but struggle with long, high-resolution videos---they process every pixel equally in their vision transformers (ViTs) or LLMs despite significant spatiotemporal redundancy. We introduce AutoGaze, a lightweight module that removes redundant patches before processed by a ViT or an MLLM. Trained with next-token prediction and reinforcement learning, AutoGaze autoregressively selects a minimal set of multi-scale patches that reconstructs the video within a user-specified error threshold, eliminating redundancy while preserving information. Empirically, AutoGaze reduces visual tokens by 4x-100x and accelerates ViTs and MLLMs by up to 19x, scaling MLLMs to 1K-frame 4K-resolution videos and achieving superior results on video benchmarks (e.g., 67.0% on VideoMME). Furthermore, we introduce HLVid: the first high-resolution, long-form video QA benchmark with 5-minute 4K-resolution videos, where an MLLM scaled with AutoGaze improves over the baseline by 10.1% and outperforms the previous best MLLM by 4.5%. Project page: https://autogaze.github.io/.