4D-RGPT：通过感知蒸馏迈向区域级 4D 理解
4D-RGPT: Toward Region-level 4D Understanding via Perceptual Distillation
把冻结的 4D 专家模型的表征通过感知蒸馏迁移进多模态大模型，为视频 MLLM 注入深度感知与时序动态理解能力；区域级提示的 4D VQA 设定也可直接复用于动态场景的细粒度推理评测。
原文依据 Perceptual 4D Distillation (P4D), a training framework that transfers 4D representations from a frozen expert model into 4D-RGPT
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论尽管多模态大模型（MLLM）取得了进展，其推理三维结构与时序动态的能力仍然有限，受制于薄弱的 4D 感知与时序理解。现有的 3D 与 4D 视频问答（VQA）基准也偏重静态场景，且缺乏区域级提示。针对这些问题，本文提出：(a) 4D-RGPT，一个专门设计用于从视频输入中捕获 4D 表征并具备增强时序感知能力的多模态大模型；(b) 感知 4D 蒸馏（P4D），一个将冻结专家模型的 4D 表征迁移至 4D-RGPT 以获得全面 4D 感知的训练框架；(c) R4D-Bench，一个面向深度感知动态场景、支持区域级提示的基准，通过自动化与人工校验相结合的混合流程构建。我们的 4D-RGPT 在现有 4D 视频问答基准与所提出的 R4D-Bench 基准上均取得了显著提升。
英文原文摘要 899 字符
Despite advances in Multimodal LLMs (MLLMs), their ability to reason over 3D structures and temporal dynamics remains limited, constrained by weak 4D perception and temporal understanding. Existing 3D and 4D Video Question Answering (VQA) benchmarks also emphasize static scenes and lack region-level prompting.We tackle these issues by introducing:(a) 4D-RGPT, a specialized MLLM designed to capture 4D representations from video inputs with enhanced temporal perception;(b) Perceptual 4D Distillation (P4D), a training framework that transfers 4D representations from a frozen expert model into 4D-RGPT for comprehensive 4D perception; and(c) R4D-Bench, a benchmark for depth-aware dynamic scenes with region-level prompting, built via a hybrid automated and human-verified pipeline.Our 4D-RGPT achieves notable improvements on both existing 4D VQA benchmarks and the proposed R4D-Bench benchmark.