Tag · 3 篇
多尺度建模
分布 视觉语言模型13D 视觉与重建1视频理解与时序1
01 02 03
OneCAT：面向统一理解与生成的纯解码器自回归模型
OneCAT: Decoder-Only Auto-Regressive Model for Unified Understanding and Generation
用模态专属 MoE 加统一自回归目标，在纯 decoder-only Transformer 内同时做理解、生成与编辑，推理时不再依赖 ViT 和视觉分词器，对高分辨率输入输出尤其省算力；scale-aware adapter 把多尺度视觉自回归塞进 LLM，给做统一多模态生成的人一条低延迟、可原生支持动态分辨率的替代路线。
MSPT：通过并行化多尺度注意力实现高效大规模物理建模
MSPT: Efficient Large-Scale Physical Modeling via Parallelized Multi-Scale Attention
把「图像块内局部点注意力 + 粗粒度图像块级全局注意力」的双尺度注意力，配合球树做不规则几何的空间划分，可直接迁移到百万级点云或高斯球的场景表示与神经场建模中，在单卡上显著降低显存占用。
MS-Temba：用于理解长未剪辑视频的多尺度时序 Mamba
MS-Temba: Multi-Scale Temporal Mamba for Understanding Long Untrimmed Videos
把 Mamba 状态空间模型用空洞（dilated）SSM 扩展到多尺度时序建模，为长视频密集重叠动作的边界定位提供了可复用的骨干设计；做长时序视频理解或需要长程依赖+细粒度细节兼顾的任务时，可借鉴其多尺度 SSM 分块与轻量融合器结构。