Tag · 5 篇
自适应计算分配
面向行人重识别的 SSM 感知词元高效 VMamba:自适应图像块剪枝与合并
SSM-Aware Token-Efficient VMamba via Adaptive Patch Pruning and Merging for Person Re-Identification
把视觉状态空间模型(VMamba)中冗余的词元按层自适应剪枝、按深度合并,并学习逐层阈值来动态权衡精度与算力;做视觉主干加速的人可直接把这套结构化词元削减策略迁移到 ViT/SSM 类骨干上。
EVATok:面向高效视觉自回归生成的自适应长度视频分词器
EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation
提出自适应视频分词器,根据视频内容动态分配词元数量,在保持重建质量的同时显著降低下游自回归生成的计算成本,为视频生成模型的高效化提供了可复用的分词与路由机制。
压缩域感知的在线视频超分辨率
Compressed-Domain-Aware Online Video Super-Resolution
把压缩码流里的运动矢量、残差图、帧类型当作免费先验来替代昂贵的运动估计:运动矢量做粗对齐、网络只学局部残差偏移,可显著降低在线视频超分辨率的对齐开销,这套「压缩域引导对齐+按帧类型分配算力」的思路可直接迁移到其他视频复原/增强任务。
AdapTok:在一维潜空间中学习自适应且时序因果的视频分词
AdapTok: Learning Adaptive and Temporally Causal Video Tokenization in a 1D Latent Space
提出一种内容感知的视频分词器,通过块因果评分器和整数线性规划在总预算内动态分配每帧词元数,可直接用于视频生成模型的前端,提升词元效率与重建质量。
AdaSpark:面向高效长视频理解的自适应稀疏性
AdaSpark: Adaptive Sparsity for Efficient Long-Video Understanding
AdaSpark 的「3D 时空立方体划分 + 熵驱动 Top-p 自适应选择」可直接迁移到任何长视频或多帧输入的视觉 Transformer 中,用输入复杂度动态决定注意力与 FFN 的计算预算,在保留细粒度与长程时序依赖的同时降低浮点运算量。