Tag · 9 篇
并行解码
WAM-Flow:基于离散流匹配的并行粗到细运动规划用于自动驾驶
WAM-Flow: Parallel Coarse-to-Fine Motion Planning via Discrete Flow Matching for Autonomous Driving
将离散流匹配引入端到端自动驾驶轨迹规划,用并行双向去噪替代自回归解码,实现可调计算量的粗到细规划;其度量对齐分词器和几何感知流目标可迁移到其他需要结构化输出的视觉任务。
超快神经视频压缩
Ultra-Fast Neural Video Compression
提出基于块(chunk)的编码框架,将多帧编码为单一紧凑潜变量并并行解码,配合跨帧交互模块与帧特定解码器,可显著提升视频压缩的吞吐量并建模长期时序相关性;其精简熵编码机制将比特流交互合并为单步,降低解码开销,对视频压缩与高效视频处理有直接参考价值。
拒绝混合:面向高效 DLLM 推理的掩码词元快速语义传播
Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference
ReMix 的连续混合状态与拒绝回退机制可迁移到视觉语言模型的掩码扩散解码中,用于缓解并行解码时的组合矛盾,实现免训练加速且不损失质量。
面向快速自回归图像生成的并行 Jacobi 解码
Parallel Jacobi Decoding for Fast Autoregressive Image Generation
把 Jacobi 式投机解码的草稿序列从一维 token 链扩展到二维空间邻域,并配合调整注意力掩码抑制误差累积,可直接套用到 VAR、ImageGPT 等自回归图像生成器的推理阶段,在不重训的前提下换取数倍加速。
面向图像生成的多尺度局部推测解码
Multi-Scale Local Speculative Decoding for Image Generation
把LLM中的推测解码迁移到自回归图像生成,用低分辨率drafter提出候选token、高分辨率target并行验证,并引入局部拒绝重采样替代光栅扫描式重采样,可直接用于加速自回归视觉生成模型的采样。
MM-ACT:从多模态并行生成中学习动作
MM-ACT: Learn from Multimodal Parallel Generation to Act
把文本、图像、动作放进共享词元空间并用 re-mask 并行解码统一生成,为视觉研究者提供了一个可复用的 VLA 架构范式:动作生成可借用扩散/掩码生成的并行解码思路,且跨模态监督能反哺动作预测精度。
LazyVAR:通过尺度级词元剪枝与并行分组解码加速视觉自回归模型
LazyVAR: Accelerating Visual Autoregressive Models via Scale-wise Token Pruning and Parallel Group Decoding
对做视觉自回归生成的研究者,这篇给出了一个免训练、即插即用的加速范式:用相邻尺度聚合潜变量特征的相似度作为尺度更新指数来指导剪枝,并在大尺度上并行解码跨尺度词元,可直接套用到 VAR/Infinity 类模型的推理管线中。
ColaVLA:利用认知潜变量推理实现自动驾驶中的层级并行轨迹规划
ColaVLA: Leveraging Cognitive Latent Reasoning for Hierarchical Parallel Trajectory Planning in Autonomous Driving
把 VLM 的文本思维链推理迁移到统一潜空间,并用层级并行解码器一次前向输出多尺度轨迹,为视觉研究者提供了「潜变量推理 + 并行轨迹头」这一可复用范式,可显著降低 VLM 规划器的自回归延迟。
更好、更强、更快:以同步文本全掩码预测破解基于多模态大模型的分割三难困境
Better, Stronger, Faster: Tackling the Trilemma in MLLM-based Segmentation with Simultaneous Textual Mask Prediction
把分割掩码当作图像 patch 上的并行填空任务,在 MLLM 单次前向中一次性输出整张掩码,从而在不破坏对话能力的前提下兼顾分割质量与推理速度;做指代分割或多任务 VLM 的工作可直接复用这一解耦式输出头设计。