Tag · 3 篇
扩散Transformer
分布 高效模型与推理加速2生成模型与扩散1
01 02 03
QuantVLA：面向视觉-语言-动作模型的尺度校准训练后量化
QuantVLA: Scale-Calibrated Post-Training Quantization for Vision-Language-Action Models
为视觉-语言-动作模型提供无需训练的训练后量化方案，可复用于扩散Transformer动作头的低比特部署，并给出注意力温度匹配与输出头平衡等校准技巧。
MacTok：面向图像生成的鲁棒连续分词器
MacTok: Robust Continuous Tokenization for Image Generation
MacTok 通过随机掩码和 DINO 引导的语义掩码来正则化潜变量学习，结合全局与局部表征对齐，防止少词元下的后验坍塌，为视觉生成提供了一种高效的一维连续分词方案，可直接用于扩散模型的前端压缩。
BinaryAttention：面向视觉与扩散Transformer的一比特QK注意力
BinaryAttention: One-Bit QK-Attention for Vision and Diffusion Transformers
将注意力中的QK点积二值化为符号位运算，用位运算替代浮点乘法，在视觉Transformer和扩散Transformer上实现端到端加速，为低比特注意力提供可复用方案。