Tag · 1 篇
BinaryAttention: One-Bit QK-Attention for Vision and Diffusion Transformers
将注意力中的QK点积二值化为符号位运算,用位运算替代浮点乘法,在视觉Transformer和扩散Transformer上实现端到端加速,为低比特注意力提供可复用方案。