Tag · 2 篇
动态推理
分布 高效模型与推理加速1生成模型与扩散1
01 02
ThinkingViT：面向弹性推理的套娃式思考视觉 Transformer
ThinkingViT: Matryoshka Thinking Vision Transformer for Elastic Inference
把 Matryoshka 式嵌套 ViT 与按输入难度自适应的渐进式推理结合：先用少量注意力头出预测，置信度不足再在同一骨干内激活更多头重跑，并用词元回收融合上一阶段嵌入，可直接作为现有 ViT 骨干的即插即用加速方案。
SenCache：通过敏感性感知缓存加速扩散模型推理
SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching
提出基于模型输出敏感性的动态缓存策略，可无缝集成到现有视频扩散模型（如 Wan 2.1、CogVideoX）中，在相近计算预算下提升生成质量，为免训练加速提供理论指导。