Tag · 5 篇
计算效率
按需路由:DSNet 实现高效渐进式点云去噪
Routing on Demand: DSNet for Efficient Progressive Point Cloud Denoising
把「按需路由」引入点云渐进去噪:用基于法向相似性的噪声判别器为每个图像块(patch)选择去噪模块,并用路径选择性迭代实现跨阶段跳连,可直接迁移到其他迭代式点云/几何处理流程中以减少冗余计算并缓解过平滑。
ROSE:旋转你的大语言模型使其看见
ROSE: Rotate Your Large Language Model to See
提出用旋转矩阵把视觉语义直接作用到 LLM 预训练参数上的参数空间注入方式,替代把视觉 token 拼进输入序列的做法;做视觉-语言对齐、想降低多模态上下文长度与推理成本的工作可以直接借鉴这一注入接口。
面向高效流匹配与扩散模型的多 patch 全局到局部 Transformer 架构
Multi-Patch Global-to-Local Transformer Architecture For Efficient Flow Matching and Diffusion Model
把 DiT 各向同性的等尺寸 patch 处理改为「浅层大 patch 抓全局、深层小 patch 修细节」的层次化多 patch 设计,可直接迁移到任何基于 Transformer 主干的扩散/流匹配生成器中,在 GFLOPs 减半的同时保持生成质量;其时间/类别嵌入改进也可作为加速收敛的通用技巧复用。
少做多得:扩散模型强化学习微调需要每一步优化吗?
Do Less, Achieve More: Do We Need Every-Step Optimization for RL Fine-tuning of Diffusion Models?
提出一种自适应确定RL微调最佳时间窗口的插件方法,可减少计算成本并提升生成质量,为扩散模型RL微调提供高效策略。
注意力手术:一种高效线性化视频扩散 Transformer 的配方
Attention Surgery: An Efficient Recipe to Linearize Your Video Diffusion Transformer
提出一种无需从头训练即可将预训练视频扩散 Transformer 中的 softmax 注意力替换为线性或混合注意力的高效框架,结合蒸馏与微调,显著降低长视频生成的计算成本,为视觉生成模型的高效部署提供可复用方案。