Tag · 6 篇
模型压缩
掩码教师与强化学生：面向视觉语言模型的蒸馏方法
Masking Teacher and Reinforcing Student for Distilling Vision-Language Models
提出一种掩码渐进式强化学习蒸馏框架，通过逐步恢复教师模型容量和离线RL奖励机制，解决大模型到小模型蒸馏中的不稳定性问题，为视觉语言模型的高效压缩与部署提供可复用技术路径。
Logit 间隔排斥用于后门防御
Logit-Margin Repulsion for Backdoor Defense
针对量化/剪枝后才激活的条件后门，LMR 用少量干净样本配合 logit-margin 约束放大后门类与良性类的间隔，再按通道选择性剪枝去除后门通路；做模型压缩部署或需要清洗第三方预训练权重时，这套「间隔约束+通道定位」流程可直接复用。
学习3D高斯泼溅中的可微层次结构
Learning Differentiable Hierarchies in 3D Gaussian Splatting
提出可微的层次化高斯表示与调制渲染，使3DGS支持任意数量的LoD渲染和模型剪枝，可直接用于需要动态精度调整的实时渲染与压缩场景。
分层 4D 旋转高斯泼溅：面向长动态场景的压缩表示
Layered 4D-Rotor Gaussian Splatting: A Compressed Representation for Long Dynamic Scenes
针对长动态场景的高斯泼溅重建，提出分层 4D 表示与量化压缩流程，使存储降低 22.3 倍并支持 500+ FPS 实时渲染，可直接用于需要长时序、低显存的三维动态重建任务。
为稀疏视角高斯泼溅丢弃锚点与球谐函数
Dropping Anchor and Spherical Harmonics for Sparse-view Gaussian Splatting
针对稀疏视角 3DGS 过拟合，提出以锚点为中心连带删除空间邻居的 dropout，并随机丢弃高阶球谐系数；该策略可直接插入现有 3DGS 变体作为正则化手段，且 SH 截断可用于训练后压缩。
分解、混合、适配：参数高效神经网络重组与压缩的统一框架
Decompose, Mix, Adapt: A Unified Framework for Parameter-Efficient Neural Network Recombination and Compression
提出一种统一的权重分解与重组框架，可同时实现参数高效微调（PEFT）和模型压缩（MC），为视觉模型（如ViT）在边缘设备上的部署提供了一种可复用的技术方案。