Tag · 12 篇
低秩分解
本质子空间中的模型合并
Model Merging in the Essential Subspace
对需要把多个任务微调模型（如多个下游视觉任务的 LoRA/全参微调权重）零训练合成一个多任务模型的场景，提供基于 PCA 特征偏移子空间投影 + 低秩分解 + 极化缩放的可复用合并流程，可直接用于视觉基础模型的多任务部署。
MASQuant：面向多模态大模型的模态感知平滑量化
MASQuant: Modality-Aware Smoothing Quantization for Multimodal Large Language Models
为多模态大模型（视觉-语言）提供可直接套用的训练后量化方案：按模态分别学习平滑因子，并用 SVD 白化把跨模态激活差异压成低秩，从而在视觉 token 与文本 token 分布差异大时仍能统一量化，适合需要把 VLM 部署到低比特推理的场景。
低秩残差扩散模型
Low-Rank Residual Diffusion Models
把扩散过程约束在低秩残差子空间里，并让前向低秩、反向满秩，这种非对称扩散设计可直接迁移到去雨、去模糊等近域复原任务，用来降低采样不确定性并保住结构细节。
LRDUN：面向高效光谱压缩成像的低秩深度展开网络
LRDUN: A Low-Rank Deep Unfolding Network for Efficient Spectral Compressive Imaging
把低秩分解显式嵌入感知模型，使展开网络的每一阶段只在低维光谱基/子空间图像上做近端梯度更新，从而缓解 2D 残差映射回 3D 高光谱的病态性并降低计算量；这套「低秩感知模型 + 展开优化」思路可直接迁移到其他高维逆问题（视频快照压缩成像、多光谱去马赛克）。
HiFICL：面向多模态任务的高保真上下文学习
HiFICL: High-Fidelity In-Context Learning for Multimodal Tasks
把 ICL 中示例的影响精确分解为注意力输出与上下文值的动态混合，并用可学习的虚拟键值对加低秩分解来替代「shift vector」近似，这给视觉-语言模型提供了一种免示例、低开销的任务适配手段，可直接嵌入 LMM 的注意力层做端到端训练。
预测主成分、稳定残差：面向扩散 Transformer 的子空间感知特征缓存
Forecast the Principal, Stabilize the Residual: Subspace-Aware Feature Caching for Diffusion Transformers
对做扩散 Transformer 采样加速的人，可直接把 SVD 分解 + 主/残差子空间差异化预测（主成分 EMA 预测、残差直接复用）作为免训练缓存策略，替换现有均匀缓存，并可与蒸馏、量化、稀疏注意力叠加。
FedARA：异构边缘设备上基于锚驱动表征对齐的资源自适应低秩个性化联邦学习
FedARA: Resource-adaptive Low-rank Personalized Federated Learning via Anchor-driven Representation Alignment on Heterogeneous Edge Devices
低秩分解+重构融合的共享特征提取器方案，允许各客户端按本地资源自选秩值，可直接迁移到视觉模型在异构边缘设备上的分布式协同训练与通信压缩；锚驱动的表征一致性学习则为解决非IID视觉数据下特征空间漂移提供了可复用的对齐思路。
FINE：分解知识以实现可变尺寸扩散模型的初始化
FINE: Factorizing Knowledge for Initialization of Variable-sized Diffusion Models
把扩散模型每层权重分解为跨层共享的尺寸无关因子 U、V 与层专属的 Σ，从而在只有小模型预训练权重时直接重组初始化任意尺寸的扩散模型，仅需少量数据重训 Σ；对需要在显存受限场景下部署不同规模扩散模型的视觉研究者提供了可复用的权重分解与初始化思路。
DeltaQuant：基于时空差分平滑的 4 比特视频扩散模型
DeltaQuant: 4-bit Video Diffusion Models with Spatiotemporal Delta Smoothing
DeltaQuant 将视频扩散模型中的激活值按 3D 时空立方体分组，仅对差分词元做 4-bit 量化，核心词元保留 FP8，为视频生成模型在消费级 GPU 上的低比特推理提供了可复用的量化范式。
Bridge：基驱动因果推理结合视觉基础模型实现域泛化
Bridge: Basis-Driven Causal Inference Marries VFMs for Domain Generalization
把因果前门调整实现为可学习的低秩基，用来阻断光照、风格、共现等混杂因子对检测器的虚假关联，并可作为即插即用模块挂到 DINOv2/3、SAM、Stable Diffusion 等视觉基础模型上，为单源域泛化检测提供了一条不依赖目标域数据的通用思路。
面向大型视觉语言模型的注意力感知推理优化与显存高效解码
Attention-aware Inference Optimizations for Large Vision-Language Models with Memory-efficient Decoding
针对多图/视频长上下文 VLM 解码时 KV 缓存显存爆炸的问题，用隐式低秩结构压缩多头注意力的 K/V 矩阵，并配合 token 级注意力感知解压降低延迟；做视觉长上下文推理加速的工作可直接复用该 KV 压缩与解压调度思路，且能与 eviction、量化、kernel fusion 叠加。
AdaSVD：面向大型多模态模型的自适应奇异值分解
AdaSVD: Singular Value Decomposition with Adaptive Mechanisms for Large Multimodal Models
对需要在有限显存下部署视觉语言模型的研究者，adaComp 的交替更新奇异矩阵补偿截断误差、adaCR 的逐层自适应压缩比分配，可直接套用到任意 Transformer 主干（如 ViT、LLM 解码器）的低秩压缩流程中。