Tag · 8 篇

奇异值分解

分布自监督与表征学习3视觉语言模型1生成模型与扩散1可解释性与可视化1高效模型与推理加速1图像编辑与可控生成1

Sparse Spectral LoRA: Routed Experts for Medical VLMs

把预训练权重按 SVD 分段初始化 MoE 专家，并配一个与全秩全量微调对齐的缩放规则，为视觉语言模型在异构医学数据上做参数高效适配提供了可复用的低秩专家路由方案，可直接迁移到其他多数据集 VLM 微调场景。

Head-wise Adaptive Rotary Positional Encoding for Fine-Grained Image Generation

把标准多维 RoPE 换成按检测头自适应、经 SVD 参数化的可学习旋转映射，可直接作为现有 DiT/Flux 类图像生成主干的位置编码替换件，改善细粒度空间关系与计数能力，且不破坏相对位置性质。

From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition

提供一种无需数据、无需训练的权重空间分析手段：对 CLIP 视觉 Transformer 每个注意力头的 value-output 矩阵做奇异向量分解，并用稀疏匹配追踪把奇异向量解释为可读概念，可直接用于定位并放大或抑制特定语义方向，从而在不重训练的情况下编辑模型行为。

Forecast the Principal, Stabilize the Residual: Subspace-Aware Feature Caching for Diffusion Transformers

对做扩散 Transformer 采样加速的人，可直接把 SVD 分解 + 主/残差子空间差异化预测（主成分 EMA 预测、残差直接复用）作为免训练缓存策略，替换现有均匀缓存，并可与蒸馏、量化、稀疏注意力叠加。

DC-Merge: Improving Model Merging with Directional Consistency

对做多任务/多领域视觉模型部署的人，DC-Merge 提供了一种无需额外训练、仅靠奇异值平滑与共享正交子空间投影就能把多个微调模型（含 LoRA）合并成一个的通用后处理手段，可直接用于把多个视觉任务适配器压成单模型。

Bridging Domains through Subspace-Aware Model Merging

对视觉研究者而言，这是一种无需额外训练即可把多个领域微调模型（如不同成像域、不同风格数据上微调的 ViT）合并为单一模型的手段：通过 SVD 提取各任务矩阵的主奇异向量并构造共享正交基，再剪掉投影后的非对角分量来消除子空间冲突，可直接用于多域视觉模型的部署与跨域泛化提升。

Basis-Oriented Low-rank Transfer for Few-Shot and Test-Time Adaptation

BOLT 提供了一种无需元训练、仅利用多个任务向量构造正交低秩基的迁移方法，视觉研究者可将其用于少样本或测试时快速适配新任务，尤其适合在已有多个微调模型（如不同数据集上的 ViT）时复用其知识。

A Training-Free Style-Personalization via SVD-Based Feature Decomposition

用 SVD 分解内部特征的主成分来分离风格与内容，并在推理阶段通过特征混合与注意力校正实现风格迁移，为免训练个性化生成提供了一条可复用的「特征分解+注意力干预」路径。