Tag · 3 篇
影响函数
分布 自监督与表征学习2高效模型与推理加速1
01 02 03
LoPrune：面向视觉 Transformer 低秩适配微调的高效数据剪枝
LoPrune: Efficient Data Pruning for LoRA-Based Fine-Tuning of Vision Transformer
把影响函数投影到 LoRA 可训练子空间并用 K-FAC 近似样本对适配器更新的影响，为视觉模型端侧持续微调提供了一个可直接复用的样本重要性打分与剪枝流程，可迁移到任何基于低秩适配的视觉微调场景。
基于影响匹配的数据集蒸馏
Dataset Distillation by Influence Matching
用可微的样本级影响估计器替代逐步梯度/轨迹匹配来学习合成数据，视觉研究者可将其作为数据压缩与高效预训练的数据构造手段，并可直接迁移到图文检索等跨模态蒸馏场景。
CHIPS：基于曲率感知混合影响的数据选择实现高效 CLIP 适配
CHIPS: Efficient CLIP Adaptation via Curvature-aware Hybrid Influence-based Data Selection
把影响函数与曲率感知的对齐分数用在 CLIP 领域适配的数据筛选上，视觉研究者可直接复用这套打分流程，在医疗等垂直域只用 10%~30% 数据达到全量持续预训练的效果，也提供了投影子空间内估计 InfoNCE 曲率的可扩展做法。