Tag · 9 篇
训练加速
SRA 2：面向高效扩散训练的变分自编码器自表征对齐
SRA 2: Variational Autoencoder Self-Representation Alignment for Efficient Diffusion Training
利用预训练 VAE 的重建特征作为内在监督信号，通过轻量投影层对齐扩散 Transformer 的中间潜变量，无需外部编码器即可加速训练收敛，为扩散模型训练提供了一种低成本的正则化手段。
NTK引导的隐式神经教学
NTK-Guided Implicit Neural Teaching
对做隐式神经表示（图像拟合、3D重建、NeRF类场）的研究者，可直接复用其基于NTK增广梯度范数的坐标采样打分准则，替换均匀/误差驱动采样以在几乎减半的训练时间内达到同等重建质量。
LoPrune：面向视觉 Transformer 低秩适配微调的高效数据剪枝
LoPrune: Efficient Data Pruning for LoRA-Based Fine-Tuning of Vision Transformer
把影响函数投影到 LoRA 可训练子空间并用 K-FAC 近似样本对适配器更新的影响，为视觉模型端侧持续微调提供了一个可直接复用的样本重要性打分与剪枝流程，可迁移到任何基于低秩适配的视觉微调场景。
GR-Gauge：通过度量梯度冗余实现低成本训练配置
GR-Gauge: Cost-efficient Training Configuration By Gauging the Gradient Redundancy
提出以梯度冗余度作为轻量级信号来指导超参数搜索和试验终止，可替代传统基于验证集精度的昂贵评估，为视觉模型训练节省大量计算开销。
Faster-GS：分析与改进高斯泼溅优化
Faster-GS: Analyzing and Improving Gaussian Splatting Optimization
对做 3DGS/4D 重建的人，这篇把分散的加速技巧统一成一套可复现的优化配方，并给出数值稳定性、高斯截断与梯度近似的处理细节，可直接作为训练 3DGS 时的低成本基线替换默认实现。
面向人体视频生成的高效训练：熵引导的优先渐进学习
Efficient Training for Human Video Generation with Entropy-Guided Prioritized Progressive Learning
提出条件熵膨胀（CEI）来量化模型各组件对条件生成任务的重要性，并据此安排训练优先级；同时用收敛效率自适应地提升训练复杂度。这套「按重要性排序 + 渐进加难」的训练调度可直接迁移到高分辨率视频扩散模型或大分辨率图像扩散模型的训练中，以降低显存与时间开销。
YOLO 真的需要在每个 epoch 看到每一张训练图像吗？
Does YOLO Really Need to See Every Training Image in Every Epoch?
AFSS 把「每张图的学习充分度」定义为检测召回率与精确率的最小值，并据此动态划分易/中/难样本、按连续复习方式稀疏重采样，可直接迁移到任意检测器或分割模型的训练循环中，作为降低每轮数据量、加速收敛的通用数据调度手段。
面向多视角扩散模型的对应注意力对齐
Correspondence-Attention Alignment for Multi-View Diffusion Models
把跨视角几何对应作为注意力图的显式监督信号，只需监督单层注意力即可显著加速多视角扩散模型收敛并提升新视角合成质量，这一思路可直接迁移到任何以参考图为条件的扩散生成/编辑模型中，用于增强结构保持与视角一致性。
面向动态数据剪枝的批损失分数
Batch Loss Score for Dynamic Data Pruning
对视觉模型训练而言，BLS 提供了一种无需逐样本损失即可估计样本重要性的三行代码级方案，可直接嵌入现有动态数据剪枝流程，在检测、分割、视频等逐样本损失难以获取的复杂损失场景下实现 20%-50% 的无损剪枝加速。