稀疏更新

TaskIT：通过跨任务重要性迁移实现多 LoRA 大语言模型的显存高效微调

TaskIT: Memory-Efficient Fine-Tuning of Multi-LoRA LLMs via Cross-Task Importance Transfer

对需要在显存受限设备上部署多任务视觉-语言模型的场景，TaskIT 的跨任务重要性迁移与基于块的显存预测器可用于在插入 LoRA 模块前估计其重要性，并配合动态规划调度器在显存预算内选择模块位置、数量与秩，可直接迁移到多任务视觉基础模型的端侧微调。