StableMTL：改造潜扩散模型以从部分标注的合成数据集进行多任务学习
StableMTL: Repurposing Latent Diffusion Models for Multi-Task Learning from Partially Annotated Synthetic Datasets
把预训练潜扩散模型改造成多任务密集预测的潜回归器，用统一潜损失替代逐任务损失、用任务注意力把 N-to-N 交互降为 N-to-one，为视觉研究者提供了一条免调损失权重、可随任务数扩展的多任务训练范式。
原文依据 Our method, StableMTL, repurposes an image generator for latent regression.
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论密集预测的多任务学习受限于每个任务都需要大量标注，尽管近期工作已探索使用部分任务标签进行训练。借助扩散模型的泛化能力，我们将部分学习设定扩展到零样本场景，在多个合成数据集上训练一个多任务模型，其中每个数据集仅对部分任务提供标注。我们的方法 StableMTL 将图像生成器改造为潜回归器，采用带有任务编码、任务条件化和定制训练方案的扩散去噪框架。不同于需要仔细平衡的逐任务损失，我们采用统一的潜损失，从而能够无缝扩展到更多任务。为促进任务间的协同，我们引入一种多流模型，其任务注意力机制将 N 对 N 的任务交互转化为高效的 N 对一注意力，促进有效的跨任务共享。StableMTL 在 8 个基准的 7 个任务上优于基线方法。
英文原文摘要 979 字符
Multi-task learning for dense prediction is limited by the need for extensive annotation for every task, although recent works have explored training with partial task labels. Leveraging the generalization power of diffusion models, we extend the partial learning setup to a zero-shot setting, training a multi-task model on multiple synthetic datasets, each labeled for only a subset of tasks. Our method, StableMTL, repurposes an image generator for latent regression. Adapting a denoising framework with task encoding, task conditioning and a tailored training scheme. Instead of per-task losses requiring careful balancing, a unified latent loss is adopted, enabling seamless scaling to more tasks. To encourage inter-task synergy, we introduce a multi-stream model with a task-attention mechanism that converts N-to-N task interactions into efficient N-to-one attention, promoting effective cross-task sharing. StableMTL outperforms baselines on 7 tasks across 8 benchmarks.