Tag · 2 篇
表征多样性
分布 自监督与表征学习1生成模型与扩散1
01 02
InvCoSS：医学多模态图像预训练中反演驱动的持续自监督学习
InvCoSS: Inversion-driven Continual Self-supervised Learning in Medical Multi-modal Image Pre-training
用模型反演生成近似旧任务分布的合成图像替代真实数据回放，为视觉预训练中的持续学习提供了一条不依赖跨站点数据共享、且显著降低存储的可行路径；InvUNet 的多尺度高低频融合与无类别引导的排斥式表征学习可直接迁移到其他需要合成回放的增量预训练场景。
DiverseDiT：面向扩散 Transformer 中多样化表征学习
DiverseDiT: Towards Diverse Representation Learning in Diffusion Transformers
对做 DiT 图像生成的人，这篇给出了一个可直接插入任意 DiT 主干的正则手段：跨块长残差连接 + 表征多样性损失，用来替代或补充 REPA 式外部编码器对齐，并报告了收敛加速与一步生成下的收益。