Tag · 2 篇
CLIP-微调
分布 图像编辑与可控生成1自监督与表征学习1
01 02
基于扩散模型的面部区域感知妆容特征妆容迁移
Diffusion-Based Makeup Transfer with Facial Region-Aware Makeup Features
用可学习 token 查询微调后的 CLIP 编码器，提取眼、嘴等面部区域级妆容特征，并以注意力损失实现区域可控注入，为扩散编辑中的局部属性控制提供了可复用范式；同时用 GPT-o3 加文本驱动编辑模型合成带标注风格数据来微调领域编码器，可迁移到其他细粒度风格迁移任务。
CHIPS：基于曲率感知混合影响的数据选择实现高效 CLIP 适配
CHIPS: Efficient CLIP Adaptation via Curvature-aware Hybrid Influence-based Data Selection
把影响函数与曲率感知的对齐分数用在 CLIP 领域适配的数据筛选上，视觉研究者可直接复用这套打分流程，在医疗等垂直域只用 10%~30% 数据达到全量持续预训练的效果，也提供了投影子空间内估计 InfoNCE 曲率的可扩展做法。