Tag · 4 篇
表征解耦
通过语义自编码器构建理解与生成的统一潜空间
Unified Latent Space for Understanding and Generation via Semantic Auto-encoder
为 DiT 类扩散模型提供一个同时具备语义判别力与细粒度几何保真度的统一潜空间自编码器,可直接替换现有 VAE/语义编码器前端,兼顾重建质量与收敛效率。
魔鬼藏在梯度纠缠中:面向鲁棒广义类别发现的能量感知梯度协调器
The Devil Is in Gradient Entanglement: Energy-Aware Gradient Coordinator for Robust Generalized Category Discovery
把「梯度纠缠」作为可诊断的优化失效模式,并用参考模型锚定有监督梯度方向、用能量系数自适应缩放无监督梯度投影,这套梯度级插件可直接移植到任何半监督/开放词表表征学习流程中,无需改动网络结构。
抑制掩码图像建模表征中的非语义噪声
Suppressing Non-Semantic Noise in Masked Image Modeling Representations
对做 MIM 预训练的人,这篇给出了一个免训练、可插拔的线性头,把图像块表征里与语义无关的分量投影掉,从而直接提升下游零样本性能;其基于 PCA 的语义不变性打分也可作为评估表征语义纯度的通用诊断工具。
建模人类草图的视觉歧义性
Modeling the Visual Ambiguity of Human Sketches
AmbiScore 把「草图-图像对本身有多歧义」量化成一个可计算的指标,并据此自适应调节监督强度;做跨模态对齐或噪声监督训练时,可以直接借用这种按样本不确定性加权监督的思路,Purified Matching 的 shape jigsaw / texture swapping 也可作为解耦结构与外观的通用数据构造手段。