Tag · 2 篇
概念瓶颈
01 02
LVLM 辅助的任务特定视觉模型对齐
LVLM-Aided Alignment of Task-Specific Vision Models
用 LVLM 作为「模型行为→自然语言→图像级批评」的双向翻译器,把领域专家给出的类级规范转成对单张图的批评信号来微调小模型,为视觉模型对齐人类知识、去除虚假相关提供了一套无需细粒度标注的可复用流程。
可解释且可引导的概念瓶颈稀疏自编码器
Interpretable and Steerable Concept Bottleneck Sparse Autoencoders
为视觉语言模型与图像生成模型提供了一种事后可插拔的稀疏自编码器改造方案:先剪除低效用神经元,再用对齐用户概念集的轻量概念瓶颈扩充潜空间,从而让潜变量既可解释又可被定向操控,可直接用于扩散模型的概念级编辑与生成控制。