注意力头聚类

在自监督Transformer中发现分布式目标中心属性

Finding Distributed Object-Centric Properties in Self-Supervised Transformers

提出一种无需训练的方法，通过聚类所有层的注意力头并利用patch级query/key/value相似度，提取分布式目标中心信息，可直接用于提升无监督目标发现和缓解多模态大语言模型的物体幻觉。