基于角色的注意力掩码

DeAR：通过分解注意力头角色实现细粒度 VLM 适配

DeAR: Fine-Grained VLM Adaptation by Decomposing Attention Head Roles

把 VLM 适配的粒度从「层」下沉到「注意力头」，用 Concept Entropy 给每个头打上属性/泛化/混合的角色标签，再用 Role-Based Attention Mask 隔离任务知识与泛化能力——做提示词学习或参数高效微调时，可直接复用这套头级角色划分与掩码控制信息流的思路，缓解适配与零样本泛化的权衡。