Tag · 2 篇
高阶交互建模
分布 视觉语言模型1医学影像与生物视觉1
01 02
多多益善：面向高阶多模态对齐的对比融合
THE MORE, THE MERRIER: CONTRASTIVE FUSION FOR HIGHER-ORDER MULTIMODAL ALIGNMENT
ConFu 把「模态对」与「模态对+第三模态」的融合嵌入一起拉进同一对比空间，可直接用于视觉-语言-音频等三模态检索与分类；做 VLM 时若需建模图像、文本、音频之间的 XOR 式互补关系，可把该融合对比项接到现有 CLIP 式双塔上，而不必放弃成对对齐。
通过高阶多细胞交互建模从组织学图像预测空间转录组
Predicting Spatial Transcriptomics from Histology Images via High-Order Multi-Cell Interaction Modeling
把多体注意力（many-body attention）与分层耦合引入全切片图像的多细胞建模，为病理图像中建模高阶、多对多的细胞间依赖提供了可复用的注意力设计，可迁移到其他需要超长程、多实体交互的密集预测任务。