Tag · 27 篇
图神经网络
虚拟节点引导的动态图神经网络用于缺失模态脑肿瘤分割
Virtual Nodes Guided Dynamic Graph Neural Network for Brain Tumor Segmentation with Missing Modalities
针对多模态医学影像中模态缺失问题,提出基于虚拟节点和图动态连接的统一框架,可复用于其他多模态融合任务(如RGB-D、多光谱)的缺失模态鲁棒性提升。
仅训练期异构图像块-文本图监督用于提升少样本学习适配器
Training-Only Heterogeneous Image-Patch-Text Graph Supervision for Advancing Few-Shot Learning Adapters
把训练期的异构图教师(多尺度图像块+文本提示的图 Transformer)蒸馏进 Tip-Adapter 的键值缓存,测试时零额外延迟,为视觉研究者提供了一种「训练加料、推理不变」的少样本 CLIP 适配增强范式。
面向类人机器人书写的轮廓感知生成
Towards Human-Like Robot Handwriting via Contour-Aware Generation
将字符笔画轮廓建模为图结构并用GNN联合编码局部笔画细节与全局字形结构,这一「轮廓感知图表示」思路可迁移到笔迹/线条类视觉任务(如草图生成、矢量字体合成、手写识别中的结构先验建模)。
语义导数流:用于可控实例交互的图引导扩散
Semantic Derivative Flow: Graph-Guided Diffusion for Controllable Instance Interactions
将实例间的交互关系建模为有向无环图,并通过导数注意力机制强制谓词表征由主语派生、宾语由谓词派生,为可控生成中「多实例交互」这一难点提供了可复用的结构化条件注入思路。
STRNet:通过动态图聚合的时空表征视觉导航
STRNet: Visual Navigation with Spatio-Temporal Representation through Dynamic Graph Aggregation
提出一种可泛化的视觉骨干网络,通过空间图推理和混合时序移位模块融合图像序列与目标观测,可复用于目标条件控制任务中的视觉编码。
SAG-GNN:面向无描述子 2D-3D 匹配的语义感知引导图神经网络
SAG-GNN: Semantic-Aware Guided GNN for Descriptor-Free 2D-3D Matching
把低维语义概率分布作为 3D 点的紧凑先验注入无描述子 2D-3D 匹配,用语义消歧替代大描述子库,可直接迁移到无描述子视觉定位与位姿估计流程中降低存储并提升跨场景泛化。
RoboTAG:基于拓扑对齐图的端到端机器人位姿估计
RoboTAG: End-to-end Robot Pose Estimation via Topological Alignment Graph
把机器人位姿估计建模成 2D/3D 双分支的拓扑对齐图,用闭环上的跨分支一致性监督替代大量标注,这个「图节点=相机/机器人状态、边=对齐关系」的构造方式可直接迁移到单目相机重定位、手眼标定和 sim-to-real 位姿回归任务中。
ReLaGS:关系语言高斯泼溅
ReLaGS: Relational Language Gaussian Splatting
把多视图 2D 语言特征蒸馏进高斯场景并做高斯剪枝,可在无需场景级训练的情况下得到准确的 3D 物体嵌入,为开放词表 3D 分割与关系检索提供可复用的建图流程。
R2G:从RTL到GDSII的多视图电路图基准套件
R2G: A Multi-View Circuit Graph Benchmark Suite from RTL to GDSII
该基准将电路图表示与模型选择解耦,其多视图信息对等设计可迁移到视觉图结构任务(如场景图、点云图)中,用于系统评估表示选择对GNN性能的影响。
LookasideVLN:方向感知的空中视觉与语言导航
LookasideVLN: Direction-Aware Aerial Vision-and-Language Navigation
将自然语言中的方向线索(如“左转”“前方”)编码为图结构,并与多模态大语言模型对齐用于路径规划,为视觉语言导航提供了一种轻量且可解释的空间推理范式。
IEBGL:一种可解释性增强的脑图学习框架,结合大语言模型指导的拓扑与文献增强的语义
IEBGL:An Interpretability-Enhanced Brain Graph Learning Framework with LLM-Instructed Topology and Literature-Augmented Semantics
对做医学影像图学习的人,这篇给出了用 LLM 推理重建脑连接拓扑、并用生物医学文献语义增强节点表示的范式,可作为把外部知识注入图结构、提升可解释性的可复用思路。
GraphVLM:面向多模态图学习的视觉语言模型基准测试
GraphVLM: Benchmarking Vision Language Models for Multimodal Graph Learning
该基准系统评估了VLM作为编码器、对齐器和预测器三种范式在多模态图学习中的表现,为视觉研究者将VLM与图结构数据结合提供了可复用的评测框架和范式参考。
GraPHFormer:用于神经科学形态分析的多模态图持续同调 Transformer
GraPHFormer: A Multimodal Graph Persistent Homology Transformer for the Analysis of Neuroscience Morphologies
把持续同调得到的持续图像当作三通道视觉输入、用 DINOv2-ViT 提取特征,再与 TreeLSTM 的骨架图特征做 CLIP 式对称 InfoNCE 对齐——这套「拓扑图像 + 图结构」双分支对比框架可直接迁移到其他需要同时建模形状拓扑与骨架几何的视觉任务(如血管、道路、细胞骨架分析)。
面向不完整与噪声多视图数据统一聚类的全局图引导与局部图加权对比学习
Global-Graph Guided and Local-Graph Weighted Contrastive Learning for Unified Clustering on Incomplete and Noise Multi-View Data
全局图引导构造新样本对、局部图生成成对权重来加权对比学习,这套「免插补」的图引导对比框架可直接迁移到视觉多视图/多模态表征学习(如多相机、RGB-深度、图像-文本)中处理缺失模态与错配样本。
面向位姿图初始化的全局感知边优先排序
Global-Aware Edge Prioritization for Pose Graph Initialization
把位姿图初始化从「逐对检索 top-k 邻居」改为「按边对 SfM 的效用全局排序」,用 GNN 预测全局一致的边可靠性,可直接替换 SfM 前端中基于检索的候选边筛选环节,在稀疏、高速和歧义场景下提升重建鲁棒性。
面向 3D 高斯泼溅中指代分割的几何感知跨模态图对齐
Geometry-Aware Cross-Modal Graph Alignment for Referring Segmentation in 3D Gaussian Splatting
针对 3DGS 场景中的语言指代分割,用位置感知提示词扩展与几何图-语义图跨模态对齐来抑制跨模态注意力的误差自增强,可直接迁移到任何需要文本-3D 空间定位的 3DGS/NeRF 管线。
GS^2:基于图的空间分布优化用于紧凑三维高斯泼溅
GS^2: Graph-based Spatial Distribution Optimization for Compact 3D Gaussian Splatting
提出基于图的空间分布优化与不透明度感知渐进剪枝,可在保持渲染质量的同时将高斯点数压缩至约12.5%,为3DGS的轻量化部署提供了可复用的稠密化控制与剪枝策略。
GEM-TFL:通过EM引导分解与时序精炼弥合弱监督与全监督伪造定位之间的差距
GEM-TFL: Bridging Weak and Full Supervision for Forgery Localization through EM-Guided Decomposition and Temporal Refinement
论文提出的基于EM的弱监督时序定位框架和图提案精炼模块,可迁移到视频动作定位、视频异常检测等需要从视频级标签学习帧级预测的视觉任务中。
FedSDR:带结构噪声检测与重建的联邦图学习
FedSDR: Federated Graph Learning with Structural Noise Detection and Reconstruction
对视觉研究者而言,可复用的是「用谱域结构保真度指标识别被噪声污染的客户端并降权」这一思路,可迁移到多源视觉数据(如跨摄像头、跨传感器)联合训练时对低质量来源的加权聚合,以及用健康全局模型重建局部损坏图结构的做法。
EagleNet:面向文本-视频检索的能量感知细粒度关系学习网络
EagleNet: Energy-Aware Fine-Grained Relationship Learning Network for Text-Video Retrieval
用文本候选与帧构建文本-帧图来聚合出带帧上下文信息的增强文本嵌入,并用能量匹配建模真实文本-视频对分布,这一「图聚合+能量打分」思路可迁移到其他跨模态检索与图文对齐任务中。
DiffGraph:面向真实场景文本到图像生成的自动化智能体驱动模型合并框架
DiffGraph: An Automated Agent-driven Model Merging Framework for In-the-Wild Text-to-Image Generation
提出基于图结构的自动化模型合并框架,通过节点注册与校准组织在线专家模型,并根据用户需求动态激活子图,为视觉生成中的模型复用与组合提供可扩展方案。
基于知识引导多模态图学习从高内涵图谱解析基因型-表型机制
Deciphering Genotype-Phenotype Mechanisms from High-Content Profiling via Knowledge-Guided Multi-modal Graph Learning
把高内涵细胞形态学表型当作图上的关系信号而非节点特征,并学习逐边置信度与知识门控,这一思路可迁移到视觉中需要将图像特征嵌入结构化知识图谱的任务(如场景图推理、视觉-知识联合推理),也为细胞成像的表征学习提供了可解释的图建模范式。
CoRoGS:面向鲁棒大偏差视角合成的上下文高斯泼溅
CoRoGS: Contextual Gaussian Splatting for Robust Large-Deviation View Synthesis
将高斯泼溅中的高斯图元视为图节点,通过消息传递建模高斯间依赖关系,并采用渐进式图扩展策略自适应增删高斯,从而在大视角偏差下保持几何一致性;该思路可迁移到任何需要结构化场景表示的NVS任务中。
CIGPose:面向全身姿态估计的因果干预图神经网络
CIGPose: Causal Intervention Graph Neural Network for Whole-Body Pose Estimation
把视觉上下文当作混淆因子、用因果干预模块替换被混淆的关键点表征,这一去混淆思路可直接迁移到其他易受上下文虚假关联影响的关键点/密集预测任务(如手部姿态、动物姿态、遮挡场景下的检测)。
基于bulk RNA-seq引导的多模态空间转录组学检测人类癌症异常区域
Bulk RNA-seq Guided Multi-modal Detection of Anomalous Regions in Human Cancer via Spatial Transcriptomics
将病理图像与空间转录组数据通过最优传输对齐基因模块,为多模态医学图像分析提供了一种跨模态对齐与融合的通用思路,可借鉴到其他需要整合组学与影像的任务中。
从系统生物学视角出发,以基因组、蛋白质组与病理成像数据的层级融合推进癌症预后
Advancing Cancer Prognosis with Hierarchical Fusion of Genomic, Proteomic and Pathology Imaging Data from a Systems Biology Perspective
对做计算病理与多模态融合的研究者,这篇论文提供了把基因组、蛋白质组与病理图像按生物层级逐级融合的架构范式:用图感知交叉注意力建模基因-蛋白调控、用超图卷积建模蛋白-图像块的高阶关联,可作为多组学+全切片图像融合的可复用设计。
基于图神经网络的自适应学习式图像压缩
Adaptive Learned Image Compression with Graph Neural Networks
用双尺度图结构替代 CNN 固定核与窗口注意力,按局部内容复杂度动态调整每个节点的邻居数,为视觉任务提供一种数据驱动的自适应感受野建模手段,可直接迁移到需要捕捉长程冗余的复原与压缩网络设计。