Tag · 8 篇

跨模态融合

分布 3D 视觉与重建4底层视觉与图像复原1视频理解与时序1生成模型与扩散1视觉语言模型1

VIAFormer: Voxel-Image Alignment Transformer for High-Fidelity Voxel Refinement

把标定多视图图像作为条件来修复不完整噪声体素，其 Image Index 为 2D 图像 token 注入显式 3D 空间定位、Correctional Flow 直接学习体素细化轨迹，可作为视觉基础模型输出（如单目/多视图重建体素）的后处理精修模块复用。

Text-Image Conditioned 3D Generation

论文提出文本-图像联合条件的3D生成任务，并给出TIGON双分支基线：分别保留图像条件与文本条件骨干，再用轻量跨模态融合模块整合两路预测。对做3D生成的研究者，这提供了一个可复用的条件融合范式，也提示可用晚期融合作为诊断手段来量化不同条件模态的互补性。

ReCoFuse: Ultra-Robust Image Fusion via Restorative Multi-Modal Diffusion Reciprocal Coupling

把扩散采样过程当作多模态复原先验的载体，在每个采样时间步插入跨模态整合模块并把聚合变量回灌到各复原分支，这种「复原-融合互促」的耦合结构可直接迁移到多传感器融合、低质图像增强等需要同时去退化与信息整合的任务。

RAGTrack: Language-aware RGBT Tracking with Retrieval-Augmented Generation

将检索增强生成（RAG）引入RGB-T跟踪，利用MLLM自动生成文本描述并构建动态知识库，通过时序语言推理增强目标建模，为多模态跟踪中的外观变化和背景干扰问题提供了可复用的语言引导思路。

Harmonic Canvas: Inversion-Free Editing for Visually-Guided Music Style Transfer

把基于 flow 的无反转编辑框架从图像迁移到音频，用 CLIP+ViT 双编码器融合视觉嵌入作为生成条件，并用可微归一化色度约束在生成流上保持内容一致性——这套「视觉条件 + 无反转流编辑 + 内容保持约束」的组合可直接复用到图像/视频的风格化编辑与视觉引导生成。

HAMMER: Harnessing MLLMs via Cross-Modal Integration for Intention-Driven 3D Affordance Grounding

利用多模态大语言模型（MLLM）的语义推理能力，将参考图像中的交互意图编码为接触感知嵌入，并通过分层跨模态融合与多粒度几何提升实现 3D 可供性定位，为 3D 场景理解提供新思路。

Active Perceptual Inference: A Corticothalamic-Inspired Dynamic Nested Recurrent Network for Multimodal Sentiment Analysis with Incomplete Data

提出一种受皮层-丘脑启发的动态嵌套循环网络，通过局部循环补全和全局循环置信度加权，实现从被动补全到主动感知推理的范式转变，可复用于视觉-语言任务中的缺失模态补全与动态融合。

AIMDepth: Asymmetric Image-Event Mamba for Monocular Depth Estimation

把 Mamba/状态空间模型引入图像-事件跨模态融合，用线性复杂度做长序列深度估计；其「输入级先验注入 + 非对称双编码器 + 特征级对齐」的三段式融合流程，可直接迁移到其他稀疏-稠密模态配对（如 LiDAR-相机、事件-帧）的融合任务。