Tag · 14 篇
Mamba
当 Transformer 遇见 Mamba:一种用于视频目标检测的混合 Transformer-Mamba 网络
When Transformers Meet Mamba: A Hybrid Transformer-Mamba Network for Video Object Detection
将 Mamba 的线性复杂度长序列建模能力与 Transformer 的长程依赖建模能力结合,用于视频目标检测中的跨帧特征聚合;其空间自适应可变形 Transformer 编码器和时序级联双向 Mamba 编码器可作为通用模块迁移到其他需要长时序建模的视频任务中。
VesMamba:基于结构感知与尺度感知滤波的 Mamba 三维肺血管 CT 图像分割
VesMamba: 3D Pulmonary Vessel Segmentation from CT images via Mamba with Structural Perception and Scale-aware Filtering
将 Mamba 状态空间模型与动态空间注意力卷积结合,用于捕捉管状/树状结构的长程拓扑依赖,可迁移到视网膜血管、气道、神经纤维等细长结构分割任务;其尺度感知滤波与掩码约束解码器思路也可用于多尺度密集预测。
迈向增量统一多模态异常检测:从信息瓶颈视角增强多模态去噪
Towards an Incremental Unified Multimodal Anomaly Detection: Augmenting Multimodal Denoising From an Information Bottleneck Perspective
对做工业/3D 异常检测的人,这篇给出了一个可复用的思路:用信息瓶颈融合模块在融合后特征上显式过滤冗余维度,并用 Mamba 解码器解耦物体间特征耦合,从而在增量统一框架下抑制伪特征导致的灾难性遗忘。
TimeViper:一种用于高效长视频理解的混合 Mamba-Transformer 视觉语言模型
TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding
TimeViper 的混合 Mamba-Transformer 骨干与 TransV 词元压缩模块,为视觉语言模型处理长视频提供了一种降低推理成本且保持多模态理解能力的可复用架构思路。
StreamVLO:带累积漂移补偿的流式视觉-激光雷达里程计
StreamVLO: Streaming Visual-LiDAR Odometry with Cumulative Drift Compensation
用 Mamba 做跨多帧的视觉-激光雷达统一时空关联,并以因果方式从历史帧学习残差修正来抑制累积漂移,可直接迁移到视觉里程计/SLAM 的长序列位姿估计与多传感器融合骨干设计。
MixerCSeg:一种基于解耦 Mamba 注意力的高效裂缝分割混合器架构
MixerCSeg: An Efficient Mixer Architecture for Crack Segmentation via Decoupled Mamba Attention
TransMixer 把 Mamba 的潜变量注意力拆成局部纹理、全局依赖与序列上下文三条并行通路,配合方向引导边缘门控卷积,为细长/不规则结构(裂缝、血管、道路)的像素级分割提供了一个低算力(2.05 GFLOPs)可复用的编码器设计范式。
MDCS-MoAME:面向癌症生存预测的多方向复合扫描与注意力及 Mamba 混合专家
MDCS-MoAME: Multi-directional Composite Scanning with Mixture of Attention and Mamba Experts for Cancer Survival Prediction
把 Mamba 的多方向复合扫描策略用在千兆像素全切片图像上,为处理超长序列的病理图像提供了一种可复用的序列化与建模思路;注意力与 Mamba 混合专家动态路由也可迁移到其他多模态视觉任务。
M4V:面向高效文本到视频生成的多模态 Mamba
M4V: Multimodal Mamba for Efficient Text-to-Video Generation
用双向词元重排加视觉寄存器把 Mamba 的线性复杂度序列建模接入扩散式文生视频主干,在 768x1280 分辨率下比注意力方案省 45% 浮点运算量,可作为高分辨率视频生成中替代全局注意力的可复用模块。
GeoSemba:为医学图像分割重构跨范式表征的状态空间模型
GeoSemba: Reconstructing State Space Model for Cross Paradigm Representation in Medical Image Segmentation
把 Mamba 状态空间扫描从单一序列建模扩展为「几何-语义跨层交互 + 空间-通道跨维亲和」的双重精炼,对做医学分割或想把线性复杂度 SSM 用到密集预测的人,SSR 的几何条件区域传播与 CAR 的由粗到细亲和筛选都是可直接迁移的模块设计。
GEM:基于可变形 Mamba 的激光雷达世界模型生成
GEM: Generating LiDAR World Model via Deformable Mamba
把序列激光扫描与 Mamba 的选择性扫描机制对齐,并用三路可变形 Mamba 在解耦后的动态/静态 token 上做时空建模,为激光雷达点云生成式世界模型提供了一个可复用的骨干设计;其 BEV 布局控制器与规划器接口也便于把生成模型接入自动驾驶闭环仿真。
时间回响:解锁视频到音频生成模型中的长度泛化能力
Echoes Over Time: Unlocking Length Generalization in Video-to-Audio Generation Models
论文提出的非因果 Mamba 层次化架构,为视觉研究者提供了一种在测试时把短视频训练模型外推到长视频序列的思路,可直接迁移到长视频生成、长时序多模态对齐等需要长度泛化的场景。
蒸馏拟共形映射:一种可泛化且高效的广角校正方案
Distilling Quasi-Conformal Mapping: A Generalizable and Efficient Solution for Wide-Angle Correction
把拟共形映射的几何先验(Beltrami 能量 + 线结构/人体区域约束)做成无需标注的教师流程来生成校正光流标签,再用 Mamba 骨干 + soft-argmin 头蒸馏成单次前向的校正网络,可直接迁移到鱼眼/广角镜头畸变校正与光流式几何变换学习。
DetectSCI:面向高分辨率视频快照压缩成像的目标引导感兴趣区域重建
DetectSCI: Toward Object-Guided ROI Reconstruction for High-Resolution Video Snapshot Compressive Imaging
将目标检测引入SCI重建流程,仅对检测到的ROI进行高分辨率重建,为高分辨率视频SCI提供了一种可扩展的按需重建范式;其Mamba-隐式模块与频率Mamba查询选择机制可复用于其他需要从混叠测量中恢复判别性特征的底层视觉任务。
D$^2$-FOSA:双扩散引导的频域语义对齐脑电到图像重建
D$^2$-FOSA: Dual-Diffusion Guided EEG-to-Image Reconstruction with Frequency-Oriented Semantic Alignment
论文提出的双扩散潜变量生成器(DDLG)与频域导向的Mamba编码器,为跨模态生成(如EEG到图像)提供了可复用的双向条件扩散框架和频域特征建模思路,可启发视觉-脑信号对齐及基于扩散的语义重建研究。