Tag · 31 篇
状态空间模型
mVLM:面向 mNPU 的视觉语言模型
mVLM: A Vision Language Model for mNPUs
面向 NPU 端侧部署的轻量 VLM 架构:用纯 NPU 友好算子构建动态卷积编码器(全局空间调制)与 SSM 解码器,并配合编码器-解码器全参数协同量化,为视觉研究者提供在极端内存约束下压缩 VLM 并保持生成质量的工程与架构思路。
VIMCAN:基于混合 Mamba-交叉注意力网络的视觉-惯性三维人体姿态估计
VIMCAN: Visual-Inertial 3D Human Pose Estimation with Hybrid Mamba-Cross-Attention Network
用 Mamba 的选择性状态空间建模替代 Transformer 做时序建模、用交叉注意力补空间依赖,为视觉-惯性等多模态序列融合提供了一条线性复杂度、可实时(>60 FPS)的骨干设计思路,可直接迁移到其他需要长序列多模态融合的视觉任务。
VEMamba:基于轴向-横向一致 Mamba 的体电子显微镜高效各向同性重建
VEMamba: Efficient Isotropic Reconstruction of Volume Electron Microscopy with Axial-Lateral Consistent Mamba
将 Mamba 的选择性扫描按轴向-横向分块重排,把各向异性体电镜数据的 3D 依赖压成 1D 序列建模,这套 ALCSSM+DWAM 的重排聚合思路可直接迁移到其他轴向分辨率不足的 3D 医学/生物成像超分与去噪任务。
热扩散至关重要:基于热传导先验的红外时空视频超分辨率
Thermal Diffusion Matters: Infrared Spatial-Temporal Video Super-Resolution through Heat Conduction Priors
把热扩散/热传导方程当作视频超分中时序插帧与时空一致性的物理先验,并用频域扩散合成中间帧、用可学习谱滤波的选择性状态空间模型做时空精修,这套「物理方程约束 + 频域扩散 + SSM」的组合可迁移到其他低采样率视频复原任务。
扫描聚类而非像素:面向高效超高清图像复原的聚类中心范式
Scan Clusters, Not Pixels: A Cluster-Centric Paradigm for Efficient Ultra-high-definition Image Restoration
将像素级序列扫描替换为聚类中心序列扫描,为超高清图像复原提供线性复杂度且保留全局上下文的新范式,可迁移到其他需要处理海量像素的视觉任务。
基于状态空间建模与稀疏相关的可扩展特征匹配
Scalable Feature Matching via State Space Modeling and Sparse Correlation
用 Conv-Mamba 混合骨干网络以线性复杂度替代 Transformer 的长程建模,并用免训练范数过滤把全相关矩阵稀疏化,可直接迁移到任何需要高分辨率稠密/半稠密匹配的视觉流程(如光流、立体匹配、SLAM 前端)以降低显存与延迟。
面向行人重识别的 SSM 感知词元高效 VMamba:自适应图像块剪枝与合并
SSM-Aware Token-Efficient VMamba via Adaptive Patch Pruning and Merging for Person Re-Identification
把视觉状态空间模型(VMamba)中冗余的词元按层自适应剪枝、按深度合并,并学习逐层阈值来动态权衡精度与算力;做视觉主干加速的人可直接把这套结构化词元削减策略迁移到 ViT/SSM 类骨干上。
RS-SSM:在状态空间模型中细化被遗忘的细节以用于视频语义分割
RS-SSM: Refining Forgotten Specifics in State Space Model for Video Semantic Segmentation
把 Mamba 类状态空间模型中固定尺寸状态导致的「遗忘」显式建模为可逆的遗忘门矩阵,并用通道级幅度感知做对齐,这一「反演遗忘门补全细节」的思路可直接迁移到视频分割、视频目标跟踪等需要长时序像素级一致性的任务。
RNN 即线性 Transformer:对视觉 Mamba 模型表征潜力的深入考察
RNN as Linear Transformer: A Closer Investigation into Representational Potentials of Visual Mamba Models
把 Mamba 解释为 Softmax 注意力的低秩近似,并给出用二值分割指标定量评估激活图长程依赖能力的方法;做视觉骨干网络选型或可解释性分析时,可复用这套理论视角与评估协议。
RI-Mamba:面向鲁棒文本到形状检索的旋转不变 Mamba
RI-Mamba: Rotation-Invariant Mamba for Robust Text-to-Shape Retrieval
把旋转不变性直接做进 Mamba 状态空间模型的词元序列构造里(全局/局部参考系解耦位姿与几何 + Hilbert 排序),并用特征级线性调制回注朝向嵌入,这套线性时间、对任意朝向鲁棒的 3D 表征可直接迁移到点云分类、分割、配准等下游任务。
RAVEN:面向高效逐 chirp 目标检测与分割的雷达自适应视觉编码器
RAVEN: Radar Adaptive Vision Encoders for Efficient Chirp-wise Object Detection and Segmentation
对做车载雷达感知的人,这篇给出了一个可复用的思路:用可学习的天线混合模块把虚拟 MIMO 阵列压成紧凑特征,再配合标定过的提前退出规则做逐 chirp 推理,从而在雷达帧内只用部分 chirp 就出结果;这套「按需计算」的设定可直接迁移到其他时序传感器的高效感知骨干上。
PointCSP:自监督点云学习中的跨样本语义传播与稳定性保持
PointCSP: Cross-Sample Semantic Propagation and Stability Preservation in Self-Supervised Point Cloud Learning
把 batch 内多个场景点云串行化为连续序列、用状态空间模型做跨样本语义状态传播,为 3D 自监督预训练提供了一种突破「样本独立建模」的新范式;配套的非对称语义保持蒸馏可迁移到任何「预训练依赖 batch 组织、微调却是单样本」的表征学习场景。
城市场景分割中的开放词表域泛化
Open-Vocabulary Domain Generalization in Urban-Scene Segmentation
把状态空间模型(SSM)用于修正 VLM 在域偏移下的文本-图像相关性,这一思路可迁移到任何依赖 CLIP 类图文对齐的开放词表分割、检测任务中,用于缓解分布变化导致的图文错配。
OSA:基于正交化状态更新与解剖先验感知特征增强的超声心动图视频分割
OSA: Echocardiography Video Segmentation via Orthogonalized State Update and Anatomical Prior-aware Feature Enhancement
将循环状态更新约束在 Stiefel 流形上以避免秩坍缩,为视频分割中的时序建模提供稳定记忆机制;解剖先验感知的特征增强模块可分离散斑噪声,可迁移到其他医学视频分割任务。
多视图一致的三维高斯头部头像“无需”多视图生成
Multi-view Consistent 3D Gaussian Head Avatars 'without' Multi-view Generation
提出在 3D 高斯表示上直接施加多视图一致性约束的单次状态空间模型,无需多视图数据或中间视图合成,为单视图 3D 头像生成提供了可复用的 HiSS 块与 HiBiSS 扫描机制,以及基于 SE(3) 多视图评论器的自监督训练思路。
面向压缩感知的多尺度梯度引导展开架构与自适应 Mamba
Multi-Scale Gradient-Guided Unrolling Architecture with Adaptive Mamba for Compressive Sensing
把 Mamba 状态空间块嵌入 PGD 展开框架,用多尺度展开与高维梯度融合替代跨阶段同质化特征提取,为图像复原类逆问题提供兼顾全局感受野与效率的可解释网络骨架。
MambaSIC:基于 Mamba 与双向多参考熵模型的立体图像压缩
MambaSIC: Mamba-based Stereo Image Compression with Bi-directional Multi-reference Entropy Model
用 Mamba 状态空间块替代交叉注意力来建模立体视图间的冗余,并用棋盘格分区的双向多参考熵模型替代空间自回归,为视觉压缩类任务提供了「线性复杂度 + 并行熵编码」的可复用范式,可直接迁移到视频压缩、光场压缩等多视图场景。
Mamba 的上下文学习:面向多任务点云理解的结构感知域泛化
Mamba Learns in Context: Structure-Aware Domain Generalization for Multi-Task Point Cloud Understanding
用基于质心拓扑与测地曲率连续性构造的变换不变序列化替代坐标驱动的序列化,可缓解 Mamba 类点云模型对视角变化与缺失区域的敏感性;其谱域图对齐在测试时无需更新参数即可把目标特征拉向源原型,是一种可直接复用的测试时特征迁移手段。
MS-Temba:用于理解长未剪辑视频的多尺度时序 Mamba
MS-Temba: Multi-Scale Temporal Mamba for Understanding Long Untrimmed Videos
把 Mamba 状态空间模型用空洞(dilated)SSM 扩展到多尺度时序建模,为长视频密集重叠动作的边界定位提供了可复用的骨干设计;做长时序视频理解或需要长程依赖+细粒度细节兼顾的任务时,可借鉴其多尺度 SSM 分块与轻量融合器结构。
MARSS:基于模块化注意力与状态空间模型的雷达语义分割
MARSS: Radar Semantic Segmentation via Modular Attention and State Space Models
面向雷达距离-多普勒频率图这类各向异性、稀疏含噪输入,给出可复用的模块化设计:用轻量通道自注意力+深度可分离卷积编码噪声特征、用区域级注意力做多尺度融合、用状态空间模型结合轴向自注意力在解码端建模各向异性与时序一致性,可迁移到其他非相机模态的密集预测任务。
LightRR:一种用于单图像去反射的轻量级网络
LightRR: A Lightweight Network for Single Image Reflection Removal
把 DWT 频域分解与 Mamba 状态空间建模结合成非对称频域模块,在低分辨率子带上做长程依赖建模,为轻量化复原网络提供了可复用的频域-序列混合骨干设计;同时用知识蒸馏把大预训练编码器的表征迁移到小模型,是低算力部署场景下值得借鉴的训练范式。
面向多目标跟踪的超图-状态协同推理
Hypergraph-State Collaborative Reasoning for Multi-Object Tracking
将超图与状态空间模型结合,通过对象间协同推理增强运动估计,为遮挡和噪声下的多目标跟踪提供可复用的时空建模框架。
GeoSemba:为医学图像分割重构跨范式表征的状态空间模型
GeoSemba: Reconstructing State Space Model for Cross Paradigm Representation in Medical Image Segmentation
把 Mamba 状态空间扫描从单一序列建模扩展为「几何-语义跨层交互 + 空间-通道跨维亲和」的双重精炼,对做医学分割或想把线性复杂度 SSM 用到密集预测的人,SSR 的几何条件区域传播与 CAR 的由粗到细亲和筛选都是可直接迁移的模块设计。
Gamba:面向动作识别的基于 Mamba 的动态图拓扑学习图卷积网络
Gamba: Mamba-based graph convolutional network with dynamic graph topology learning for action recognition
用 Mamba 状态空间模型替代自注意力来学习骨架序列的动态邻接矩阵,为视觉中需要建模长程关节/节点关系的时序任务提供了一种计算复杂度更低的图拓扑学习范式。
FoSS:通过傅里叶-状态空间融合建模轨迹预测中的长程依赖与多模态不确定性
FoSS: Modeling Long-Range Dependencies and Multimodal Uncertainty in Trajectory Prediction via Fourier-State Space Integration
用离散傅里叶变换把轨迹拆成幅值(全局意图)与相位(局部变化)两支,再用线性复杂度的选择性状态空间模型(Coarse2Fine-SSM、SpecEvolve-SSM)替代二次复杂度的注意力,为多智能体轨迹预测提供了一条兼顾长程依赖与效率的可复用范式。
面向状态空间模型的无样本持续学习
Exemplar-Free Continual Learning for State Space Models
为视觉骨干网络(如基于 SSM/Mamba 的分类器)提供一种无需样本回放的持续学习正则化手段:直接约束 SSM 可观测子空间的无限时域状态演化,并用 O(n²) 的 Sylvester 方程求解替代 O(n³),可直接嵌入现有 CL 流程以缓解序列任务中的遗忘。
E-3DPSM:用于基于事件的自我中心3D人体姿态估计的状态机
E-3DPSM: A State Machine for Event-based Egocentric 3D Human Pose Estimation
将连续时间状态机与事件流对齐,为事件相机下的单目3D人体姿态估计提供了一种实时、抗自遮挡和时序抖动的建模范式,可迁移到其他事件驱动的连续运动估计任务。
DA-Mamba:学习域感知状态空间模型用于域自适应目标检测中的全局-局部对齐
DA-Mamba: Learning Domain-Aware State Space Model for Global-Local Alignment in Domain Adaptive Object Detection
用线性复杂度的状态空间模型(Mamba)替代 Transformer 的二次注意力,在骨干网络和检测头中分别插入图像级与实例级的全局建模模块,为跨域目标检测提供了一种可复用的全局-局部对齐范式,也可迁移到其他需要长程依赖的密集预测任务。
CrackSSM:通过动态扫描让状态空间模型重焕生机用于裂缝分割
CrackSSM: Reviving SSMs for Crack Segmentation via Dynamic Scanning
把 SSM 的静态多向扫描换成由高层语义方向响应驱动的动态词元重排,使裂缝相关区域在序列中相邻,这一思路可直接迁移到其他细长/不规则结构(血管、道路、裂纹)的分割与序列化建模;小波高频引导的解码也可作为边缘细化模块复用。
AKCMamba-YOLO:用于实时目标检测的选择性状态空间模型
AKCMamba-YOLO: Selective State Space Models For Real-Time Object Detection
将线性复杂度的选择性状态空间模型(SSM)引入YOLO架构,为实时目标检测提供替代注意力机制的全局建模方案,可复用于需要长程依赖但计算受限的检测场景。
AIMDepth:面向单目深度估计的非对称图像-事件 Mamba
AIMDepth: Asymmetric Image-Event Mamba for Monocular Depth Estimation
把 Mamba/状态空间模型引入图像-事件跨模态融合,用线性复杂度做长序列深度估计;其「输入级先验注入 + 非对称双编码器 + 特征级对齐」的三段式融合流程,可直接迁移到其他稀疏-稠密模态配对(如 LiDAR-相机、事件-帧)的融合任务。