Tag · 54 篇
事件相机
x^2-Fusion:事件边缘空间中的跨模态与跨维度流估计
x^2-Fusion: Cross-Modality and Cross-Dimension Flow Estimation in Event Edge Space
把事件相机输出的时空边缘当作统一的潜空间锚点,让图像与激光雷达特征显式对齐到同一表示,再做可靠性感知的自适应融合;这套「以事件边缘场为共享潜空间」的思路可直接迁移到其他多传感器融合任务(如深度补全、BEV 感知),跨维度对比学习也可用于耦合 2D 与 3D 运动估计。
eRetinexGS:通过事件流与 3D 高斯泼溅进行 Retinex 建模的低光照场景增强
eRetinexGS: Retinex Modeling for Low-Light Scene Enhancement via Event Streams and 3D Gaussian Splatting
把 Retinex 的反射率-光照分解嵌入 3DGS 的辐射场优化,并用事件流提供高动态范围几何/光度约束,为低光照新视角合成与场景重建提供了一套可复用的多视图一致性框架。
基于事件相机的无监督3D运动估计
Unsupervised 3d Motion Estimation Using Event Camera
利用事件相机的高时序分辨率和投影中的时空膨胀/收缩模式,为无监督3D运动估计(光流+深度运动)提供几何线索,可复用于事件相机下的运动估计与深度感知任务。
面向无人机目标检测的三模态融合Transformer
Tri-Modal Fusion Transformers for UAV-based Object Detection
MAGE 的通道-空间门控与 BiTE 的双向词元级注意力提供了一套可复用的多模态融合模块,可直接插入 ViT 编码器的指定深度;其 61 组消融对融合位置与融合机制的对比,为设计多传感器检测骨干网络提供了实证参考。
通过事件衍生的瞬态线索实现严重遮挡下的跟踪
Tracking through Severe Occlusion via Event-Derived Transient Cues
将事件相机微秒级时间戳用于帧间位移预测的双向运动一致性约束,并用高斯掩码模拟遮挡退化来学习不变外观表征,为严重遮挡下的跟踪提供了可复用的事件-帧融合与遮挡增广思路。
走向持续性:学习拓扑约束用于基于事件的小目标检测
Towards Persistence: Learning Topological Constraints for Event-based Small Object Detection
针对事件相机数据中的小目标检测,提出拓扑学习模块和空间一致性模块来约束时空轨迹的连续性,并设计拓扑感知损失函数,为事件流上的目标检测与轨迹完整性提供了可复用的建模思路。
面向模糊到视频分解的时间特化事件-图像对齐
Time-Specialized Event-Image Alignment for Blur-to-Video Decomposition
把事件相机的微秒级时序信息用相对时间编码注意力与时间面动态形变显式对齐到任意查询时刻,为从单张模糊图恢复高帧率视频提供了可复用的时序对齐范式,也可迁移到事件引导的插帧与去模糊任务。
TTAPFormer:通过瞬态异步融合帧与事件实现鲁棒的任意点跟踪
TTAPFormer: Robust Arbitrary Point Tracking via Transient Asynchronous Fusion of Frames and Events
提出瞬态异步融合机制,用连续事件流更新离散帧间的时序演化,解决帧-事件异步融合的时序错位问题;跨模态局部加权融合模块根据模态可靠性自适应调整空间注意力,为多模态融合在模糊/低光下的鲁棒性提供可复用思路。
SpikeTrack:基于脉冲神经网络的高性能节能事件相机目标跟踪
SpikeTrack: High-performance and Energy-efficient Event-Based Object Tracking with Spiking Neural Network
把纯脉冲驱动的 SNN 骨干与 DI-LIF 自适应整数激活结合,用于事件相机单目标跟踪;其 MSST 训练范式(多搜索序列配单模板)可作为事件数据上时序依赖建模与低功耗推理的可复用方案。
脉冲驱动的离散聚合用于事件相机目标检测
Spike-driven Discrete Aggregation for Event-based Object Detection
把事件流到稠密张量的表征聚合从「无差别累积」改成「阈值触发的离散选择」,用门控循环脉冲神经元实现可微的稀疏事件筛选,可直接替换事件检测/识别流水线中的事件体素化或时间聚合前端。
穿透明暗:基于传感器物理建模的单曝光图像与事件去模糊 HDR 神经辐射场
Seeing through Light and Darkness: Sensor-Physics Grounded Deblurring HDR NeRF from Single-Exposure Images and Events
把相机响应函数(CRF)与事件传感器响应模型显式嵌入 NeRF 优化,用物理传感器模型对齐渲染值与 LDR 观测,这一思路可直接迁移到事件相机、卷帘快门、RAW 域等存在传感器非线性失配的重建与逆渲染任务。
从极性看运动:面向事件相机动作识别的极性知识增强框架
Seeing Motion Through Polarity for Event-based Action Recognition
把事件相机的正负极性显式解耦为运动线索,并用大语言模型对极性诱导的运动动态做语义推理,再与视觉特征对齐;这套『极性分支+语言推理+跨模态对齐』的做法可迁移到任何事件流或高动态场景的时序理解任务。
从视觉基础模型扩展密集事件流预训练
Scaling Dense Event-Stream Pretraining from Visual Foundation Models
提出结构感知蒸馏损失,利用视觉基础模型(VFM)的语义结构作为监督信号,解决事件流与图像跨模态对齐中的语义坍缩问题,可复用于其他模态(如事件、深度、热成像)与VFM的对齐预训练。
SMV-EAR:将时空多视图表征学习引入高效事件相机动作识别
SMV-EAR: Bring Spatiotemporal Multi-View Representation Learning into Efficient Event-Based Action Recognition
把事件流沿 H/W 轴投影成平移不变的稠密多视图表征,并用双分支动态融合建模样本级互补性,这套 SMVRL 设计可直接迁移到任何需要从稀疏异步事件中提取时空特征的视觉任务(如事件相机上的检测、跟踪、姿态估计)。
SDTrack:基于脉冲神经网络的事件相机跟踪基线
SDTrack: A Baseline for Event-based Tracking via Spiking Neural Networks
把全脉冲驱动的 SNN 骨干网络与 Transformer 跟踪头组合成端到端跟踪管线,并用 Global Trajectory Prompt 把全局轨迹信息聚合进事件帧,为在事件相机上做低功耗时序跟踪提供了可复用的架构与事件帧构造思路。
基于 RGB-事件的行人属性识别:一个基准数据集与一个非对称 RWKV 融合框架
RGB-Event based Pedestrian Attribute Recognition: A Benchmark Dataset and An Asymmetric RWKV Fusion Framework
提供了首个大规模 RGB-Event 配对的行人属性识别数据集与基准,并给出基于 RWKV 的非对称融合基线,可直接用于研究事件相机与 RGB 的跨模态融合、低光照与运动模糊场景下的视觉识别。
RE-VLM:事件增强的视觉语言模型用于场景理解
RE-VLM: Event-Augmented Vision-Language Model for Scene Understanding
将事件相机作为补充模态引入视觉语言模型,通过双流编码器和渐进式训练对齐异构特征,为低光照、高动态范围等挑战性场景下的视觉语言理解提供了可复用的多模态融合方案。
一次光流,任意时刻帧:面向事件相机视频帧插值的双向扭曲框架
One-Shot Flow, Any-Time Frame: A Bidirectional Warping Framework for Event-Based Video Frame Interpolation
提出一次性计算双向光流轨迹、任意时刻查询光流的框架,对事件相机视频插值和高效光流估计有直接参考价值,可复用于需要任意时刻运动表示的时序任务。
NEC-Diff:面向极端黑暗运动场景的噪声鲁棒事件-RAW 互补扩散模型
NEC-Diff: Noise-Robust Event-RAW Complementary Diffusion for Seeing Motion in Extreme Darkness
对做低光照成像与事件相机融合的研究者,这篇提供了两个可复用思路:用 RAW 的线性光响应与事件亮度变化构造物理约束做双模态去噪,以及基于去噪结果动态估计两模态 SNR 来引导自适应特征融合并注入扩散采样过程。
面向事件相机运动分割的运动边界归属
Moving Border Ownership for Event-based Motion Segmentation
把运动分割重新表述为「运动边界归属」预测:用有符号距离场编码边界朝向与前景归属,并以 Blender 合成事件提供完美监督,使模型在真实事件数据集上零样本迁移;这一「边界归属场 + 合成监督」思路可迁移到事件相机上的光流、遮挡推理与目标分割。
MER-Tracker:基于多视角事件-RGB 混合相机的高速 3D 点跟踪
MER-Tracker: Towards High-Speed 3D Point Tracking via Multi-View Event-RGB Hybrid Cameras
用事件相机的高时间分辨率弥补 RGB 低帧率,通过线性插值与锚框采样在 3D 提升后融合离散 RGB 特征与连续事件特征,为高速运动下的长时 3D 点轨迹估计提供了可复用的多模态融合范式。
LiREC-Net:一种面向激光雷达、RGB 与事件数据的无标定板学习式标定网络
LiREC-Net: A Target-Free and Learning-Based Network for LiDAR, RGB, and Event Calibration
提出一种无标定板、学习式的三模态联合标定框架,用共享的激光雷达表示(3D 特征 + 投影深度图)统一处理激光雷达-RGB、激光雷达-事件、RGB-事件等模态对,可直接复用于自动驾驶多传感器融合前的在线外参对齐。
在多模态大语言模型中用事件流学习看穿极端光照
Learning to See through Illumination Extremes with Event Streaming in Multimodal Large Language Models
把事件流作为与 RGB 互补的模态接入 MLLM,并用 DINOv2 分支导出的可学习光照指示信号自适应调制融合权重,同时用潜空间对齐损失把退化特征拉回正常光照语义——这套「退化感知的模态门控 + 潜空间语义对齐」可直接迁移到低光、过曝、夜间等视觉任务的特征融合设计中。
基于事件的高质量高效湍流抑制
High-Quality and Efficient Turbulence Mitigation with Events
把事件相机的微秒级时序信息当作运动与结构先验,用极性加权梯度做场景细化、用事件管(event tube)约束把动态物体从湍流扰动中解耦,从而在极少帧下完成复原;这套「事件先验 + 少帧复原」思路可直接迁移到低光照、去模糊、视频稳定等时序退化复原任务。
几何-光度事件式三维高斯光线追踪
Geometric-Photometric Event-based 3D Gaussian Ray Tracing
将事件式 3DGS 的渲染解耦为逐事件深度光线追踪与基于扭曲事件图像的快照式辐射渲染两条分支,使稀疏事件的高时序信息能被细粒度利用;这一「几何/光度分离 + 光线追踪」思路可迁移到其他事件相机或稀疏观测下的三维重建与新视角合成工作。
从事件到清晰:事件引导的扩散框架用于去雾
From Events to Clarity: The Event-Guided Diffusion Framework for Dehazing
将事件相机的高动态范围(HDR)和微秒级延迟特性引入去雾任务,通过事件引导模块将稀疏事件特征映射到扩散潜变量空间,为生成过程提供精确的结构条件,缓解语义漂移。该思路可推广到其他低层视觉任务(如低光照增强、运动去模糊)中,利用事件相机弥补RGB帧动态范围不足的问题。
从角点到基准标记:重新审视事件相机的棋盘格标定
From Corners to Fiducial Tags: Revisiting Checkerboard Calibration for Event Cameras
对做事件相机标定或多传感器标定的视觉研究者,这篇给出了不依赖灰度重建、直接从事件流检测棋盘格角点与 AprilTag 的流程:用边缘事件初始化角点,再向低事件密度区域迭代细化到亚像素,可直接用于事件-帧相机外参标定与遮挡场景下的标记检测。
从对比到一致性:重新思考基于事件的连续时间光流估计
From Contrast to Consistency: Rethinking Event-based Continuous-Time Optical Flow Estimation
用时空结构一致性替代纯对比度最大化来约束事件相机光流,并给出从监督点约束到自监督流形正则的课程式混合训练流程,可直接迁移到事件相机或高帧率视频的连续运动估计。
FlashCap:基于闪烁 LED 与事件视觉的毫秒级精确人体运动捕捉
FlashCap: Millisecond-Accurate Human Motion Capture via Flashing LEDs and Event-Based Vision
用闪烁 LED 作为事件相机的高频时间戳信号源,配合 RGB 学习残差姿态,为高时序分辨率人体姿态估计提供了一套低成本、可复用的数据采集与建模范式。
FastEventDGS:面向单事件相机快速动态场景的可变形高斯泼溅
FastEventDGS: Deformable Gaussian Splatting for Fast Dynamic Scenes from a Single Event Camera
仅用单目事件相机即可完成动态场景的4D重建,其连续相机轨迹参数化与局部图像块事件运动损失可迁移到其他基于事件或稀疏输入的动态高斯泼溅工作中,用于抑制过拟合并提供几何约束。
EventHub:无需主动传感器的可泛化事件立体网络数据工厂
EventHub: Data Factory for Generalizable Event-Based Stereo Networks without Active Sensors
利用新视角合成从普通彩色图像生成代理标注和代理事件,从而无需主动传感器即可训练事件立体网络,这种数据工厂思路可迁移到其他缺乏真值的传感器模态(如事件光流、事件深度)。
EventGait:面向事件流的鲁棒步态识别
EventGait: Towards Robust Gait Recognition with Event Streams
把事件相机引入步态识别,用脉冲专家混合(MoSE)建模微秒级动态、用跨模态结构对齐(CroSA)借助大视觉基础模型蒸馏稠密形状表征,为低光照/高动态场景下的人体运动识别提供了可复用的双流事件表征方案。
EventDrive:面向视觉-语言驾驶智能的事件相机
EventDrive: Event Cameras for Vision-Language Driving Intelligence
将事件相机异步流与RGB帧通过多尺度事件金字塔和模态路由混合专家融合,为视觉语言模型提供高时序精度和运动感知,可借鉴到需要低延迟、高动态范围的多模态推理任务中。
Event6D:基于事件相机的新物体 6D 位姿跟踪
Event6D: Event-based Novel Object 6D Pose Tracking
用事件流在深度帧之间重建稠密强度与深度,为高速运动下的 6D 位姿跟踪提供几何与光度线索;其「以最近深度为条件、双重建事件」的思路可迁移到事件相机驱动的 SLAM、抓取位姿跟踪与高速场景重建。
基于事件的视觉形变测量
Event-based Visual Deformation Measurement
将事件流的时间稠密运动线索与帧的空间稠密估计融合,并用分片线性化(AIS)与邻域贪心优化抑制稀疏噪声事件带来的运动歧义和长期跟踪误差累积,为高动态场景下的稠密对应与形变跟踪提供了可复用范式。
基于事件的无配对数据运动去模糊
Event-based Motion Deblurring with Unpaired Data
提出无配对事件去模糊框架,利用事件物理先验和生成式模糊建模,为缺乏配对数据的底层视觉任务提供可复用思路。
事件-光照协同的低光照图像增强与高分辨率真实世界数据集
Event-Illumination Collaborative Low-light Image Enhancement with a High-resolution Real-world Dataset
事件相机与图像融合的低光照增强框架,其光照感知事件滤波(IAEF)和事件-光照协同交互(EICI)模块可复用于其他事件-图像融合任务;同时发布的首个高分辨率真实事件-图像配对数据集为事件视觉研究提供基准。
基于任务导向三维高斯事件表征的事件相机运动去模糊
Event-Based Motion Deblurring Using Task-Oriented 3D Gaussian Event Representations
把事件流用可学习的3D高斯核聚合成对运动方向和速度敏感的局部运动特征,替代手工事件表征(如事件帧、体素网格),可直接迁移到其他事件相机+RGB的底层视觉任务(去模糊、插帧、HDR重建)中作为事件编码前端。
事件结构谷:事件相机自动对焦的统一理论与实践框架
Event Structural Valley: A Unified Theoretical and Practical Framework for Event Camera Autofocus
提出事件率曲线在真实对焦处出现局部极小值的反直觉现象,并给出基于双峰约束的谷值检测方法,可启发基于事件相机的低层视觉任务(如去模糊、深度估计)利用事件率结构而非峰值进行状态估计。
基于概率通量估计的事件流滤波
Event Stream Filtering via Probability Flux Estimation
把事件流建模为辐照度轨迹随机扩散产生的阈值穿越概率通量,用核方法做非参数估计并以 O(1) 递归求解器实时重建连续事件密度流,可作为事件相机前端去噪模块直接接入下游重建或运动估计流程。
EV-CGNet:共视聚焦的3D引导2D事件关键点检测网络
EV-CGNet: Co-visible Focused 3D-guided 2D Event Keypoint Detection Network
事件相机关键点检测与描述子学习可复用于跨模态/跨视角匹配任务;其共视区域聚焦检测思路可迁移到任何需要抑制非重叠区域误检的匹配流程(如宽基线立体、多相机标定)。
E2EGS:面向无位姿三维重建的事件到边缘高斯泼溅
E2EGS: Event-to-Edge Gaussian Splatting for Pose-Free 3D Reconstruction
把事件流中的边缘结构作为几何先验,替代对已知位姿或预训练深度模型的依赖,实现纯事件输入下的无位姿高斯泼溅重建与轨迹估计;其基于 patch 局部方差的时空一致性去噪提边思路,可直接迁移到事件相机 SLAM、高速运动或弱光场景的视觉里程计前端。
E-3DPSM:用于基于事件的自我中心3D人体姿态估计的状态机
E-3DPSM: A State Machine for Event-based Egocentric 3D Human Pose Estimation
将连续时间状态机与事件流对齐,为事件相机下的单目3D人体姿态估计提供了一种实时、抗自遮挡和时序抖动的建模范式,可迁移到其他事件驱动的连续运动估计任务。
深度假设引导的迭代细化用于事件-图像单目深度估计
Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation
把连续深度回归转成基于离散深度假设体积的约束搜索,并用轻量多尺度相关代价体积做全局到局部的迭代残差细化,这一思路可直接迁移到其他病态回归任务(如光流、法向、表面重建)以及事件-图像融合的稠密预测中。
DarkShake-DVS:低光照与相机抖动条件下基于事件相机的人体动作识别
DarkShake-DVS: Event-based Human Action Recognition under Low-light and Shaking Camera Conditions
用事件相机+IMU的非线性warping做运动补偿,把6-DoF抖动下的低光事件流重建为稳定输入,再接四阶段混合时空特征提取;对做事件视觉、视频动作识别和抖动视频稳定化的研究者提供了可复用的补偿前端与配套基准。
DSERT-RoLL:面向多样驾驶条件的鲁棒多模态感知——立体事件-RGB-热成像相机、4D雷达与双LiDAR
DSERT-RoLL: Robust Multi-Modal Perception for Diverse Driving Conditions with Stereo Event-RGB-Thermal Cameras, 4D Radar, and Dual-LiDAR
为事件相机、4D雷达、热成像等新传感器提供了带2D/3D框与轨迹ID的多模态驾驶数据与统一基准,可直接用于研究跨传感器家族的融合策略与恶劣天气下的3D检测鲁棒性。
DIMOS:解耦实例级运动目标分割
DIMOS: Disentangling Instance-level Moving Object Segmentation
双解耦特征提取把图像与事件模态各自拆成外观流和运动流,再配合多粒度跨模态对齐做融合;这套「先解耦再对齐」的流程可直接迁移到其他事件-图像融合任务(如事件辅助的检测、深度估计),也为小目标运动分割提供了可复用的特征增密思路。
Coded-E2LF:从事件重建编码孔径光场
Coded-E2LF: Coded Aperture Light Field Imaging from Events
用编码孔径 + 纯事件相机采集并重建 4D 光场,为事件相机做稠密 4D 光场/新视角重建提供了无需强度图像的硬件方案与重建思路,可迁移到事件驱动的新视角合成与深度估计。
面向事件-帧非对称立体的双向跨模态提示
Bidirectional Cross-Modal Prompting for Event-Frame Asymmetric Stereo
把事件与帧两种模态各自投影到对方域、在目标规范空间做细粒度对齐的双向提示思路,可直接迁移到其他跨模态立体匹配或跨传感器融合的稠密对应任务中,缓解模态鸿沟导致的域特有线索被边缘化问题。
BiEvLight:面向低光照图像增强的任务感知事件精炼双层学习
BiEvLight: Bi-level Learning of Task-Aware Event Refinement for Low-Light Image Enhancement
将事件去噪建模为受增强任务约束的双层优化问题,使去噪网络学习到面向下游增强的事件表征,这一思路可迁移到其他多模态融合任务中,避免静态预处理带来的过/欠去噪权衡。
自适应时空窗口:释放事件相机在异构速度场景中的潜力
Adaptive Spatial-Temporal Window: Unlocking the Potential of Event Cameras in Heterogeneous Velocity Scenarios
提出基于最大熵原理的事件流自适应时空窗口划分策略,可替代固定时间/固定计数的事件分组方式,直接用于事件相机下游任务(如目标检测、跟踪)的预处理环节,提升异构速度场景下的特征质量。
ARES:统一非对称 RGB-事件双目以实现概率化场景流估计
ARES: Unifying Asymmetric RGB-Event Stereo for Probabilistic Scene Flow Estimation
用事件相机与 RGB 构成非对称双目,并通过跨视角约束下的多模态上下文注意力构建统一对应空间,再以时序视差后验融合做概率化场景流推断,为高速动态场景的三维运动估计提供了可复用的融合与概率建模思路。
AIMDepth:面向单目深度估计的非对称图像-事件 Mamba
AIMDepth: Asymmetric Image-Event Mamba for Monocular Depth Estimation
把 Mamba/状态空间模型引入图像-事件跨模态融合,用线性复杂度做长序列深度估计;其「输入级先验注入 + 非对称双编码器 + 特征级对齐」的三段式融合流程,可直接迁移到其他稀疏-稠密模态配对(如 LiDAR-相机、事件-帧)的融合任务。
AE2VID:基于光圈调制的事件视频重建
AE2VID: Event-based Video Reconstruction via Aperture Modulation
把光圈周期性调制当作主动事件源,在静态/低运动区域补出稠密事件,可直接用于事件相机高速视频重建与低纹理区域去噪;双分支分别处理运动触发与光圈触发事件的思路也可迁移到其他多模态事件融合任务。