Tag · 8 篇
视频重建
UniVBench:面向视频基础模型的统一评测
UniVBench: Towards Unified Evaluation for Video Foundation Models
为视频基础模型提供首个统一评测基准,涵盖理解、生成、编辑和重建四项任务,并引入智能体评估系统标准化提示、指令解析和评分,便于研究者公平比较统一视频模型。
面向模糊到视频分解的时间特化事件-图像对齐
Time-Specialized Event-Image Alignment for Blur-to-Video Decomposition
把事件相机的微秒级时序信息用相对时间编码注意力与时间面动态形变显式对齐到任意查询时刻,为从单张模糊图恢复高帧率视频提供了可复用的时序对齐范式,也可迁移到事件引导的插帧与去模糊任务。
SemVideo:通过分层语义引导从大脑活动中重建你所观看的内容
SemVideo: Reconstructs What You Watch from Brain Activity via Hierarchical Semantic Guidance
把分层语义提示(静态锚框描述、运动叙述、整体摘要)作为条件注入视频生成,并用三分支注意力融合重建运动模式,这套「语义引导 + 运动解耦」的思路可迁移到视频预测、条件视频生成与跨模态对齐任务。
Lumosaic:基于主动照明与编码曝光像素的高光谱视频
Lumosaic: Hyperspectral Video via Active Illumination and Coded-Exposure Pixels
把可编程窄带 LED 阵列与编码曝光像素(CEP)相机同步,在单帧内联合编码空间-时间-光谱信息,再用学习式重建恢复 31 通道高光谱视频;这套「主动照明 + 亚帧曝光编码 + 学习重建」的采集-重建联合设计,可为快照式光谱成像、动态场景计算成像提供可复用的硬件编码与重建思路。
光子间隔极限下的视频成像
Inter-Photon-Limited Videography
提出神经通量场(Neural Flux Fields),将光子到达的统计建模与神经网络先验结合,用于在光子间隔极限下重建动态场景视频,为极低光照或高速视频采集提供可复用方法。
CineBrain:用于脑条件视频生成的大规模多模态视听脑数据集
CineBrain: A Large-Scale Multi-Modal Audiovisual Brain Dataset for Brain-Conditioned Video Generation
该工作提出的多模态脑信号融合编码器与神经潜变量解码器,为视觉解码提供了可复用的跨模态对齐与融合范式;其同步fMRI-EEG数据集可用于研究听觉皮层激活如何增强视觉解码,对脑机接口和视觉神经科学交叉方向有直接参考价值。
连接大脑与语义:面向语义增强 fMRI 视频重建的分层框架
Bridging Brain and Semantics: A Hierarchical Framework for Semantically Enhanced fMRI-to-Video Reconstruction
把 fMRI 信号映射到同时包含文本语义、图像内容、动作概念与物体类别的联合嵌入空间,再用记忆库检索融合来约束视频生成,这套「语义富化 + 记忆检索」的两阶段思路可迁移到脑机解码之外的弱条件视频生成与跨模态检索增强生成。
AE2VID:基于光圈调制的事件视频重建
AE2VID: Event-based Video Reconstruction via Aperture Modulation
把光圈周期性调制当作主动事件源,在静态/低运动区域补出稠密事件,可直接用于事件相机高速视频重建与低纹理区域去噪;双分支分别处理运动触发与光圈触发事件的思路也可迁移到其他多模态事件融合任务。