Tag · 43 篇
时序一致性
WaTeRFlow:通过流一致性实现水印的时序鲁棒性
WaTeRFlow: Watermark Temporal Robustness via Flow Consistency
针对图像到视频(I2V)生成后水印检测失效的问题,提出用光流对齐加时序一致性损失来稳定逐帧水印预测,并借助视频扩散代理模型在训练中模拟真实失真;做生成内容溯源或水印鲁棒性评测的视觉研究者可直接复用这套训练与评测设定。
面向无约束第一人称视频的稳定自监督物体表征
Towards Stable Self-Supervised Object Representations in Unconstrained Egocentric Video
用帧内蒸馏加深度正则化从无标注第一人称视频中自举出稳定的『原型物体』表征,并用教师过滤的时序一致性维持身份,可直接迁移到无监督目标发现与自监督预训练的表征稳定化环节。
TimeBridge:基于首尾联合嵌入与中间帧预测的自监督视频表征学习
TimeBridge: Self-Supervised Video Representation Learning via Start-End Joint Embedding and In-Between Frame Prediction
用首尾帧的联合嵌入加轻量解码器重建中间帧,把「时序变换建模」变成可复用的自监督预训练目标,可直接迁移到视频分割、部件传播等密集预测任务的特征初始化。
TeFlow:为自监督前馈场景流估计实现多帧监督
TeFlow: Enabling Multi-frame Supervision for Self-Supervised Feed-forward Scene Flow Estimation
提出时序集成策略,从多帧候选池中聚合最一致的监督信号,可复用于任何需要从点对应中挖掘可靠监督的自监督3D任务,如场景流、光流或深度估计。
TALO:推动 3D 视觉基础模型走向全局一致的在线重建
TALO: Pushing 3D Vision Foundation Models Towards Globally Consistent Online Reconstruction
把 3D 基础模型逐窗口的前馈预测用薄板样条(TPS)做高自由度长程对齐,并用点无关的子图配准提升对噪声几何的鲁棒性;做在线/流式 3D 重建或需要跨时序窗口融合深度与位姿时可直接复用这套即插即用框架。
用于快速红外与可见光视频融合的流式扩散模型
Streaming Diffusion Model for Fast Infrared and Visible Video Fusion
将预训练扩散模型的生成先验蒸馏到单步采样框架,并用记忆增强的潜变量管道与时序聚合适配器保证视频帧间一致性,为视频复原/融合任务提供高效且时序稳定的扩散方案。
StoryTailor:面向动作丰富多主体视觉叙事的零样本流水线
StoryTailor:A Zero-Shot Pipeline for Action-Rich Multi-Subject Visual Narratives
GCA 用高斯加权注意力缓解多主体 grounding box 重叠,AB-SVR 在文本嵌入空间放大动作方向,SFC 缓存可迁移背景线索——三者都是可插拔的零样本模块,可直接迁移到多主体视频生成或长序列故事板生成中提升主体一致性与动作忠实度。
Stable Spike:基于按位与运算的脉冲神经网络双重一致性优化
Stable Spike: Dual Consistency Optimization via Bitwise AND Operations for Spiking Neural Networks
用按位与操作从多时间步脉冲图中解耦出稳定脉冲骨架,并以此作为一致性目标约束不稳定脉冲图,这一思路可迁移到任何需要跨时间步表征一致性的视觉模型(如视频/事件相机骨干网络)中,作为无需额外标注的表示正则手段。
通过动态特征归一化稳定流式视频几何
Stabilizing Streaming Video Geometry via Dynamic Feature Normalization
DyFN 通过动态调制潜变量特征的统计量(均值和方差)来稳定单目几何基础模型在流式输入下的尺度漂移,仅微调 2% 参数即可复用现有强模型,为视频深度估计和在线三维重建提供了一种轻量、因果的时序一致性方案。
基于单步扩散与语义时序引导的视频编码
Single-step Diffusion-based Video Coding with Semantic-Temporal Guidance
将单步扩散生成器与条件编码框架结合,利用缓冲特征提取帧自适应语义引导替代文本条件,并通过时序一致性引导增强帧间连贯性,为低码率视频压缩提供高效高感知质量的方案。
基于锚框语义感知与连续伪标签重铸的半监督超声心动图视频分割
Semi-supervised Echocardiography Video Segmentation via Anchor Semantic Awareness and Continuous Pseudo-label Reforging
针对医学视频中噪声和动态运动导致的边界模糊问题,提出可学习的锚框语义感知模块和连续伪标签重铸策略,可迁移到其他半监督视频分割任务中提升时序一致性和伪标签质量。
以高质量合成数据集扩展指令式视频编辑
Scaling Instruction-Based Video Editing with a High-Quality Synthetic Dataset
用「图像编辑器 + 上下文视频生成器 + 智能体过滤」的流水线批量合成百万级指令式视频编辑数据,并用蒸馏模型加时序增强器压低生成成本;做视频编辑或可控生成的人可以直接复用这套数据构造与课程学习训练范式。
STCDiT:时空一致的扩散 Transformer 用于高质量视频超分辨率
STCDiT: Spatio-Temporally Consistent Diffusion Transformer for High-Quality Video Super-Resolution
利用预训练视频扩散模型做视频超分时,通过运动感知的 VAE 分段重建和锚帧潜变量引导来提升结构保真度与时序稳定性,这套思路可直接迁移到其他基于扩散模型的视频复原任务(如去噪、去模糊)。
SPOT:面向运动稳定 MLLM 引导视频分割的时空提示词优化
SPOT: Spatiotemporal Prompt Optimization for Motion-Stabilized MLLM-Guided Video Segmentation
提出一种仅通过约束 MLLM 输出行为(布朗桥损失和几何感知提示词质量损失)来提升视频分割时序一致性的方法,无需视频预训练或架构修改,为利用静态图像训练的视觉基础模型处理动态视频任务提供了可复用的正则化思路。
SPARROW:在像素级视频多模态大模型中学习空间精度与时序指代一致性
SPARROW: Learning Spatial Precision and Temporal Referential Consistency in Pixel-Grounded Video MLLMs
针对视频 MLLM 中静态 [SEG] 词元缺乏时序上下文导致的漂移与身份切换问题,提出目标特定跟踪特征(TSF)注入时序对齐的指代线索,并用 [BOX]/[SEG] 双提示解码融合几何先验与语义定位;这套即插即用设计可直接迁移到任意视频 MLLM 的像素级指代任务上。
鲁棒的提示式视频目标分割
Robust Promptable Video Object Segmentation
把「记忆中的目标级表征」作为条件去门控低秩适配(LoRA 式)参数,使鲁棒化过程按被跟踪目标分别进行并保持时序一致;这套 memory-conditioned gated adaptation 可直接迁移到其他提示式视频模型(如 SAM2 类跟踪器)做测试时/轻量鲁棒适配。
RoadSceneBench:面向中层道路场景理解的轻量级基准
RoadSceneBench: A Lightweight Benchmark for Mid-Level Road Scene Understanding
为视觉语言模型在道路场景中的关系推理与结构一致性提供了轻量评测基准,并给出基于分层关系奖励传播与时序一致性的训练框架,可直接用于评估和提升 VLM 的空间与几何推理能力。
重新审视基于扩散模型的视频超分辨率:利用对齐特征提供稠密引导
Rethinking Diffusion Model-Based Video Super-Resolution: Leveraging Dense Guidance from Aligned Features
论文指出在特征域而非像素域做相邻帧信息补偿更有效,并给出「上采样分辨率下做warp更能保留高频但收益非单调」的实证结论;做视频复原/时序条件扩散的人可直接复用其光流引导warp模块与特征级时序条件注入方式,替代常见的像素域对齐+拼接。
重打光视频人像协调
Relightful Video Portrait Harmonization
提出基于视频扩散模型的重打光协调框架,利用去闪烁模型稳定逐帧协调结果以生成训练数据,并用非对称 alpha 掩码条件学习干净边界,可复用于视频编辑中的时序一致性与边界处理。
重建引导的槽课程:解决视频目标中心学习中的目标过分割问题
Reconstruction-Guided Slot Curriculum: Addressing Object Over-Fragmentation in Video Object-Centric Learning
针对槽注意力模型在视频目标中心学习中普遍存在的过分割问题,提出按重建误差逐步扩展槽容量的课程式训练策略,并配合结构感知损失与循环推理提升时序一致性;这套「按需分配表征容量」的思路可直接迁移到任何使用固定槽/查询数量的视频或图像密集预测模型(如 DETR 类查询、视频实例分割)。
ReScene4D:演化室内三维场景的时序一致语义实例分割
ReScene4D: Temporally Consistent Semantic Instance Segmentation of Evolving Indoor 3D Scenes
针对间歇性采集的室内 3D 扫描,提出时序稀疏 4D 语义实例分割任务,通过时空对比损失和序列化实现跨观测的实例身份关联,可直接用于动态室内场景的长期建图与变化检测。
RS-SSM:在状态空间模型中细化被遗忘的细节以用于视频语义分割
RS-SSM: Refining Forgotten Specifics in State Space Model for Video Semantic Segmentation
把 Mamba 类状态空间模型中固定尺寸状态导致的「遗忘」显式建模为可逆的遗忘门矩阵,并用通道级幅度感知做对齐,这一「反演遗忘门补全细节」的思路可直接迁移到视频分割、视频目标跟踪等需要长时序像素级一致性的任务。
保留源视频真实感:面向电影级画质的高保真换脸
Preserving Source Video Realism: High-Fidelity Face Swapping for Cinematic Quality
把参考引导图像编辑中的「参考图注入属性」思路迁移到视频换脸:用关键帧作为身份条件信号、用源视频作为参考引导,并通过时序拼接保证长视频的身份稳定与高保真重建,为长视频可控编辑提供了可复用的条件注入与时序缝合范式。
PoseAnything:具有部件感知时序一致性的通用姿态引导视频生成
PoseAnything: General Pose-guided Video Generation with Part-aware Temporal Coherence
把任意骨架(含非人类角色)作为运动条件注入视频扩散模型,并用部件级跨帧交叉注意力维持细粒度一致性;其解耦主体/相机运动的 CFG 正负锚点注入方式可直接迁移到其他可控视频生成任务中实现独立相机控制。
PTC-Depth:具有时序一致性的位姿精化单目深度估计
PTC-Depth: Pose-Refined Monocular Depth Estimation with Temporal Consistency
利用轮式里程计和光流三角化得到的稀疏深度,对预训练深度基础模型的相对深度做递归贝叶斯尺度校正,为视觉研究者提供了一种在连续帧间保持深度时序一致性的轻量级后处理框架。
OnlineHMR:基于视频的在线世界坐标人体网格恢复
OnlineHMR: Video-based Online World-Grounded Human Mesh Recovery
OnlineHMR 提供了一种完全在线的人体网格恢复框架,其因果键值缓存和滑动窗口学习策略可复用于其他需要流式推理的时序视觉任务,而增量式SLAM的世界坐标对齐方法为动态场景下的轨迹校正提供了新思路。
Object-WIPER:免训练的视频物体及其关联效果移除
Object-WIPER: Training-Free Object and Associated Effect Removal in Videos
利用预训练视频扩散 Transformer 的交叉注意力与自注意力定位目标物体及其效果,并通过反转-去噪流程在免训练条件下完成视频物体移除与修复,为视频编辑提供可复用的注意力引导与背景保持策略。
NOVA:稀疏控制与稠密合成的无配对视频编辑
NOVA: Sparse Control, Dense Synthesis for Pair-Free Video Editing
用稀疏用户编辑关键帧提供语义引导、稠密分支从原视频持续注入运动与纹理,配合退化模拟训练摆脱配对数据,可直接迁移到无配对视频编辑与长视频时序一致性建模。
MorphAny3D:释放结构化潜变量在三维变形中的力量
MorphAny3D: Unleashing the Power of Structured Latent in 3D Morphing
提出在 3D 生成器的注意力机制中混合源与目标 SLAT 特征来实现无训练 3D 变形,其 Morphing Cross-Attention 和 Temporal-Fused Self-Attention 可直接迁移到其他基于 SLAT 的生成模型(如 TRELLIS)以支持时序平滑的编辑与风格迁移。
注意铰接处:面向自动驾驶卡车的动态标定与铰接感知
Mind the Hitch: Dynamic Calibration and Articulated Perception for Autonomous Trucks
把铰接式卡车的车头-挂车相机外参从静态标定改为用跨视角+时序注意力在线回归 6-DoF 相对位姿,并直接替换 BEVFormer 的静态外参,为多相机 BEV 感知在基座随时间变化的场景(挂车形变、遮挡、快速折角)提供了可复用的动态标定模块与 CARLA 基准。
IP-Adapter 就够了:面向免微调扩散式说话人脸生成
IP-Adapter Is All You Need: Towards Fine-Tuning-Free Diffusion-Based Talking Face Generation
把 IP-Adapter 的视觉嵌入能力当作免微调的条件注入接口,配合无需训练参数的结构解耦与噪声先验抑制模块,为资源受限场景下的条件扩散生成提供了可复用的「冻结骨干+零参数控制」范式。
全局先验遇上局部一致性:面向高效机器人操作的双记忆增强视觉-语言-动作模型
Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation
用检索到的任务级先验替代高斯噪声来缩短扩散策略的生成路径,并用局部一致性记忆约束时序平滑,可直接迁移到视觉-语言-动作模型的少步动作生成与长程操作任务。
GEM-TFL:通过EM引导分解与时序精炼弥合弱监督与全监督伪造定位之间的差距
GEM-TFL: Bridging Weak and Full Supervision for Forgery Localization through EM-Guided Decomposition and Temporal Refinement
论文提出的基于EM的弱监督时序定位框架和图提案精炼模块,可迁移到视频动作定位、视频异常检测等需要从视频级标签学习帧级预测的视觉任务中。
FlowDirector:面向精确文本到视频编辑的免训练流引导
FlowDirector: Training-Free Flow Steering for Precise Text-to-Video Editing
提出免反演的视频编辑范式:直接在数据空间用 ODE 沿视频固有的时空流形演化,并用方向感知流校正、运动-外观解耦能量项、差分平均引导抑制伪影,可复用于任何基于扩散/流的视频编辑与可控生成管线,绕开反演误差。
EditCtrl:面向实时生成式视频编辑的解耦局部与全局控制
EditCtrl: Disentangled Local and Global Control for Real-Time Generative Video Editing
把视频编辑的计算量从全视频上下文收缩到掩码 token 上,再用轻量全局上下文嵌入器补回时序一致性,这个「局部优先 + 全局轻量引导」的分解思路可直接迁移到任何基于扩散/流模型的视频修复、物体移除或区域重绘管线中,并支撑实时自回归传播。
面向多目标跟踪的双层适应:从经验与直觉构建测试时校准
Dual-level Adaptation for Multi-Object Tracking: Building Test-Time Calibration from Experience and Intuition
把 TTA 从逐帧适应扩展到跨帧、跨视频的时序与身份关联层面:用瞬时记忆做快速关联预测,再用历史测试视频积累的经验对预测做再校准,可直接迁移到任何在线跟踪器(如 ByteTrack、BoT-SORT)的推理阶段以缓解外观/运动/类别分布漂移。
DiffusionHarmonizer:以在线扩散增强器连接神经重建与照片级真实感仿真
DiffusionHarmonizer: Bridging Neural Reconstruction and Photorealistic Simulation with Online Diffusion Enhancer
把预训练多步图像扩散模型蒸馏成单步、时序条件化的在线增强器,可直接套在 NeRF/3DGS 渲染结果之后做后处理,为神经重建的新视角伪影与插入物体光照不匹配提供可复用的实时修复方案。
Complet4R:几何完整的四维重建
Complet4R: Geometric Complete 4D Reconstruction
用 decoder-only Transformer 在整段视频上做全局注意力,把其他帧可见的遮挡区域直接累积到当前帧,从而在单次前向中同时完成动态场景重建与几何补全;这一「重建即补全」的范式可迁移到动态 NeRF/高斯泼溅的遮挡补全与长时序点跟踪。
面向医学视频诊断的临床依据反事实推理
Clinically-Grounded Counterfactual Reasoning for Medical Video Diagnosis
用扩散模型合成反事实组织演变视频,并通过时序一致性、病理可分性与反事实对齐三项约束学习表征,为数据稀缺下的视频诊断提供可复用的反事实增强与对比预测范式。
Catalyst4D:通过动态传播实现高保真 3D 到 4D 场景编辑
Catalyst4D: High-Fidelity 3D-to-4D Scene Editing via Dynamic Propagation
把静态 3D 编辑结果迁移到动态 4D 高斯场景时,可用「锚点 + 最优传输建立区域级对应」来传播形变,避免跨区域干扰与运动漂移;再用逐高斯颜色不确定性引导选择性外观精修,抑制遮挡导致的时序闪烁。这套锚点对应传播 + 不确定性引导精修的组合可直接复用到任何需要把编辑从规范帧扩散到整段序列的 4D/视频编辑管线。
所有车辆都可能说谎:通过伪随机贝叶斯推理在全不可信车辆协同感知中实现高效对抗防御
All Vehicles Can Lie: Efficient Adversarial Defense in Fully Untrusted-Vehicle Collaborative Perception via Pseudo-Random Bayesian Inference
针对全不可信车辆协同感知场景,提出利用时序感知差异和伪随机分组进行贝叶斯推理的防御框架,仅需每帧两次验证即可估计恶意车辆数量与身份,为车路协同感知的对抗鲁棒性提供了可复用的验证调度与推理机制。
4DSurf:高保真动态场景表面重建
4DSurf: High-Fidelity Dynamic Scene Surface Reconstruction
将高斯泼溅与符号距离函数流正则化结合,通过约束高斯运动对齐演化表面,为动态场景表面重建提供可复用技术;重叠分段策略可推广到其他大变形时序重建任务。
αMatte4K与μMatting:面向超微精度Alpha视频抠图的数据集与模型
$\alpha$Matte4K & $\mu$Matting: Dataset and Model for Ultra-Micro Precision Alpha Video Matting
提出分辨率无关的两阶段视频抠图框架,利用掩码自编码器定位粗哑光区域并用稀疏3D卷积精修,同时构建基于PBR的4K高质量数据集,为高分辨率视频抠图提供可复用的数据生成与模型设计思路。