Tag · 5 篇
因果注意力
SLARM:面向动态场景的流式与语言对齐重建模型
SLARM: Streaming and Language-Aligned Reconstruction Model for Dynamic Scenes
SLARM 将语言对齐的语义特征与动态重建紧耦合,并采用窗口因果注意力实现低延迟流式推理,为动态场景重建提供了无需光流监督的高阶运动建模方案,可直接用于需要实时语义查询的 3D 重建任务。
RnG:面向部分观测下完整三维建模的统一 Transformer
RnG: A Unified Transformer for Complete 3D Modeling from Partial Observations
把 KV-cache 当作隐式三维表示、用重建引导的因果注意力在注意力层面分离已观测与未观测区域,这一思路可直接迁移到稀疏视角重建、新视角合成以及任何需要「补全未见几何」的前馈三维模型。
PortraitDirector:面向可控实时人脸重演的分层解耦框架
PortraitDirector: A Hierarchical Disentanglement Framework for Controllable and Real-time Facial Reenactment
把面部运动拆成空间层(头姿+局部表情)与语义层(情绪)再重组为运动潜码,配合扩散蒸馏与因果注意力实现 20FPS 流式人脸重演,为可控人脸编辑提供了可复用的分层解耦与实时化方案。
MoRe:运动感知的前馈 4D 重建 Transformer
MoRe: Motion-aware Feed-forward 4D Reconstruction Transformer
用 attention-forcing 与分组因果注意力把动态运动从静态结构中解耦,为单目视频下的前馈式动态重建提供了可复用的训练策略与注意力设计,可直接迁移到动态 NeRF/3DGS 的快速推理场景。
视频扩散模型中的因果性可与去噪分离
Causality in Video Diffusers is Separable from Denoising
把视频扩散模型中的时序因果推理与多步去噪解耦:用因果 Transformer 编码器每帧只做一次时序建模,再用轻量扩散解码器做逐帧多步渲染,可直接迁移到自回归视频扩散的加速与架构改造。