Tag · 75 篇
Transformer
从单张图像零样本重建具有布料动力学的可动画 3D 化身
Zero-Shot Reconstruction of Animatable 3D Avatars with Cloth Dynamics from a Single Image
提出基于 Transformer 的前馈架构直接预测动态 3D 高斯形变,结合静态到动态的知识迁移与 LoRA 微调,为单图人体化身重建提供可复用的零样本方案;DynaFlow 损失利用光流引导几何线索,可迁移至其他动态重建任务。
面向前馈高斯泼溅的 Z-Order Transformer
Z-Order Transformer for Feed-Forward Gaussian Splatting
将无序高斯点集通过 Z-order 曲线序列化,并用稀疏注意力建模空间与语义关系,为前馈式 3DGS 提供了一种可复用的高效上下文建模与冗余压缩方案。
当 Transformer 遇见 Mamba:一种用于视频目标检测的混合 Transformer-Mamba 网络
When Transformers Meet Mamba: A Hybrid Transformer-Mamba Network for Video Object Detection
将 Mamba 的线性复杂度长序列建模能力与 Transformer 的长程依赖建模能力结合,用于视频目标检测中的跨帧特征聚合;其空间自适应可变形 Transformer 编码器和时序级联双向 Mamba 编码器可作为通用模块迁移到其他需要长时序建模的视频任务中。
Wave-Former:基于无线形状补全的穿透遮挡三维重建
Wave-Former: Through-Occlusion 3D Reconstruction via Wireless Shape Completion
把视觉中的形状补全范式迁移到毫米波点云上,用三阶段流水线(候选表面生成→Transformer 补全→熵引导选择)解决穿透遮挡后的稀疏高噪点云补全问题;其纯合成训练、真实数据泛化的设定,对做稀疏/噪声点云补全和跨域泛化的视觉研究者有直接借鉴价值。
VIAFormer:用于高保真体素细化的体素-图像对齐 Transformer
VIAFormer: Voxel-Image Alignment Transformer for High-Fidelity Voxel Refinement
把标定多视图图像作为条件来修复不完整噪声体素,其 Image Index 为 2D 图像 token 注入显式 3D 空间定位、Correctional Flow 直接学习体素细化轨迹,可作为视觉基础模型输出(如单目/多视图重建体素)的后处理精修模块复用。
基于标记表示的统一矢量户型图生成
Unified Vector Floorplan Generation via Markup Representation
把户型图编码成结构化标记语言后统一为下一词元预测,这种「用单一序列语法统一异构条件」的思路可迁移到布局生成、场景图到图像等需要多条件输入的可控生成任务。
UniMERNet:面向真实世界数学表达式识别的通用网络
UniMERNet: A Universal Network for Real-World Mathematical Expression Recognition
提出 Raster-Scan Attention,将全局注意力的 O(NH²W²D) 复杂度降至 O(NHWD(H+W)),可复用于其他需要处理长序列的视觉任务(如场景文本识别、文档理解),在保持精度的同时大幅降低显存和加速推理。
UniCorrn:跨 2D 与 3D 的统一对应 Transformer
UniCorrn: Unified Correspondence Transformer Across 2D and 3D
用共享权重的双流解码器(外观流+位置流)统一 2D-2D、2D-3D、3D-3D 匹配,可直接复用到跨模态特征匹配与点云配准的特征融合与查询式对应估计环节。
UDAPose:面向低光照人体姿态估计的无监督域自适应
UDAPose: Unsupervised Domain Adaptation for Low-Light Human Pose Estimation
针对低光照姿态估计,用基于直流高通滤波(DHF)与低光照特征注入模块(LCIM)的合成管线生成逼真低光训练图像,并在 Transformer 中用动态注意力控制(DCA)在图像线索不可靠时回退到姿态先验——这套「合成域+注意力门控」思路可直接迁移到其他低质成像下的关键点/稠密预测任务。
脉冲 Transformer 中的时序交互与多延迟混合器
Temporal Interaction in Spiking Transformers with Multi-Delay Mixer
MD-Mixer 作为即插即用模块替换脉冲 Transformer 中的空间自注意力,为事件相机等神经形态视觉输入提供显式时序混合,可直接用于事件驱动视觉骨干网络的改造。
TWEO:无极端离群值的 Transformer 实现 FP8 训练与傻瓜式量化
TWEO: Transformers Without Extreme Outliers Enables FP8 Training And Quantization For Dummies
TWEO 通过一个简单的损失项消除激活离群值,使 ViT 和 LLM 无需工程技巧即可进行全模型 FP8 预训练,并支持硬件友好的 W8A8 静态量化,为视觉 Transformer 的低精度训练与部署提供了可直接复用的方法。
TTAPFormer:通过瞬态异步融合帧与事件实现鲁棒的任意点跟踪
TTAPFormer: Robust Arbitrary Point Tracking via Transient Asynchronous Fusion of Frames and Events
提出瞬态异步融合机制,用连续事件流更新离散帧间的时序演化,解决帧-事件异步融合的时序错位问题;跨模态局部加权融合模块根据模态可靠性自适应调整空间注意力,为多模态融合在模糊/低光下的鲁棒性提供可复用思路。
基于对抗展开与数据驱动光谱正则化的光谱超分辨率:从多光谱卫星数据到 NASA 高光谱图像
Spectral Super-Resolution via Adversarial Unfolding and Data-Driven Spectrum Regularization: From Multispectral Satellite Data to NASA Hyperspectral Image
把深度展开网络与数据驱动先验网络(PriorNet)结合,并在展开架构中嵌入对抗判别器,使判别器在训练与测试阶段都参与重建;这一「展开对抗学习」思路可迁移到其他病态逆问题(如去噪、去模糊、超分辨率)中,用轻量先验网络替代隐式深度先验以大幅降低 MACs 与参数量。
SparseWorld-TC:轨迹条件稀疏占用世界模型
SparseWorld-TC: Trajectory-Conditioned Sparse Occupancy World Model
用稀疏占用表示替代鸟瞰图投影与离散 VAE token,直接在原始图像特征上端到端预测多帧未来占用,并以任意未来轨迹作为条件;做自动驾驶场景预测或占用世界模型时,可借鉴其绕过 BEV 几何先验、保留连续表征的思路。
Sky2Ground:变高度场景建模基准
Sky2Ground: A Benchmark for Site Modeling under Varying Altitude
提出 SkyNet 双流网络与 Masked-Satellite-Attention 机制,解决卫星图像在多视角相机定位与渲染中引入噪声的问题,并采用课程学习式相机采样策略;对做多视角几何、跨视角定位与神经渲染的研究者可复用其注意力隔离与训练采样思路。
扩展视角合成 Transformer 的规模
Scaling View Synthesis Transformers
为无几何先验的新视角合成 Transformer 提供了可复用的缩放定律与计算最优设计原则,并指出编码器-解码器结构在同等训练算力下可与 decoder-only 模型同样高效,可直接指导 NVS 模型的算力分配与架构选型。
SDTrack:基于脉冲神经网络的事件相机跟踪基线
SDTrack: A Baseline for Event-based Tracking via Spiking Neural Networks
把全脉冲驱动的 SNN 骨干网络与 Transformer 跟踪头组合成端到端跟踪管线,并用 Global Trajectory Prompt 把全局轨迹信息聚合进事件帧,为在事件相机上做低功耗时序跟踪提供了可复用的架构与事件帧构造思路。
重新思考无人机跟踪中的遮挡建模
Rethinking Occlusion Modeling for UAV Tracking
把遮挡从随机 dropout 重新建模为受空间依赖约束的结构化过程,并用聚类生成密度自适应的遮挡模式做训练增强;同时用深度相关的先验动态调整 Transformer 推理深度,这套「结构化遮挡增广 + 代价感知早退」可直接迁移到其他单流跟踪器或需要部分可见性鲁棒性的检测/分割模型。
可重光照的全息人物:从稀疏视角捕捉并重光照动态人体表演
Relightable Holoported Characters: Capturing and Relighting Dynamic Human Performance from Sparse Views
用粗人体网格代理上的 texel 对齐 3D 高斯泼溅作为可重光照表示,并用 Transformer 单次前向隐式求解渲染方程,可迁移到稀疏视角动态人体重建与任意光照下的新视角合成。
漫画线稿图像间的区域级对应预测
Region-Wise Correspondence Prediction between Manga Line Art Images
提出一种无需人工标注、基于自动生成区域对应训练的 Transformer 框架,学习抑制噪声匹配并强化结构一致性,可用于漫画线稿的跨图区域匹配与特征对齐,为线稿上色和中间帧生成等下游任务提供可复用的对应预测方法。
循环视频掩码自编码器
Recurrent Video Masked Autoencoders
用 Transformer 循环网络替代时空注意力做视频掩码自编码,在长时序上以线性计算代价稳定传播特征,可作为视频骨干预训练方案直接替换 VideoMAE/V-JEPA 的编码器。
RAGTrack:基于检索增强生成的语言感知RGBT跟踪
RAGTrack: Language-aware RGBT Tracking with Retrieval-Augmented Generation
将检索增强生成(RAG)引入RGB-T跟踪,利用MLLM自动生成文本描述并构建动态知识库,通过时序语言推理增强目标建模,为多模态跟踪中的外观变化和背景干扰问题提供了可复用的语言引导思路。
Particulate:前馈式三维物体关节化
Particulate: Feed-Forward 3D Object Articulation
把关节物体的部件分割、运动学树与运动约束统一到一个前馈 Transformer 中一次预测,替代逐物体优化,可直接接到 image-to-3D 模型后面做单图生成可动 3D 资产。
PanoVGGT:基于全景图像的前馈三维重建
PanoVGGT: Feed-Forward 3D Reconstruction from Panoramic Imagery
将前馈式三维重建模型(如VGGT)扩展到全景图像,通过球面感知位置编码和三轴SO(3)旋转增强处理非针孔畸变,并引入随机锚定策略解决全局坐标系歧义,为全景相机下的联合位姿估计与稠密重建提供可复用方案。
Pano360:从透视到全景视觉的几何一致性方法
Pano360: Perspective to Panoramic Vision with Geometric Consistency
把2D成对特征匹配的对齐任务搬到3D摄影测量空间,用相机位姿直接引导图像warping做全局对齐,并用多特征联合优化求接缝;对做全景/宽基线拼接、多视图对齐的人,这是一个可复用的「位姿引导+全局优化」范式。
PaQ-DETR:学习模式与质量感知的动态查询用于目标检测
PaQ-DETR: Learning Pattern and Quality-Aware Dynamic Queries for Object Detection
提出基于共享潜模式动态生成图像特定查询的机制,以及基于定位-分类一致性的质量感知一对多分配策略,可直接用于改进DETR类检测器的查询设计与监督平衡。
PQDT:用于鲁棒点云修复的伪查询双 Transformer
PQDT: Pseudo-Query Dual Transformer for Robust Point Cloud Restoration
提出伪查询模块与 Transformer 骨干网络,将几何变换分解为两阶段协同过程,为点云修复提供统一框架,可复用于其他 3D 感知任务中的退化数据处理。
OMG-Bench:面向骨架在线微手势识别的新挑战性基准
OMG-Bench: A New Challenging Benchmark for Skeleton-based Online Micro Hand Gesture Recognition
提供首个大规模骨架在线微手势基准与多视图自监督骨架生成流程,其分层记忆增强 Transformer 用帧级与窗口级记忆库保留历史上下文,可迁移到其他在线时序动作/手势检测任务。
OMG-Avatar:单样本多细节层次高斯头部化身
OMG-Avatar: One-shot Multi-LOD Gaussian Head Avatar
用深度缓冲引导的 Transformer 全局特征与投影采样局部特征融合,在单张图像上 0.2 秒内重建可动画高斯头部,并支持多级细节(LOD)输出;其多区域分解与跨区域组合思路可直接迁移到人体/肩部等非 3DMM 区域的单样本重建。
多视图金字塔 Transformer:看得更粗,见得越广
Multi-view Pyramid Transformer: Look Coarser to See Broader
MVP 的局部到全局视图层级和细到粗空间层级为多视图 Transformer 提供了高效处理大量视图的通用架构,可直接用于前馈式三维重建与高斯泼溅初始化。
大范围真实场景下视角-地面交互的多视角人群跟踪 Transformer
Multi-view Crowd Tracking Transformer with View-Ground Interactions Under Large Real-World Scenes
将相机视角与地平面之间的双向交互建模为 Transformer 注意力,可迁移到多相机 BEV 感知与跨视角融合的跟踪/定位任务;同时提供的大场景长时序多视角数据集可用于检验模型在遮挡与尺度变化下的泛化能力。
MuViT:用于跨尺度学习的多分辨率视觉 Transformer
MuViT: Multi-Resolution Vision Transformers for Learning Across Scales in Microscopy
把不同分辨率下的 patch 嵌入统一的 world-coordinate 体系,并把 RoPE 扩展到该坐标上,使单个编码器内的注意力能同时整合大范围上下文与高分辨率细节;这套坐标化位置编码思路可直接迁移到全切片病理、遥感大幅面图像等任意多尺度视觉任务。
匹配每一对以跟踪每一个点:PairFormer 用于全对跟踪与视频轨迹场
Matching Every Pair to Track Every Point: PairFormer for All-Pairs Tracking and Video Trajectory Fields
PairFormer 将视频中所有帧对的密集对应关系一次性预测为全对轨迹场,这种全对跟踪的设定和 CorrBank 可学习相关银行的设计,为视频运动分析提供了新的可复用范式,可直接用于光流、点跟踪和视频编辑中的轨迹提取。
MS^2Gait:面向基于 LiDAR 的步态识别的多尺度时空融合网络
MS^2Gait: A Multi-Scale Spatio-Temporal Fusion Network for LiDAR-based Gait Recognition
对做点云序列人体分析的研究者,可复用其分层空间特征提取中的四种跨尺度交互策略与基于相似度的时序增强 Transformer——后者用运动一致性动态加权帧、无需显式监督,可直接迁移到动作识别、步态/姿态时序建模等任务。
MER-Tracker:基于多视角事件-RGB 混合相机的高速 3D 点跟踪
MER-Tracker: Towards High-Speed 3D Point Tracking via Multi-View Event-RGB Hybrid Cameras
用事件相机的高时间分辨率弥补 RGB 低帧率,通过线性插值与锚框采样在 3D 提升后融合离散 RGB 特征与连续事件特征,为高速运动下的长时 3D 点轨迹估计提供了可复用的多模态融合范式。
LAMP:度量三维世界中的定位感知多相机人体跟踪
LAMP: Localization Aware Multi-camera People Tracking in Metric 3D World
「先提升后拟合」的思路值得借鉴:先用已知的 6-DoF 位姿与标定把各相机 2D 关键点提升到统一世界坐标系,形成时空射线云,再用端到端 Transformer 直接拟合 3D 人体运动;这样就把观察者自身运动与目标运动解耦,可复用于任何带位姿的多相机或动态相机人体捕捉场景。
KV-Tracker:基于 Transformer 的实时位姿跟踪
KV-Tracker: Real-Time Pose Tracking with Transformers
把多视图几何网络(π³)全局自注意力层的 KV 对缓存下来当作唯一的场景表示,从而免去逐帧重跑网络,实现实时 6-DoF 跟踪与在线重建;这种模型无关的 KV 缓存思路可直接迁移到其他多视图/前馈重建网络做在线化加速。
双管齐下:周期性与方向性的二重奏用于连拍闪烁去除
It Takes Two: A Duet of Periodicity and Directionality for Burst Flicker Removal
针对短曝光连拍中的结构化闪烁伪影,提出基于Transformer的复原框架,利用相位相关融合帧间特征、自相关捕捉帧内结构规律、小波域方向注意力定位伪影,为特定退化模式的定制化复原提供了可复用的设计思路。
面向零样本运动跟踪的人形生成式预训练
Humanoid Generative Pre-Training for Zero-Shot Motion Tracking
用因果注意力 Transformer 在十亿级动作语料上做生成式预训练,替代浅层 MLP 跟踪器,为视觉驱动的全身运动跟踪与零样本泛化提供可扩展的骨干与数据规模化范式。
基于希尔伯特曲线的注意力实现语义分割网络的拓扑保持图像张量表示
Hilbert Curve-Based Attention Enabling Topology-Preserving Image Tensor Representation for Semantic Segmentation Network
把 Hilbert 曲线空间填充顺序引入解码器的注意力计算,用一维连续索引保持二维张量的空间邻接关系,可作为通用手段替换分割/检测解码器中的展平或窗口划分方式,以改善边界与细结构的连续性。
面向弱监督动作分割的层次化动作学习
Hierarchical Action Learning for Weakly-Supervised Action Segmentation
论文提出层次化因果生成过程与稀疏转移约束,利用高层动作潜变量变化慢的特性来抑制过分割,这种时序潜变量对齐思路可迁移到其他视频时序任务(如动作识别、时序动作定位)中。
基于延时偏振影像的全球水下地理定位
Global Underwater Geolocation from Time-Lapse Polarization Imagery
利用偏振图像中天空偏振模式反演太阳高度角曲线,再用两阶段 Transformer 做全球地理定位;其物理引导合成管线(从少量站点扩增到 280 万条太阳高度角匹配序列)为视觉定位中的跨站点泛化提供了一条可复用的数据增广思路。
第一人称视频中的 3D 扫描路径预测
Forecasting 3D Scanpaths in Egocentric Video
将注视点预测从 2D 图像序列扩展到第一人称视频中的 3D 笛卡尔坐标序列,利用 Transformer 融合视频帧、头部姿态和过去 3D 注视点,为 AR/VR 中的意图预测和交互提供可复用的时序建模框架。
FlexAvatar:以部分监督学习完整三维头部化身
FlexAvatar: Learning Complete 3D Head Avatars with Partial Supervision
用可学习的 bias sink token 把单目视频与多视图数据放进同一个 Transformer 统一训练,解耦驱动信号与目标视角,从而在推理时同时获得单目数据的泛化性和多视图监督的三维完整性;这套「数据源 token」思路可迁移到其他受限于多视图稀缺的三维重建/化身任务。
FlashMesh:通过结构化推测实现更快更好的自回归网格合成
FlashMesh: Faster and Better Autoregressive Mesh Synthesis via Structured Speculation
把推测解码(speculative decoding)引入自回归网格生成,利用网格 token 在面/点/坐标层级上的结构相关性做多 token 并行预测,可直接迁移到其他自回归式 3D 生成器(如 MeshGPT 类模型)做免训练或轻训练加速。
FUSER:前馈多视图 3D 配准 Transformer 与 SE(3)^N 扩散精化
FUSER: Feed-Forward Multiview 3D Registration Transformer and SE(3)$^N$ Diffusion Refinement
提出一种前馈多视图配准 Transformer,在统一潜空间中直接预测全局位姿,避免成对匹配;并利用 SE(3)^N 扩散精化框架对联合位姿进行去噪校正,为多视图点云配准提供了高效的新范式。
FSFSplatter:两分钟内从自由稀疏视角图像实现几何精确重建
FSFSplatter: Geometrically Accurate Reconstruction with Free Sparse-view Images within 2 minutes
用大 Transformer 从自由稀疏视角图像端到端回归稠密且几何一致的高斯初始化,配合基于贡献度的剪枝与深度/多视图特征监督,在 2 分钟内完成重建;对做稀疏视角 3DGS 与无位姿重建的人,这套「前馈初始化 + 可微相机参数」流程可直接复用。
基于动态Token化关系Transformer的工程图端到端超关系信息抽取
End-to-End Hyper-Relational Information Extraction for Engineering Diagrams via Dynamically Tokenized Relation Transformer
DTRT 用动态 token 缩减与关系 Transformer 端到端地从高分辨率工程图中抽取符号、连线与文本之间的超关系,可直接迁移到需要同时定位元件并建模拓扑连接的场景(如电路图、流程图解析),其动态 token 剪枝策略对高分辨率图像的高效 Transformer 推理也有参考价值。
EgoPoseFormer v2:面向AR/VR的精确第一人称人体运动估计
EgoPoseFormer v2: Accurate Egocentric Human Motion Estimation for AR/VR
提出身份条件查询、多视角空间精炼和因果时序注意力,在恒定计算预算下实现时序一致且空间对齐的人体姿态估计;其不确定性感知的半监督自标注系统可复用于其他标注稀缺的视觉任务。
D4RT:高效重建动态场景
Efficiently Reconstructing Dynamic Scenes One D4RT at a Time
用统一 Transformer 解码接口从视频中按任意时空点查询 3D 位置,绕开逐帧稠密解码,为动态 4D 重建提供了一种轻量、可扩展的前馈范式,可直接借鉴到新视角合成与点追踪任务。
面向自动驾驶智能体建模的高效等变 Transformer
Efficient Equivariant Transformer for Self-Driving Agent Modeling
用投影几何代数中的多向量表示场景元素,让标准注意力本身携带 SE(2) 等变性,从而省去二次复杂度的成对相对位置编码;做多智能体场景建模、轨迹预测或需要置换/旋转平移等变的视觉任务时,可直接复用这一等变注意力块来降低开销。
EchoPOSE:面向左心室三维形状重建的稀疏超声心动图 6D 位姿估计
EchoPOSE: 6D Pose Estimation of Sparse Echocardiograms for Left-Ventricular 3D Shape Reconstruction
把稀疏多平面 2D 超声视图当作多视图位姿估计问题:用 Transformer 融合局部图像特征与全局多视图上下文回归分割体的 6D 位姿,再用图调和算法把位姿约束下的轮廓重建为心动周期内的 3D 形状;其几何一致性损失与「稀疏视图+位姿+形变重建」范式可迁移到其他稀疏视角 3D 重建任务。
扩散磁共振 Transformer 与扩散空间旋转位置嵌入(D-RoPE)
Diffusion MRI Transformer with a Diffusion Space Rotary Positional Embedding (D-RoPE)
D-RoPE 把扩散梯度方向与强度编码进旋转位置嵌入,使 Transformer 能在任意数量扩散方向上共享权重;做多通道/多视角输入(如多光照、多视角图像)时,可借鉴这种把采集参数写进位置编码以摆脱固定通道数的做法。
DVGT:面向自动驾驶的视觉几何 Transformer
DVGT: Driving Visual Geometry Transformer
无需相机内外参、直接从无位姿多视角图像序列回归首帧自车坐标系下的全局稠密点图与逐帧自车位姿,这种「无显式几何先验 + 度量尺度直接预测」的设定可复用于任意相机配置下的在线建图与占用/深度预训练。
DAGE:面向高效细粒度几何估计的双流架构
DAGE: Dual-Stream Architecture for Efficient and Fine-Grained Geometry Estimation
用低分辨率全局流负责跨视图一致性与相机估计、高分辨率逐帧流保留细节,再以轻量适配器跨注意力融合,为高分辨率长序列的深度/点图与位姿联合估计提供了可复用的解耦式双流范式。
D2T2——面向近距离放射治疗的多模态自动规划
D2T2 - Multimodal Automated Planning for Brachytherapy
把物理前向模型(剂量核线性组合)作为可微网络层嵌入端到端预测,并用可学习的代理指标(gamma index 预测器)构造损失,这一「物理模型嵌入 + 代理指标损失」范式可迁移到其他需要输出物理可行结果的医学影像回归任务。
CryoHype:用基于 Transformer 的超网络重建上千个冷冻电镜结构
CryoHype: Reconstructing a thousand cryo-EM structures with transformer-based hypernetworks
把超网络与隐式神经表示结合,用输入结构索引动态生成 INR 权重,为视觉中「一次前向重建大量不同实例」的摊销式重建提供了可复用范式;固定位姿下从混合粒子图像中分离上千个结构,也可迁移到多目标、多实例的逆渲染与神经场重建。
CrossHOI:面向单目三维人体-物体交互重建的跨视角表征学习
CrossHOI: Learning Cross-View Representations for Monocular 3D Human-Object Interaction Reconstruction
用单目输入合成新视角特征作为先验,再以双向跨视角 Transformer 融合多视角顶点特征来估计接触并精修网格——这套「无额外输入的新视角特征先验 + 顶点级跨视角融合」思路可直接迁移到遮挡严重的人体/物体/手部重建与接触建模任务。
Complet4R:几何完整的四维重建
Complet4R: Geometric Complete 4D Reconstruction
用 decoder-only Transformer 在整段视频上做全局注意力,把其他帧可见的遮挡区域直接累积到当前帧,从而在单次前向中同时完成动态场景重建与几何补全;这一「重建即补全」的范式可迁移到动态 NeRF/高斯泼溅的遮挡补全与长时序点跟踪。
CompetitorFormer:通过竞争策略缓解查询冲突的 3D 实例分割
CompetitorFormer: Mitigating Query Conflicts for 3D Instance Segmentation via Competitive Strategy
针对基于 Transformer 的 3D 实例分割中多个查询同时瞄准同一实例导致掩码碎片化的问题,提出查询竞争层与排序交叉注意力,可复用于任何基于查询的 3D/2D 分割框架以加速收敛并提升精度。
CoWTracker:以变形替代相关性的跟踪方法
CoWTracker: Tracking by Warping instead of Correlation
用基于当前跟踪估计的特征变形(warping)替代代价体做跨帧匹配,把复杂度从空间分辨率的平方降到线性,并用 Transformer 对所有轨迹做联合时空推理;做视频对应、光流或长程跟踪的工作可以直接复用这一迭代变形框架,并把它当作统一稠密点跟踪与光流估计的骨干设计。
CRFT:用于跨模态图像配准的一致性循环特征流Transformer
CRFT: Consistent-Recurrent Feature Flow Transformer for Cross-Modal Image Registration
提出基于特征流学习的统一粗到细跨模态配准框架,其迭代差异引导注意力与空间几何变换循环细化流场的设计,可复用于多模态空间对应任务(如遥感、医学影像配准),为处理大仿射和尺度变化下的对齐提供可借鉴的Transformer架构。
面向高效多视图几何 Transformer 的块稀疏全局注意力
Block-Sparse Global Attention for Efficient Multi-View Geometry Transformers
把稠密全局注意力换成免训练的块稀疏注意力,可直接插到 VGGT、π³、MapAnything 这类前馈多视图重建 Transformer 中,在几乎不掉性能的前提下把大图集推理加速 3 倍以上,是处理大规模多视图输入时一个即插即用的效率手段。
双向归一化流:从数据到噪声再返回
Bidirectional Normalizing Flow: From Data to Noise and Back
BiFlow 用可学习的逆向模型替代归一化流中严格可逆的前向变换,从而摆脱因果解码瓶颈,将采样速度提升两个数量级,为基于流的生成模型提供了一种更灵活、更快的训练与采样范式。
面向激光雷达人体运动捕捉的贝塞尔退化建模
Bezier Degradation Modeling for LiDAR-based Human Motion Capture
把人体运动序列用时间上可压缩的贝塞尔曲线表示,并用多尺度 Time-scale Motion Transformer 预测控制点,为点云输入下的遮挡补全与抖动抑制提供了可复用的轨迹参数化思路。
超越重组:含缺失部件的碎裂物体恢复
Beyond Reassembly: Fractured Object Recovery with Missing Parts
把碎片重组与缺失部件补全统一进一个 Transformer 框架,用 missing token 表示缺失部件并与已有部件特征做关联推理,这个「缺失 token + 跨部件特征关联」的设定可直接迁移到点云/网格补全、遮挡物体重建等任务。
超越真实标签:利用图像质量先验进行真实世界图像复原
Beyond Ground-Truth: Leveraging Image Quality Priors for Real-World Image Restoration
利用预训练 NR-IQA 模型提取图像质量先验,作为条件信号引导复原网络预测高质量表示,可即插即用地增强现有复原架构;双分支码本与离散表示优化策略为质量感知复原提供了可复用的技术手段。
回归本源:让去噪生成模型真正去噪
Back to Basics: Let Denoising Generative Models Denoise
提出直接预测干净数据的扩散范式,使大图像块(16/32)的纯像素 Transformer 无需分词器与预训练即可生成高分辨率图像,为简化扩散训练目标与像素级生成架构提供可复用思路。
AvatarPointillist:自回归 4D 高斯化身化
AvatarPointillist: AutoRegressive 4D Gaussian Avatarization
用仅解码器 Transformer 自回归地逐点生成 3DGS 点云,并按主体复杂度自适应调整点密度,这一「序列化生成 3D 表示」的范式可迁移到其他需要可变分辨率三维表示的生成任务;同时以 AR 生成器的潜变量特征作为高斯解码器的条件,为两阶段生成管线提供了跨阶段特征复用的具体做法。
基于 B-rep 整体词元序列表示的自回归生成
AutoRegressive Generation with B-rep Holistic Token Sequence Representation
把 B-rep 的几何与拓扑统一编码成单一词元序列,使 Transformer 自回归生成框架可直接用于 CAD 边界表示生成;对做 3D 生成与结构化几何表示的人,这是一条把图结构转成序列、从而复用语言模型式生成范式的可复用思路。
任意分辨率任意几何:从多视图到多图像块
Any Resolution Any Geometry: From Multi-View To Multi-Patch
把高分辨率单张图切成多个图像块、用跨块注意力在共享骨干里做长程几何推理,是解决高分辨率几何估计中「局部细节 vs 全局一致」矛盾的通用手段;GridMix 训练期随机网格采样也可直接迁移到其他分块推理任务以提升块间一致性。
面向视觉目标跟踪的高效词元压缩框架
An Efficient Token Compression Framework for Visual Object Tracking
提出可学习的自适应词元压缩器与分层交互编码器,可复用于其他需要处理多帧历史模板的视觉跟踪或视频理解任务,以降低词元冗余和计算量。
AdaSFormer:面向室内环境单目语义场景补全的自适应序列化 Transformer
AdaSFormer: Adaptive Serialized Transformers for Monocular Semantic Scene Completion from Indoor Environments
面向室内单目语义场景补全,用可学习偏移的自适应序列化 Transformer 动态调整感受野,并用中心相对位置编码与卷积调制 LayerNorm 融合卷积与 Transformer 特征,可直接迁移到其他需要从单张图恢复稠密三维语义的室内重建任务。
ART:铰接重建 Transformer
ART: Articulated Reconstruction Transformer
把铰接物体拆成刚体部件、用可学习 part slot 从稀疏多状态 RGB 一次性前馈回归几何、纹理与显式关节参数,可直接导出到仿真器,为机器人操作与可交互资产构建提供了免优化的重建范式。
ARES:统一非对称 RGB-事件双目以实现概率化场景流估计
ARES: Unifying Asymmetric RGB-Event Stereo for Probabilistic Scene Flow Estimation
用事件相机与 RGB 构成非对称双目,并通过跨视角约束下的多模态上下文注意力构建统一对应空间,再以时序视差后验融合做概率化场景流推断,为高速动态场景的三维运动估计提供了可复用的融合与概率建模思路。