Tag · 9 篇

掩码自编码器

分布自监督与表征学习5图像分割2医学影像与生物视觉1鲁棒性与安全1

Tracking by Predicting 3-D Gaussians Over Time

把视频编码为一组随时间运动的高斯泼溅，用重建式自监督预训练让跟踪能力自发涌现；做视频自监督表征或零样本点跟踪的研究者可直接复用这一归纳偏置与高斯轨迹投影到图像平面的读出方式。

SARMAE: Masked Autoencoder for SAR Representation Learning

把 SAR 特有的相干斑噪声显式注入 MAE 的掩码重建流程，并用配对光学图像作为语义锚框约束特征对齐，这套「噪声感知预训练 + 跨模态语义约束」思路可迁移到其他低质量或强噪声成像域（如超声、低光照、去噪前表征）的自监督预训练。

Residual Connections Harm Generative Representation Learning

对 MAE、扩散模型等生成式表征学习框架，把残差恒等捷径的权重随深度单调衰减，可显著提升线性探测精度与生成质量；做自监督预训练或扩散骨干网络时，这是一个几乎零成本、可直接替换的架构改动。

Recurrent Video Masked Autoencoders

用 Transformer 循环网络替代时空注意力做视频掩码自编码，在长时序上以线性计算代价稳定传播特征，可作为视频骨干预训练方案直接替换 VideoMAE/V-JEPA 的编码器。

RMAE-ProGRess: Advancing Semantic Segmentation in Unstructured Environments

提出ProGRess解码器，通过渐进式跳跃融合（PLF）实现非连续特征图的自顶向下多尺度融合，并引入轻量级通道注意力门控（LCAR）和瓶颈特征融合（BFF），为语义分割解码器设计提供了可复用的模块化思路。

In Pursuit of Pixel Supervision for Visual Pre-training

把数据策展（self-curation）当作与 MAE 预训练目标同等重要的一环：在 2B 网络图像上筛选空间结构信号更强的样本，可显著提升单目深度估计、前馈 3D 重建、分割等密集预测任务的表征质量，为视觉基础模型的预训练数据配方提供可复用思路。

Diffusion MRI Transformer with a Diffusion Space Rotary Positional Embedding (D-RoPE)

D-RoPE 把扩散梯度方向与强度编码进旋转位置嵌入，使 Transformer 能在任意数量扩散方向上共享权重；做多通道/多视角输入（如多光照、多视角图像）时，可借鉴这种把采集参数写进位置编码以摆脱固定通道数的做法。

Detecting AI-Generated Forgeries via Iterative Manifold Deviation Amplification

把冻结的MAE重建残差当作「真实性先验」，并用粗定位结果反向提示MAE解码器放大可疑区域的重建失败，这一闭环思路可直接迁移到任意需要「偏离正常流形」检测的视觉任务（如异常检测、深度伪造定位）。

$\alpha$Matte4K & $\mu$Matting: Dataset and Model for Ultra-Micro Precision Alpha Video Matting

提出分辨率无关的两阶段视频抠图框架，利用掩码自编码器定位粗哑光区域并用稀疏3D卷积精修，同时构建基于PBR的4K高质量数据集，为高分辨率视频抠图提供可复用的数据生成与模型设计思路。