Tag · 5 篇
Vision-Transformer
迈向鲁棒的 Vision Transformer:路径依赖分析与一种简单的两阶段对抗训练
Towards Robust Vision Transformers: Path Dependency Analysis and a Simple Two-Stage Adversarial Training
论文提出的梯度路径掩码(GPM)分析工具可用于定位 ViT 中向对抗样本泄露信息的残差路径,而两阶段对抗训练方案可直接套用到任意 ViT 变体上,在提升鲁棒性的同时不牺牲泛化;此外,论文关于对抗训练后的 ViT 在浅层更依赖全局而非局部关系的发现,为设计 ViT 专用(而非 CNN 混合)架构提供了依据。
通用图像分割中视觉 Transformer 缺失的一环
The Missing Point in Vision Transformers for Universal Image Segmentation
把掩码生成与掩码分类解耦,用 ViT 做点基分类器作为免预训练适配器,可直接插到现有 mask-based 分割流程中提升边界模糊与类别不均衡下的分类精度,并支持用粗标注/边界框标注替代精细标注。
DepthFocus:面向透视场景的可控深度估计
DepthFocus: Controllable Depth Estimation for See-Through Scenes
把立体深度估计从静态前馈改为以物理参考深度为条件的可控计算,用双条件机制动态调制特征,可直接借鉴到透明/反射场景的多层深度恢复与意图驱动感知。
超越静态帧:用于人体姿态估计的时序聚合与恢复视觉 Transformer
Beyond Static Frames: Temporal Aggregate-and-Restore Vision Transformer for Human Pose Estimation
提出一种即插即用的时序聚合与恢复模块,可增强现有单帧 ViT 姿态估计器,利用相邻帧信息提升运动模糊、遮挡等挑战场景下的关键点定位稳定性。
ARC 是一个视觉问题!
ARC Is a Vision Problem!
把 ARC 的网格谜题当作图像到图像转换任务,用原生 ViT 在「画布」表示上从零训练并在测试时训练中泛化到新任务,为视觉研究者提供了一个用纯视觉范式做抽象推理的可复用设定与基线。