Tag · 8 篇

密集预测

分布自监督与表征学习3图像分割2人脸与人体理解1高效模型与推理加速1医学影像与生物视觉1

UniRefiner: Teaching Pre-trained ViTs to Self-Dispose Dross via Contrastive Register

提出用对比寄存器（contrastive registers）在少量微调下净化预训练ViT中的伪影词元，可直接用于提升任何ViT在分割、深度估计等密集预测任务上的空间表征质量。

Structure-Aware Representation Distillation for Tiny-Dense Object Segmentation

把教师特征的结构重要性（边界显著性、几何复杂度、局部特征变化）做成加权图来引导蒸馏损失，可直接迁移到任何密集预测任务的师生对齐中，替代逐像素 mask 模仿。

Shoe Style-Invariant and Ground-Aware Learning for Dense Foot Contact Estimation

针对鞋外观多样性，引入鞋风格对抗训练以学习风格不变特征；针对地面外观单调，设计基于空间上下文的地面特征提取器。这两点可迁移到其他需要跨外观泛化的密集预测任务（如人体解析、交互区域分割）。

SPAR: Single-Pass Any-Resolution ViT for Open-vocabulary Segmentation

SPAR 通过特征回归蒸馏，将滑窗教师的空间推理能力迁移到单次前向的学生模型，使 ViT 无需架构改动即可高效处理任意分辨率输入，可直接用于开放词表分割等密集预测任务的高分辨率推理。

LiDeRe: A Lightweight Readout for Fast and Data-Efficient Dense Prediction

在冻结的大型视觉骨干（如 DINOv3）之上，用一个由插值与注意力构成的轻量密集读出模块替代主流 PEFT，为小数据下的分割、检测、姿态估计等密集预测任务提供更省参数、更快训练的微调范式。

In Pursuit of Pixel Supervision for Visual Pre-training

把数据策展（self-curation）当作与 MAE 预训练目标同等重要的一环：在 2B 网络图像上筛选空间结构信号更强的样本，可显著提升单目深度估计、前馈 3D 重建、分割等密集预测任务的表征质量，为视觉基础模型的预训练数据配方提供可复用思路。

HAD: Heterogeneity-Aware Distillation for Lifelong Heterogeneous Learning

提出无样本回放的异质知识蒸馏框架，通过分布平衡和显著性引导的蒸馏损失，在密集预测任务序列中保留不同输出结构的异质知识，可复用于多任务或持续学习场景。

From Spots to Pixels: Dense Spatial Gene Expression Prediction from Histology Images

将空间基因表达预测从基于裁剪斑块的分类/回归范式转变为密集连续图预测，并支持多尺度斑块聚合，为病理图像中的空间组学分析提供了可复用的密集预测框架。