Tag · 33 篇
自监督学习
WildRayZer:动态环境中的自监督大视角合成
WildRayZer: Self-supervised Large View Synthesis in Dynamic Environments
用「仅相机的静态渲染器 + 残差」做分析-合成测试,从残差自动生成伪运动掩码并蒸馏运动估计器,再以掩码 token 与门控损失梯度把监督聚焦到跨视角背景补全——这套「静态解释不了的就是瞬态」的自监督信号构造方式,可直接迁移到动态场景重建、稀疏视角 NVS 与动态 SLAM 中的运动分割。
VideoSSR:视频自监督强化学习
VideoSSR: Video Self-Supervised Reinforcement Learning
提出三种视频自监督前置任务(异常定位、物体计数、时序拼图)来自动生成可验证的训练数据,为视频多模态大模型提供无需人工标注的强化学习训练信号,可直接用于提升视频时序定位与复杂推理能力。
VT-Intrinsic:基于单对可见光-热红外图像的物理反射率与光照分解
VT-Intrinsic: Physics-Based Decomposition of Reflectance and Shading using a Single Visible-Thermal Image Pair
利用可见光-热红外图像对的强度序关系进行自监督,为反射率与光照分解提供物理约束,可推广到其他需要物理先验的逆渲染任务。
VGGT-Ω
VGGT-Ω
用单一密集预测头加多任务监督替代高分辨率卷积层与全局注意力,并以场景 token 做特征聚合,这套架构与自监督训练协议可直接迁移到其他前馈三维重建或位姿估计模型的规模化训练中。
独特人生,共享世界:从单人生视频中学习
Unique Lives, Shared World: Learning from Single-Life Videos
提出仅用单个人第一人称视频进行自监督训练视觉编码器的范式,并设计跨注意力指标量化不同模型内部表征的功能对齐,为利用无标注个人视频学习通用几何表征提供了新思路。
UST-Hand:面向3D自监督手部姿态估计的不确定性感知时空点云交互网络
UST-Hand: An Uncertainty-aware Spatiotemporal Point Cloud Interaction Network for 3D Self-supervised Hand Pose Estimation
用条件归一化流建模手部姿态分布并采样多假设,再把多假设映射到统一概率点云空间做多视角与时序特征交互,这一「不确定性采样+点云时空融合」的范式可直接迁移到其他缺乏标注的人体/物体关键点与姿态自监督任务。
面向无约束第一人称视频的稳定自监督物体表征
Towards Stable Self-Supervised Object Representations in Unconstrained Egocentric Video
用帧内蒸馏加深度正则化从无标注第一人称视频中自举出稳定的『原型物体』表征,并用教师过滤的时序一致性维持身份,可直接迁移到无监督目标发现与自监督预训练的表征稳定化环节。
通过几何内点判别实现激光雷达语义分割在损坏下的测试时训练
Test-Time Training for LiDAR Semantic Segmentation under Corruption via Geometric Inlier Discrimination
提出几何内点判别(GeoID)作为自监督辅助任务,通过注入合成离群点并区分几何一致的内点来驱动测试时训练,可复用于其他3D感知任务在分布偏移下的自适应。
TerraSeg:面向任意激光雷达的自监督地面分割
TerraSeg: Self-Supervised Ground Segmentation for Any LiDAR
提出一种无需人工标注、跨传感器配置的激光雷达地面分割自监督框架,其 PseudoLabeler 通过逐扫描运行时优化生成高质量伪标签,可复用于其他点云分割任务的标签生成与域泛化。
教 DINOv3 理解部分 3D 几何:一种自监督的几何感知方法
Teaching DINOv3 About Partial 3D Geometry: A Self-Supervised Geometry-Aware Approach
用 LoRA 自监督微调 DINOv3 特征,使其对部分观测(partial shape)鲁棒,可直接替换部分形状匹配与左右对称预测流程中的特征描述子。
TeFlow:为自监督前馈场景流估计实现多帧监督
TeFlow: Enabling Multi-frame Supervision for Self-Supervised Feed-forward Scene Flow Estimation
提出时序集成策略,从多帧候选池中聚合最一致的监督信号,可复用于任何需要从点对应中挖掘可靠监督的自监督3D任务,如场景流、光流或深度估计。
ShelfOcc:超越激光雷达的原生三维监督用于基于视觉的占用估计
ShelfOcc: Native 3D Supervision beyond LiDAR for Vision-Based Occupancy Estimation
把视觉三维几何基础模型的输出经跨帧静态几何累积与动态内容剔除,蒸馏成度量一致的语义体素伪标签,可直接替换现有占用模型的 LiDAR 监督信号,为无 LiDAR 的三维场景理解提供可复用的数据侧监督管线。
SelfHVD:自监督手持视频去模糊
SelfHVD: Self-Supervised Handheld Video Deblurring
提出利用视频中的清晰线索作为自监督信号,并设计自增强视频去模糊与自约束空间一致性维护方法,可复用于其他缺乏配对数据的底层视觉任务。
SGDE:面向编码孔径压缩光谱成像的自监督几何退化估计框架
SGDE: Self-supervised Geometry Degradation Estimation Framework for Coded Aperture Compressive Spectral Imaging
将掩码错位建模为仿射变换并嵌入成像模型,以自监督方式联合估计退化参数与重建高光谱图像,该思路可迁移到其他对硬件对准敏感的编码成像系统(如编码曝光、结构光)中做在线退化校正。
SCAPO:基于单次三维观测的自监督类别级关节位姿估计
SCAPO: Self-Supervised Category-Level Articulated Pose Estimation from a Single 3D Observation
用 SE(3) 等变向量神经元自编码器把单帧 RGB-D 观测对齐到共享规范空间,再用关节感知的混合蒙皮建模部件运动,为单次观测下的关节物体建模提供了可复用的表示学习范式。
RiskProp:碰撞锚定的自监督风险传播用于早期事故预测
RiskProp: Collision-Anchored Self-Supervised Risk Propagation For Early Accident Anticipation
提出碰撞锚定的自监督风险传播范式,用未来帧预测作为软目标监督当前帧,并设计自适应单调约束,可复用于其他需要早期预警的时序视频任务(如异常检测、动作预测)。
渲染即适配:面向视线估计的无监督个性化适配
Render-to-Adapt: Unsupervised Personal Adaptation for Gaze Estimation
把「用渲染器合成图像、再以预测结果作为伪标签做自监督」这套闭环,用于单用户少样本无标签的模型校准;做视线/头部姿态等细粒度人脸任务的人,可以直接把 R2A 的渲染-一致性信号搬到自己的个性化适配上,替代容易在单用户上失效的 UDA。
区域感知实例一致性学习用于微表情识别
Region-Aware Instance Consistency Learning for Micro-Expression Recognition
提出无需顶点帧标注的微表情识别范式,利用起始帧与近中值帧构建运动实例,并通过实例区域一致性模块强制相似面部激活区域的注意力一致,为细微运动分析提供了可复用的弱监督思路。
QueryOcc:面向 3D 语义占用的查询式自监督
QueryOcc: Query-based Self-Supervision for 3D Semantic Occupancy
用跨相邻帧采样的 4D 时空查询直接对连续 3D 占用做自监督,配合收缩式场景表示在恒定显存下覆盖远距离区域,可替代基于 2D 渲染一致性或离散体素的监督方式,用于相机/激光雷达输入的占用学习。
Online3R:基于几何基础模型的在线学习一致序列重建
Online3R: Online Learning for Consistent Sequential Reconstruction Based on Geometry Foundation Model
将轻量可学习视觉提示注入冻结的几何基础模型,并通过局部-全局自监督一致性约束在测试时在线更新,为视觉中的序列重建提供了一种无需真值的高效自适应方案。
基于单句自然语言描述的实例跟踪学习
Learning to Track Instance from Single Nature Language Description
提出动态词元聚合模块,通过锚框词元选择模板帧中的目标词元并与语言词元融合,为视觉语言跟踪提供了一种无需边界框标注的自监督训练范式,可复用于其他多模态时序任务。
通过循环一致掩码预测学习跨视角物体对应
Learning Cross-View Object Correspondence via Cycle-Consistent Mask Prediction
提出基于条件二值分割的跨视角物体对应框架,利用循环一致性作为自监督信号,并支持测试时训练,可复用于视频中的物体跟踪与跨视角定位任务。
通过特征场学习凸分解
Learning Convex Decomposition via Feature Fields
把凸分解从逐形状优化变成可前馈预测的特征场学习问题:学一个连续特征场,再用自监督几何目标聚类成凸体,可直接用于碰撞检测、物理仿真以及跨网格/CAD/高斯泼溅表示的泛化。
LEMON:面向手术场景感知的大规模内窥镜单目数据集与基础模型
LEMON: A Large Endoscopic MONocular Dataset and Foundation Model for Perception in Surgical Settings
LEMON 提供了迄今最大规模的手术视频数据集(938 小时、8500 万帧),并配套一个通过自监督增强知识蒸馏预训练的基础模型 LemonFM;对视觉研究者而言,这是一个可直接用于手术场景下游任务(阶段识别、动作识别、器械检测、语义分割)的大规模预训练资源,其数据聚合流程与自监督蒸馏策略也可迁移到其他标注稀缺的领域。
用于3D形状异常检测的层次化点-面片融合与自适应面片码本
Hierarchical Point-Patch Fusion with Adaptive Patch Codebook for 3D Shape Anomaly Detection
提出层次化点-面片融合与自适应面片码本,可复用于点云异常检测与细粒度几何偏差建模;其自监督分解模块为无监督3D形状分析提供新思路。
听见关键之声!文本条件的选择性视频到音频生成
Hear What Matters! Text-conditioned Selective Video-to-Audio Generation
把文本提示词当作显式选择器,通过补充 token 引导交叉注意力从视频编码器中分离出与提示词相关的声源视觉特征,这一「文本引导特征选择」思路可迁移到视觉中的条件生成与可控编辑任务。
GT-SVJ:基于生成Transformer的自监督视频裁判用于高效视频奖励建模
GT-SVJ: Generative-Transformer-Based Self-Supervised Video Judge For Efficient Video Reward Modeling
将视频生成模型(如扩散模型)通过能量模型重参数化,并利用潜在空间扰动构造负样本进行对比训练,从而作为时序感知的奖励模型,为视频生成质量评估和偏好对齐提供了新思路。
从无到有:通过新视角合成的自监督三维重建
From None to All: Self-Supervised 3D Reconstruction via Novel View Synthesis
把相机参数预测与显式 3D 高斯重建放进同一个共享 Transformer 骨干网络、用掩码注意力约束,仅靠 2D 光度监督即可从未标定、无位姿的图像集合前馈重建,为无标注数据上的可扩展三维重建提供了可复用的自监督训练范式。
基于事件的无配对数据运动去模糊
Event-based Motion Deblurring with Unpaired Data
提出无配对事件去模糊框架,利用事件物理先验和生成式模糊建模,为缺乏配对数据的底层视觉任务提供可复用思路。
Disco-GS:动态彩色光照下的高斯泼溅
Disco-GS: Gaussian Splatting in Dynamic Color Lighting
针对动态彩色光照下的3D重建,提出自监督估计逐像素瞬态光照的方法,可复用于任何需要从变化光照视频中分离本征外观与光照的GS或NeRF管线。
自举你的音视频代理:面向音视频分割的自适应对比与原型学习
Bootstrap Your Own AV-Proxies: Adaptive Contrastive and Prototype Learning for Audio-Visual Segmentation
论文提出的自监督音频增强模块通过对比学习对齐音频与梯度阻断的视觉嵌入,以及动态原型约束模块利用动量更新原型增强像素级类别感知,这两者均可作为跨模态对齐与分割的通用技术手段,尤其适用于需要抑制融合噪声的多模态分割任务。
BEV-SLD:基于激光雷达鸟瞰图图像的自监督场景地标检测全局定位
BEV-SLD: Self-Supervised Scene Landmark Detection for Global Localization with LiDAR Bird's-Eye View Images
把 SLD 的『场景地标』思路从相机图像迁移到激光雷达 BEV 图像上,用可学习全局地标坐标与逐帧热力图的一致性损失实现自监督地标发现,可作为无需三维点云地图的轻量级全局重定位方案复用。
动作基元:人体运动的自监督分层表示
Action Motifs: Self-Supervised Hierarchical Representation of Human Body Movements
把 3D 人体姿态序列切成变长片段、每段压成一个潜变量词元,再用掩码词元预测自监督地学出可复用的动作基元(Action Motifs),这种分层潜变量 Transformer 可直接迁移到动作识别、运动预测与运动插值的表征预训练中。