Tag · 15 篇
基础模型
UniPercept:面向通用视觉感知的统一扩散模型
UniPercept: A Unified Diffusion Model for Generalizable Visual Perception
提出基于扩散模型的基础-适配器范式,用共享DiT骨干学习跨任务通用视觉表征,仅需少量样本和参数即可适配新任务,为视觉感知提供可复用的预训练-微调框架。
面向可泛化AI生成图像检测的图像自适应提示词学习
Towards Generalizable AI-Generated Image Detection via Image-Adaptive Prompt Learning
把提示词从训练后固定改为按测试图像动态生成,并用单样本多视图预测一致性在推理时优化自适应 token,为视觉基础模型在分布外伪造图像上的泛化提供了一套可复用的测试时自适应提示词方案。
Skullptor:借助多视图法线预测在数秒内实现高保真三维头部重建
Skullptor: High Fidelity 3D Head Reconstruction in Seconds with Multi-View Normal Prediction
把单目基础模型扩展成带跨视图注意力的多视图法线预测器,前馈输出几何一致法线,再作为强几何先验注入逆渲染优化恢复高频细节——这套「前馈先验 + 优化精修」的混合范式可直接迁移到人脸、人体、物体等少视图高保真重建任务。
Shape-of-You:融合 Gromov-Wasserstein 最优传输用于野外语义对应
Shape-of-You: Fused Gromov-Wasserstein Optimal Transport for Semantic Correspondence in-the-Wild
将伪标签生成建模为融合 Gromov-Wasserstein 最优传输问题,并利用 3D 基础模型提供几何结构约束,为无监督语义对应提供了一种可复用的结构化监督信号生成思路。
面向体数据 CT Transformer 的自监督与跨模态预训练规模化
Scaling Self-Supervised and Cross-Modal Pretraining for Volumetric CT Transformers
对做3D医学影像或大体积数据的研究者,可复用其「局部高分辨率Transformer + 全局扫描上下文Transformer」的双层注意力拆分方案,把极端词元规模下的3D注意力变得可计算;同时DINO自蒸馏与SigLIP视觉语言对齐联合预训练的配方,可迁移到其他缺乏标注的体数据域。
PoseGAM:基于几何感知多视图推理的鲁棒未见物体位姿估计
PoseGAM: Robust Unseen Object Pose Estimation via Geometry-Aware Multi-View Reasoning
把多视图基础模型当作位姿回归器,用点云几何与几何表征网络特征两路注入物体几何先验,绕开显式 2D-3D 对应匹配,可直接迁移到无模板、无 CAD 模型的未见物体位姿估计与抓取场景。
MOMO:面向火星轨道应用的火星轨道模型基础模型
MOMO: Mars Orbital MOdel Foundation Model for Mars Orbital Applications
用模型融合(task arithmetic)把不同分辨率传感器上独立预训练的表示合并成一个基础模型,并给出按验证损失相似度对齐检查点的 EVL 策略;做多源、多分辨率遥感或多模态预训练的人可以直接复用这套「先各自预训练、再按收敛阶段对齐融合」的流程,避免从头联合训练。
LEMON:面向手术场景感知的大规模内窥镜单目数据集与基础模型
LEMON: A Large Endoscopic MONocular Dataset and Foundation Model for Perception in Surgical Settings
LEMON 提供了迄今最大规模的手术视频数据集(938 小时、8500 万帧),并配套一个通过自监督增强知识蒸馏预训练的基础模型 LemonFM;对视觉研究者而言,这是一个可直接用于手术场景下游任务(阶段识别、动作识别、器械检测、语义分割)的大规模预训练资源,其数据聚合流程与自监督蒸馏策略也可迁移到其他标注稀缺的领域。
FunFact:通过因子图推理构建概率功能3D场景图
FunFact: Building Probabilistic Functional 3D Scene Graphs via Factor-Graph Reasoning
将功能关系建模为因子图变量,结合LLM常识先验与几何先验进行联合概率推理,可提升开放词表场景图中关系发现的召回率与置信度校准,适用于需要场景级推理的3D理解任务。
Depth Any Panoramas:面向全景深度估计的基础模型
Depth Any Panoramas: A Foundation Model for Panoramic Depth Estimation
以 DINOv3-Large 为骨干、配合可插拔 range mask head 与几何一致性优化,构建跨室内外、跨合成/真实的全景度量深度基础模型;其三级伪标签清洗流程与 UE5+文生图合成数据构造方式,可直接迁移到其他缺乏真值的深度/几何任务。
CoD:面向图像压缩的扩散基础模型
CoD: A Diffusion Foundation Model for Image Compression
CoD 提供了一个从零训练、面向压缩的扩散基础模型,可替代 Stable Diffusion 作为下游扩散编解码器的骨干,尤其在超低码率下提升压缩效率;其像素空间扩散实现 VTM 级 PSNR 与高感知质量的发现,为图像压缩与生成联合优化提供了新思路。
CLP:面向鲁棒语义分割的真实世界受污染镜头保护罩数据集
CLP: A Real-World Dataset of Contaminated Lens Protectors for Robust Semantic Segmentation
为镜头保护罩污染这一真实退化提供带密集语义分割掩码与对齐复原目标的基准,可直接用于评测域泛化、基础模型微调以及复原-分割联合流水线在有限数据下的表现。
CARE:面向全切片图像分析的分子引导自适应区域建模基础模型
CARE: A Molecular-Guided Foundation Model with Adaptive Region Modeling for Whole Slide Image Analysis
把 WSI 从固定 patch 网格改为由分子信号引导的自适应不规则区域建模,并用区域级特征聚合出切片级表示;做病理或大尺寸图像分析时,这种「自适应区域 + 跨模态对齐」的预训练范式可直接迁移到其他超高分辨率图像任务。
弥合领域专业知识与泛化能力以实现性能估计
Bridging Domain Expertise and Generalization for Performance Estimation
在无标签测试集上估计模型真实性能时,可借用外部基础模型的预测作为参考信号,通过温度缩放校准对齐分布后再做置信度加权融合,缓解分布偏移下模型自身输出偏差被放大的问题;这套参考分布构造思路可直接迁移到视觉模型的部署前评估与模型选择。
2D-LFM:无需三维监督的提升基础模型
2D-LFM: Lifting Foundation Model without 3D Supervision
把经典 structure-from-motion 的对应关系结构以位置编码形式注入模型,使二维关键点提升为物体级三维几何,可作为无需三维标注的三维先验或伪标签来源,用于关键点/骨架驱动的三维重建与姿态估计。