Tag · 6 篇
全景分割
通用图像分割中视觉 Transformer 缺失的一环
The Missing Point in Vision Transformers for Universal Image Segmentation
把掩码生成与掩码分类解耦,用 ViT 做点基分类器作为免预训练适配器,可直接插到现有 mask-based 分割流程中提升边界模糊与类别不均衡下的分类精度,并支持用粗标注/边界框标注替代精细标注。
REL-SF4PASS:基于REL深度表示与球面融合的全景语义分割
REL-SF4PASS: Panoramic Semantic Segmentation with REL Depth Representation and Spherical Fusion
提出基于柱面坐标的REL深度表示和球面动态多模态融合(SMMF),为全景语义分割提供更有效的几何表征和融合策略,可迁移到其他全景感知任务。
PromptDepth:面向具身智能的高效可提示几何三维视觉模型
PromptDepth: Efficient and Promptable Geometric 3D Vision Model for Embodied Intelligence
PromptDepth 将深度估计与实例级分割统一到一个前馈网络中,通过提示(prompt)灵活切换全景/实例/跟踪深度图输出,为具身智能提供实时 3D 感知与交互能力;其 ILDS 损失和 Gram Anchoring 技术可缓解密集与离散表示冲突,可复用于其他多任务密集预测模型。
OnlinePG:基于三维高斯泼溅的在线开放词表全景建图
OnlinePG: Online Open-Vocabulary Panoptic Mapping with 3D Gaussian Splatting
把 3D 高斯泼溅做成在线增量式全景建图系统:滑动窗口内用几何+语义的 3D 分割聚类图融合碎片实例,再用双向二分图实例匹配把局部高斯图并入全局图,可直接复用到机器人/具身场景的实时开放词表语义地图构建。
缓解开放词表全景分割中的物体性偏差与区域-文本错位
Mitigating Objectness Bias and Region-to-Text Misalignment for Open-Vocabulary Panoptic Segmentation
针对开放词表全景分割中掩码选择偏差和区域-文本对齐不足的问题,提出模块化的 COAT 和 OVR 组件,可复用于其他开放词表分割任务,以较低内存成本提升 CLIP 的区域级对齐能力。
一致实例场:面向动态场景理解
Consistent Instance Field for Dynamic Scene Understanding
将实例身份与可见性解耦,用可变形3D高斯联合编码辐射与语义,并通过可微光栅化从RGB和掩码直接学习,为动态场景的新视角全景分割和开放词表4D查询提供了连续概率表示方案。