Tag · 3 篇
端到端学习
分布 视觉语言模型13D 视觉与重建1底层视觉与图像复原1
01 02 03
TDATR:通过表格细节感知学习和单元格级视觉对齐改进端到端表格识别
TDATR: Improving End-to-End Table Recognition via Table Detail-Aware Learning and Cell-Level Visual Alignment
论文提出的结构引导的单元格定位模块和单元格级视觉-语言对齐方法,可被其他需要细粒度视觉-语言对齐的文档理解任务(如表格问答、文档布局分析)借鉴;其“先感知后融合”策略和利用多任务学习增强数据效率的思路,对数据受限场景下的视觉-语言模型训练有参考价值。
MVGGT:用于多视图 3D 指代表达分割的多模态视觉几何接地 Transformer
MVGGT: Multimodal Visual Geometry Grounded Transformer for Multiview 3D Referring Expression Segmentation
MVGGT 展示了如何用双分支 Transformer 从稀疏多视图 RGB 直接进行 3D 指代分割,避免了两阶段重建-分割的延迟与几何退化;其提出的前景梯度稀释问题与 PVSO 优化策略对稀疏视图下的 3D 密集预测训练有直接借鉴意义。
利用多光谱传感器进行移动相机颜色校正
Leveraging Multispectral Sensors for Color Correction in Mobile Cameras
提出了一种端到端联合利用高分辨率RGB和低分辨率多光谱传感器进行颜色校正的框架,可复用于其他需要融合多传感器数据的底层视觉任务,如去噪、超分等。