Tag · 3 篇
跨视图注意力
分布 3D 视觉与重建2视觉语言模型1
01 02 03
Skullptor:借助多视图法线预测在数秒内实现高保真三维头部重建
Skullptor: High Fidelity 3D Head Reconstruction in Seconds with Multi-View Normal Prediction
把单目基础模型扩展成带跨视图注意力的多视图法线预测器,前馈输出几何一致法线,再作为强几何先验注入逆渲染优化恢复高频细节——这套「前馈先验 + 优化精修」的混合范式可直接迁移到人脸、人体、物体等少视图高保真重建任务。
S$^2$-MLLM:以结构引导提升多模态大语言模型空间推理能力用于3D视觉定位
S$^2$-MLLM: Boosting Spatial Reasoning Capability of MLLMs for 3D Visual Grounding with Structural Guidance
用前馈三维重建的结构感知作为隐式空间引导,替代逐视角点云渲染,让 MLLM 在不重建点云的情况下获得 3D 空间推理能力;其 intra/inter-view 注意力加多级位置编码的结构增强模块可直接迁移到任何需要把多视角 2D 特征对齐到 3D 空间的 VLM 任务。
MVInverse:秒级前馈多视图逆渲染
MVInverse: Feed-forward Multiview Inverse Rendering in Seconds
提出前馈多视图逆渲染框架,通过跨视图注意力实现单次前向预测空间变化的材质与法线,并利用无标签真实视频进行一致性微调,为多视图逆渲染提供了可扩展的实时方案。