Tag · 3 篇
3D场景理解
01 02 03
VULCAN:面向迭代式三维物体布局的工具增强多智能体
VULCAN: Tool-Augmented Multi Agents for Iterative 3D Object Arrangement
把 MLLM 的 3D 操作能力从脆弱的原始代码生成转为函数级 API 调用,并引入视觉工具构成感知反馈闭环,为视觉研究者提供了一条「用工具调用弥补 MLLM 3D 视觉定位短板」的可复用范式。
Merge3D:通过联合2D-3D词元合并实现高效3D多模态大语言模型
Merge3D: Efficient 3D Multimodal LLMs via Joint 2D-3D Token Merging
提出一种几何感知的词元合并框架,利用2D注意力选择语义显著词元,并结合2D+3D混合相似度聚合空间邻域上下文,可在激进压缩下保留3D结构先验与帧间对应关系,为多视图3D场景理解中的视觉词元冗余问题提供可复用方案。
掩码至关重要:释放LLM的空间推理能力用于3D场景-语言理解
Masking Matters: Unlocking the Spatial Reasoning Capabilities of LLMs for 3D Scene-Language Understanding
提出一种无需修改架构和增加参数的注意力掩码策略(3D-SLIM),用几何密度和指令感知替代因果掩码,可直接用于任何基于LLM的3D视觉-语言模型,提升空间推理能力。