Tag · 6 篇
大语言模型
Pointer-CAD:通过基于指针的边与面选择统一 B-Rep 与命令序列
Pointer-CAD: Unifying B-Rep and Command Sequences via Pointer-based Edges & Faces Selection
将 B-rep 的几何实体选择建模为指针网络预测,为视觉-语言模型在结构化几何生成中提供可复用的实体引用机制;同时其数据标注流水线可启发 3D 理解任务中的自然语言监督构建。
语言在跨域少样本视觉特征增强中至关重要
Language Does Matter for Cross-Domain Few-Shot Visual Feature Enhancement
该论文提出用图像描述模型和LLM分别提取图像级与域级语言属性,并通过轻量残差交叉注意力将语言描述嵌入视觉特征,以增强跨域少样本场景下的视觉特征泛化能力。这一思路可复用于任何需要提升预训练视觉特征跨域迁移性的视觉任务,如分类、分割和检测。
LAM:语言驱动的铰接物体建模器
LAM: Language Articulated Object Modelers
把铰接物体的几何与关节结构统一表示为可编译、可自纠错的过程化代码,为视觉研究者提供了一条无需视觉先验或预置 3D 资产、由 LLM/VLM 协作直接产出带关节层级 3D 模型的路径,可作为 3D 生成与具身仿真中资产构建的新范式。
KAMP:面向医学图像表征的知识锚定多模态预训练框架
KAMP: Knowledge-Anchored Multimodal Pretraining Framework for Medical Image Representation
用大语言模型从临床文本与影像元数据生成个性化诊断知识,作为语义锚点注入图像表征,并用跨模态对齐器作奖励模型做 GRPO 优化——这套「文本先验锚定 + 对齐器即奖励」的流程可迁移到任何配对数据稀缺的视觉-语言预训练场景。
从左脑到右脑:面向视觉语言导航的自适应文本想象器
Cross from Left to Right Brain: Adaptive Text Dreamer for Vision-and-Language Navigation
用 LLM 以语言形式想象未来场景语义、替代视觉合成来缓解 VLN 的部分可观测性,并给出 decoder-free 潜空间接口把想象结果注入导航专家模块,这套「文本想象 + 潜空间对齐」思路可迁移到其他需要预测未来观测的具身导航与探索任务。
AudioStory:利用大语言模型生成长篇叙事音频
AudioStory: Generating Long-Form Narrative Audio with Large Language Models
AudioStory 将 LLM 的指令分解与扩散模型的音频生成通过解耦桥接机制(桥接查询和残差查询)结合,并实现端到端训练,这种思路可迁移到视觉领域的可控长视频生成,例如利用 LLM 分解复杂叙事为时序子任务,再通过扩散模型生成连贯视频。