Tag · 5 篇
视觉语言模型引导
VIVA：基于 VLM 引导与奖励优化的指令驱动视频编辑
VIVA: VLM-Guided Instruction-Based Video Editing with Reward Optimization
把 VLM 作为指令编码器，将文本指令、首帧和参考图编码成视觉接地的指令表示，再送入扩散 Transformer 主干；并用 Edit-GRPO 以相对奖励直接优化指令遵循、内容保持与美学质量，这套「VLM 编码 + 强化学习后训练」组合可迁移到其他条件生成任务。
SPARK：借助视觉语言模型知识的可仿真部件级铰接重建
SPARK: Sim-ready Part-level Articulated Reconstruction with VLM Knowledge
把 VLM 先验（粗 URDF、部件参考图、开合状态监督）注入扩散 Transformer 做部件级形状合成，再用可微前向运动学在图像监督下优化连续运动参数，为单图生成可仿真铰接资产提供了可复用的「语言先验 + 可微物理」流程。
ID-Crafter：面向组合式多主体视频生成的视觉语言模型接地在线强化学习
ID-Crafter: VLM-Grounded Online RL for Compositional Multi-Subject Video Generation
分层身份保持注意力（intra-subject/inter-subject/cross-modal 三级聚合）与 VLM 语义引导、在线 RL 微调的组合，可直接迁移到个性化视频生成与多主体可控生成中，解决多主体身份混淆与语义冲突问题。
GaussianZoom：几何与语义引导的渐进式放大生成 3D 高斯泼溅
GaussianZoom: Progressive Zoom-in Generative 3D Gaussian Splatting with Geometric and Semantic Guidance
把基于深度的特征 warp 与 VLM 驱动的细节合成结合进多视图一致超分模块，可在低分辨率多视图输入下生成高倍放大的 3DGS 场景；其可扩展连续 LOD 层级通过动态调制高斯可见性实现无混叠跨尺度渲染，对需要极端放大或跨尺度一致性的新视角合成工作可直接复用。
AREA3D：融合前馈三维感知与视觉语言引导的主动重建智能体
AREA3D: Active Reconstruction Agent with Unified Feed-Forward 3D Perception and Vision-Language Guidance
把前馈三维模型（如 VGGT 类）与不确定性建模解耦，用视觉语言模型提供语义先验来指导下一最佳视角选择，可直接迁移到主动式三维扫描、机器人探索和稀疏视角重建流程中。