Tag · 11 篇
文本条件生成
文本-图像条件驱动的3D生成
Text-Image Conditioned 3D Generation
论文提出文本-图像联合条件的3D生成任务,并给出TIGON双分支基线:分别保留图像条件与文本条件骨干,再用轻量跨模态融合模块整合两路预测。对做3D生成的研究者,这提供了一个可复用的条件融合范式,也提示可用晚期融合作为诊断手段来量化不同条件模态的互补性。
基于手语数据的文本驱动三维手部动作生成
Text-Driven 3D Hand Motion Generation from Sign Language Data
把手语视频的伪标注通过 LLM 转成细粒度手部动作文本描述,从而以极大规模自动构建「3D 手部动作-文本」配对,并用文本条件扩散模型生成手部运动;对做人体/手部动作生成、手语理解与文本到运动的研究者,这套数据构造与跨域评测设定可直接复用。
面向文本到动作生成的下一尺度自回归模型
Next-Scale Autoregressive Models for Text-to-Motion Generation
把「下一 token 预测」换成「下一尺度预测」的由粗到细自回归框架,可直接迁移到视频/长时序视觉生成中,用跨尺度层级精修与尺度内双向重预测缓解长程结构建模与数据稀缺问题。
M3DLayout:面向三维生成的多源三维室内布局与结构化描述数据集
M3DLayout: A Multi-Source Dataset of 3D Indoor Layouts and Structured Descriptions for 3D Generation
为文本驱动的三维场景生成提供布局层面的中间表示与大规模多源训练数据,可直接用于训练或评测文本条件扩散/自回归布局生成模型,并支撑语义可控编辑与物理合理性约束。
通过合成曝光包围实现线性图像生成
Linear Image Generation by Synthesizing Exposure Brackets
把高动态范围线性图像拆成曝光包围序列、再用 DiT 流匹配逐段生成,为需要保留极端高光与阴影的生成任务(HDR 合成、RAW 域生成、专业后期编辑)提供了一个可复用的表示与建模方案。
Interact2Ar:基于自回归扩散模型的全身体人-人交互生成
Interact2Ar: Full-Body Human-Human Interaction Generation via Autoregressive Diffusion Models
面向人体交互运动生成,提出并行分支建模手部运动学与带记忆机制的自回归扩散框架,可直接复用于手部精细动作生成、长时序运动合成与实时扰动自适应等视觉-运动生成任务。
通过判别性文本表征将一步图像生成从类别标签扩展到文本
Extending One-Step Image Generation from Class Labels to Text via Discriminative Text Representation
把 MeanFlow 这类一步/少步生成框架的条件从类别标签扩展到文本时,关键不是换更强的文本编码器,而是要求文本特征具备足够高的判别性;做少步蒸馏或一步采样时可直接借鉴这一「条件表征判别性」诊断与适配思路。
CADFS:面向大语言模型辅助计算机辅助设计的大规模 CAD 程序数据集与框架
CADFS: A Big CAD Program Dataset and Framework for Computer-Aided Design with Large Language Models
把 CAD 建模历史表示为可执行的 FeatureScript 程序,并用多模态标注微调 VLM,使视觉语言模型能够从文本或图像生成复杂 CAD 设计历史;这套「程序化序列表示 + 多模态标注」的思路可迁移到其他需要结构化程序输出的视觉生成任务。
CADC:内容自适应的基于扩散的生成式图像压缩
CADC: Content Adaptive Diffusion-Based Generative Image Compression
把扩散先验用于极低码率图像压缩时,可用空间不确定性图驱动量化步长、并用轻量辅助解码器约束主潜变量通道的信息保留,这套「内容自适应量化+信息集中」思路可迁移到任何需要潜变量压缩的生成式编码流程。
锚定与重标定注意力实现语义连贯的中间帧生成
Anchoring and Rescaling Attention for Semantically Coherent Inbetweening
把关键帧与文本作为语义/时序引导注入自注意力(Keyframe-anchored Attention Bias),并用重标定的时序 RoPE 强化帧间一致性,这套无需训练的注意力调制手段可直接迁移到视频插帧、长视频生成与关键帧约束的扩散采样中。
面向真实感文本到激光雷达场景生成的自条件表征引导扩散模型
A Self-Conditioned Representation Guided Diffusion Model for Realistic Text-to-LiDAR Scene Generation
对做 3D 感知的研究者,这篇提供了用扩散模型从文本生成激光雷达点云场景的完整方案:训练时用真实表征做软监督、推理时解耦的自条件引导,可缓解文本-点云配对稀缺导致的过度平滑;其条件编码器设计还能把稀疏到稠密、语义到激光雷达等任务统一到同一去噪网络中,可作为 3D 数据增广与跨模态条件生成的参考。