Tag · 56 篇
自回归生成
WonderZoom：多尺度三维世界生成
WonderZoom: Multi-Scale 3D World Generation
把尺度自适应的 Gaussian surfels 与渐进式细节合成器结合，让单张图像可以自回归地「放大」出跨尺度的三维内容，为单图三维场景生成与实时渲染提供了一条可复用的多尺度表示思路。
VideoWeaver：面向具身智能体的多模态多视图视频到视频翻译
VideoWeaver: Multimodal Multi-View Video-to-Video Transfer for Embodied Agents
将多视图视频翻译统一到基于前馈空间基础模型（Pi3）的共享4D潜空间，并用不同扩散时间步训练实现视图一致的自回归新视角合成，为具身智能中的世界随机化提供可复用方案。
VecGlypher：基于语言模型的统一矢量字形生成
VecGlypher: Unified Vector Glyph Generation with Language Models
将矢量字形生成建模为自回归序列生成问题，直接输出SVG路径令牌，避免了栅格化中间步骤，为视觉生成任务提供了一种可编辑、高保真的矢量输出范式；其两阶段训练策略和坐标量化方法可迁移到其他结构化图形生成任务。
VQRAE：面向多模态理解、生成与重建的表征量化自编码器
VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction
提出用高维语义VQ码本（1536维）在统一分词器中同时输出连续语义特征和离散token，视觉研究者可借鉴其两阶段训练策略（先冻结编码器学码本，再自蒸馏联合优化）来构建兼顾理解与生成的视觉表征。
VA-π：面向像素感知自回归生成的变分策略对齐
VA-p: Variational Policy Alignment for Pixel-Aware Autoregressive Generation
将自回归生成器的词元似然优化与像素空间重建质量对齐，通过变分ELBO和强化学习策略（以重建质量为内在奖励）实现轻量后训练，可直接用于提升现有AR生成模型（如LlamaGen、Janus-Pro）的生成质量，无需重训分词器或外部奖励模型。
基于标记表示的统一矢量户型图生成
Unified Vector Floorplan Generation via Markup Representation
把户型图编码成结构化标记语言后统一为下一词元预测，这种「用单一序列语法统一异构条件」的思路可迁移到布局生成、场景图到图像等需要多条件输入的可控生成任务。
UniLS：面向统一听与说的端到端音频驱动虚拟人
UniLS: End-to-End Audio-Driven Avatars for Unified Listening and Speaking
两阶段训练范式（先无音频自回归学习内在运动先验，再用双轨音频微调调制）为音频驱动的人脸/头部生成提供了可复用思路，尤其适合解决弱音频驱动信号下生成僵硬的问题；双轨音频端到端设定也可直接用于交互式数字人。
UniCompress：面向统一视觉-语言理解与生成的词元压缩
UniCompress: Token Compression for Unified Vision-Language Understanding and Generation
对做统一视觉-语言模型的人，这套带可学习全局元词元的即插即用压缩/解压模块可以直接插到已有的离散词元自回归框架里，把图像词元砍到 1/4 而不必全量重训，是降低多模态推理延迟与显存的一条低成本路径。
面向视频帧插值的整体建模：自回归扩散 Transformer
Towards Holistic Modeling for Video Frame Interpolation with Auto-regressive Diffusion Transformers
把视频帧插值从「三元组」式局部处理改为整段视频的自回归扩散 Transformer 建模，配合 skip-concatenate 采样抑制误差累积、稀疏局部注意力与瓦片式 VAE 编码支持 4K 任意分辨率推理，可直接迁移到长视频生成与视频复原任务的长时序一致性建模。
迈向真实世界红外图像超分辨率：统一自回归框架与基准数据集
Toward Real-world Infrared Image Super-Resolution: A Unified Autoregressive Framework and Benchmark Dataset
提出热结构引导的自回归框架与条件自适应码本，可迁移到其他真实退化下的底层视觉任务（如低光增强、去模糊），其热序一致性损失为物理约束融入复原模型提供思路。
TempoMaster：通过下一帧率预测实现高效长视频生成
TempoMaster: Efficient Long Video Generation via Next-Frame-Rate Prediction
把长视频生成拆成「先低帧率粗蓝图、再逐级升帧率精修」的层级自回归范式，帧内双向注意力保证并行效率、跨帧率自回归保证长程时序一致，可直接迁移到任何需要长时序一致性的视频扩散/流匹配采样流程中。
ShapeAR：通过自回归扩散生成可编辑形状层
ShapeAR: Generating Editable Shape Layers via Autoregressive Diffusion
把光栅图像分解为可编辑的 RGBA 矢量形状层，并用自回归流匹配扩散在潜空间中逐步生成，为图像矢量化与分层编辑提供了一条不依赖边界追踪的新路径；其几何感知评测指标也可复用于形状生成质量评估。
SceMoS：以几何接地词表规划的场景感知三维人体运动合成
SceMoS: Scene-Aware 3D Human Motion Synthesis by Planning with Geometry-Grounded Tokens
用 BEV 渲染图 + DINOv2 特征替代点云/体素做场景编码，并用局部高度图训练条件 VQ-VAE 分词器把表面物理嵌入离散词表——这套「2D 场景线索接地 3D 交互」的因子化思路可直接迁移到人体-场景交互、导航与具身动作生成中，显著降低场景编码参数量。
STARFlow-V：基于自回归归一化流的端到端视频生成建模
STARFlow-V: End-to-End Video Generative Modeling with Autoregressive Normalizing Flows
为视觉研究者提供了一条绕开扩散模型的视频生成路线：可逆归一化流在时空潜空间中做自回归因果预测，天然支持似然估计与 T2V/I2V/V2V 统一建模，其 flow-score matching 与视频感知 Jacobi 迭代可直接迁移到其他自回归视频生成器的误差累积与采样加速问题上。
复用三维生成模型进行自回归布局生成
Repurposing 3D Generative Model for Autoregressive Layout Generation
把预训练 3D 扩散模型改造为自回归布局生成器，并用双引导自 rollout 蒸馏提升空间精度与推理效率，为 3D 场景合成提供了一条可复用的「生成模型复用 + 蒸馏加速」路线。
基于参考引导深度压缩变分自编码器的实时可流式说话人肖像视频生成
Real-Time Generation of Streamable Talking Portrait Video with Reference-Guided Deep Compression VAEs
因果视频 VAE 将可变数量的参考图像作为引导，把静态外观信息从潜变量中剥离，使网络专注动态信息，这一思路可直接迁移到任何需要深度潜空间压缩的流式视频生成任务；块级自回归的 Rectified Flow Transformer 也为实时长视频生成提供了可复用的采样架构。
RFDM：用于视频编辑的残差流扩散模型
RFDM: Residual Flow Diffusion Models for Video Editing
把 2D 图生图扩散模型改造成因果逐帧的视频编辑器，用 t-1 步预测作为条件、并让前向过程预测相邻帧残差，从而以图像级算力处理任意长度视频；这套「残差流 + 自回归条件」思路可直接迁移到其他需要变长、低算力的视频生成/编辑任务。
RAYNOVA：射线空间中的尺度-时序自回归世界建模
RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space
RAYNOVA 提出基于相对 Plücker 射线位置编码的各向同性时空表示，结合双因果自回归框架统一处理尺度与时间拓扑顺序，为多视角视频生成提供了一种无需显式 3D 几何先验的通用方法，可启发视觉研究者设计更鲁棒的世界模型。
PointNSP：基于下一尺度细节层次预测的自回归三维点云生成
PointNSP: Autoregressive 3D Point Cloud Generation with Next-Scale Level-of-Detail Prediction
提出基于下一尺度预测的自回归点云生成框架，利用多尺度分解对齐点集的无序性，避免固定顺序偏差，可复用于其他无序集合生成任务（如点云补全、场景生成）。
PixARMesh：自回归网格原生的单视图场景重建
PixARMesh: Autoregressive Mesh-Native Single-View Scene Reconstruction
把网格生成模型与像素对齐的图像特征、全局场景上下文通过交叉注意力结合，并用统一的词元流（上下文+位姿+网格）自回归地一次性输出布局与几何，为单图三维重建提供了一条绕开隐式 SDF 与后处理布局优化的端到端路线。
PartDiffuser：基于离散扩散的部件级三维网格生成
PartDiffuser: Part-wise 3D Mesh Generation via Discrete Diffusion
把「部件间自回归 + 部件内并行离散扩散」的混合生成范式用于网格生成，并用点云作为分层几何条件通过部件感知交叉注意力注入，为可控、高细节的3D资产生成提供了可复用的条件控制与解耦思路。
OneStory：基于自适应记忆的连贯多镜头视频生成
OneStory: Coherent Multi-Shot Video Generation with Adaptive Memory
将多镜头视频生成重构为逐镜头自回归的下一镜头生成任务，并复用预训练 I2V 模型；其帧选择构建全局记忆与重要性引导的 patch 化压缩上下文，可直接迁移到长视频生成、故事化叙事以及任何需要跨片段长程一致性的条件生成任务。
OneCAT：面向统一理解与生成的纯解码器自回归模型
OneCAT: Decoder-Only Auto-Regressive Model for Unified Understanding and Generation
用模态专属 MoE 加统一自回归目标，在纯 decoder-only Transformer 内同时做理解、生成与编辑，推理时不再依赖 ViT 和视觉分词器，对高分辨率输入输出尤其省算力；scale-aware adapter 把多尺度视觉自回归塞进 LLM，给做统一多模态生成的人一条低延迟、可原生支持动态分辨率的替代路线。
面向文本到动作生成的下一尺度自回归模型
Next-Scale Autoregressive Models for Text-to-Motion Generation
把「下一 token 预测」换成「下一尺度预测」的由粗到细自回归框架，可直接迁移到视频/长时序视觉生成中，用跨尺度层级精修与尺度内双向重预测缓解长程结构建模与数据稀缺问题。
MoLingo：面向文本到人体动作生成的动作-语言对齐
MoLingo: Motion-Language Alignment for Text-to-Human Motion Generation
提出用帧级文本标签训练语义对齐的运动编码器，使潜空间更利于扩散；并验证多token交叉注意力注入文本条件优于单token，可迁移到其他条件生成任务（如文本到图像/视频）的潜空间设计与条件注入。
MeshWeaver：稀疏体素引导的表面编织用于自回归网格生成
MeshWeaver: Sparse-Voxel-Guided Surface Weaving for Autoregressive Mesh Generation
把稀疏体素特征同时当作顶点表示、交叉注意力引导和结构脚手架，为自回归网格生成注入局部几何先验；这套「体素编码器 + 下一顶点预测」的范式可直接迁移到点云/网格的自回归建模与高面数资产生成。
MeshRipple：艺术家网格的结构化自回归生成
MeshRipple: Structured Autoregressive Generation of Artist-Meshes
把网格面序列化顺序与表面拓扑对齐（frontier-aware BFS tokenization），并用稀疏注意力全局记忆扩展感受野，可直接迁移到任何自回归式 3D 资产生成或点云/网格序列建模中，解决滑窗推理割裂长程几何依赖的问题。
MeshMosaic：通过局部到全局组装扩展艺术家网格生成
MeshMosaic: Scaling Artist Mesh Generation via Local-to-Global Assembly
把高面数网格切成局部块、逐块自回归生成并用共享边界条件保证接缝一致，这套局部到全局的量化与组装策略可直接迁移到高分辨率网格/3D资产的生成与补全，绕开长序列与量化粒度瓶颈。
MarkushGrapher-2：端到端多模态化学结构识别
MarkushGrapher-2: End-to-end Multimodal Recognition of Chemical Structures
该工作将文本、图像与版面信息通过视觉-文本-版面编码器与光学化学结构识别视觉编码器联合编码，并采用两阶段训练策略融合，为文档图像中的多模态结构识别提供了可复用的编码与融合范式。
MIBURI：迈向富有表现力的交互式手势合成
MIBURI: Towards Expressive Interactive Gesture Synthesis
把全身手势与面部表情编码成多层级离散 token，再用二维因果自回归框架在 LLM 语音-文本嵌入条件下实时生成，为视觉侧的人体动作合成提供了可复用的「部位感知运动编解码 + 因果自回归」范式，适合做实时虚拟人/对话智能体的动作驱动。
LottieGPT：面向自回归生成的矢量动画词元化
LottieGPT: Tokenizing Vector Animation for Autoregressive Generation
将矢量动画（Lottie JSON）通过定制分词器编码为紧凑词元序列，并微调 Qwen-VL 实现自回归生成，为视觉生成提供了一种超越栅格空间、直接输出可编辑结构化数据的新范式。
LoST：面向三维形状的语义层级分词
LoST: Level of Semantics Tokenization for 3D Shapes
把 3D 形状 token 的排序从几何 LoD 换成语义显著性排序，并用 DINO 特征空间的关系结构对齐 3D 潜空间，可直接复用到任何基于自回归或潜变量的 3D 生成与形状表征学习流程中。
LacTokGen：用 256 个词元生成 1024 像素图像的潜一致性分词器
LacTokGen: Latent Consistency Tokenizer for 1024-pixel Image Generation by 256 Tokens
LacTok 将离散视觉词元与预训练潜扩散模型的紧凑潜空间桥接，用 256 个词元表示 1024×1024 图像，为高分辨率自回归图像生成提供了一种高效的分词方案；其潜一致性解码器将多步采样压缩至 1-2 步，可直接用于像素级监督，这一思路可迁移到其他需要高效解码的生成任务中。
LLaMo：以连续自回归 token 扩展预训练语言模型实现统一的动作理解与生成
LLaMo: Scaling Pretrained Language Models for Unified Motion Understanding and Generation with Continuous Autoregressive Tokens
把人体动作编码进因果连续潜空间、用轻量 flow-matching 头在 decoder-only 骨干上保留下一 token 预测，从而绕开离散量化的抖动并实现 30FPS 流式生成——这套「连续 token + MoT 隔离模态」的做法可直接迁移到视频/动作序列的视觉-语言统一建模。
GeneVAR：面向自回归基因到 WSI 瓦片合成的因果 MeanFlow
GeneVAR: Causal MeanFlow for Autoregressive Gene-to-WSI Tile Synthesis
把 RNA-Seq 条件通过反事实干预约束成伪影不变的自回归粗到细生成过程，可为视觉中「条件信号弱、易被染色/对比度等非语义因素劫持」的可控生成提供可复用的因果正则思路；多尺度矢量量化离散形态表示也可迁移到其他病理或遥感瓦片生成。
FlashMesh：通过结构化推测实现更快更好的自回归网格合成
FlashMesh: Faster and Better Autoregressive Mesh Synthesis via Structured Speculation
把推测解码（speculative decoding）引入自回归网格生成，利用网格 token 在面/点/坐标层级上的结构相关性做多 token 并行预测，可直接迁移到其他自回归式 3D 生成器（如 MeshGPT 类模型）做免训练或轻训练加速。
FVAR：面向视觉自回归建模的下一聚焦预测
FVAR: Next-Focus Prediction for Visual Autoregressive Modeling
将视觉自回归生成中的均匀降采样金字塔替换为基于物理散焦核的渐进聚焦金字塔，从源头消除混叠，可直接用于改进 VAR 类模型的细节生成质量。
EditCtrl：面向实时生成式视频编辑的解耦局部与全局控制
EditCtrl: Disentangled Local and Global Control for Real-Time Generative Video Editing
把视频编辑的计算量从全视频上下文收缩到掩码 token 上，再用轻量全局上下文嵌入器补回时序一致性，这个「局部优先 + 全局轻量引导」的分解思路可直接迁移到任何基于扩散/流模型的视频修复、物体移除或区域重绘管线中，并支撑实时自回归传播。
EVATok：面向高效视觉自回归生成的自适应长度视频分词器
EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation
提出自适应视频分词器，根据视频内容动态分配词元数量，在保持重建质量的同时显著降低下游自回归生成的计算成本，为视频生成模型的高效化提供了可复用的分词与路由机制。
DextER：具备具身推理的语言驱动机器人灵巧抓取生成
DextER: Language-driven Dexterous Grasp Generation with Embodied Reasoning
把「哪根手指连杆接触物体表面何处」作为具身感知的中间表示，用自回归 token 生成桥接任务语义与物理约束；这一接触 token 化的思路可迁移到其他手-物交互、可供性预测与可控操作生成任务。
设计你的广告：基于统一自回归模型的个性化广告图像与文本生成
Design Your Ad: Personalized Advertising Image and Text Generation with Unified Autoregressive Models
把图像与文本放进同一个自回归框架联合生成，并用粗到细的偏好理解模块从噪声多模态历史行为中抽取用户兴趣作为生成条件，为视觉生成中的个性化条件注入提供了可复用的范式；其前景感知模块与产品背景相似度指标也可直接用于电商图像生成的质量控制。
CubeComposer：从透视视频时空自回归生成 4K 360 度视频
CubeComposer: Spatio-Temporal Autoregressive 4K 360deg Video Generation from Perspective Video
把高分辨率全景视频生成拆成立方体贴图六面 + 时间窗的自回归序列，配合稀疏上下文注意力与立方体感知位置编码，为在有限显存下原生生成超高分辨率视频提供了可复用的时空自回归分解范式。
面向自回归动作生成的因果动作扩散模型
Causal Motion Diffusion Models for Autoregressive Motion Generation
把因果扩散强制（causal diffusion forcing）与逐帧采样调度引入潜空间扩散 Transformer，为视觉领域实现流式、低延迟的自回归序列生成（如视频、动作序列）提供了可复用的时序因果去噪范式。
CamDirector：面向长期连贯的视频轨迹编辑
CamDirector: Towards Long-Term Coherent Video Trajectory Editing
用混合 warping（静态区域渐进融合进 world cache 再按目标位姿渲染、动态区域直接 warp）生成全局一致的粗帧作为扩散精修的条件，可迁移到任何需要精确相机控制与长程一致性的视频生成/新视角合成任务。
CaTok：驯服平均流实现一维因果图像分词
CaTok: Taming Mean Flows for One-Dimensional Causal Image Tokenization
把图像压缩成一维因果词元序列并用 MeanFlow 解码器做一步/多步采样，可直接作为视觉自回归生成的前端分词器替换方案；REPA-A 用视觉基础模型特征对齐编码器，是一种可复用的稳定训练正则化手段。
BrickNet：图结构驱动的生成式积木装配
BrickNet: Graph-Backed Generative Brick Assembly
用图结构（连通性关系）替代直接回归 3D 位姿来参数化积木装配序列，这一「以关系为中心的结构表示」思路可迁移到需要满足物理约束的 3D 组合式生成与场景布局任务中，避免自回归长序列快速失效。
双向自回归扩散用于大复杂运动插值
Bi-directional Autoregressive Diffusion for Large Complex Motion Interpolation
ARVFI 将自回归生成与扩散模型结合，从两端向中间逐帧插值，并利用 DINOv3 高层语义特征作为运动表示，为视频插值中的大复杂运动提供了一种可复用的时序生成框架。
超越图块：面向多模态少样本字体生成的全局感知自回归模型
Beyond Patches: Global-aware Autoregressive Model for Multimodal Few-Shot Font Generation
全局感知分词器与轻量语言-风格适配器可迁移到其他需要全局一致性的自回归图像生成任务，如场景文字生成或风格化草图合成。
AvatarPointillist：自回归 4D 高斯化身化
AvatarPointillist: AutoRegressive 4D Gaussian Avatarization
用仅解码器 Transformer 自回归地逐点生成 3DGS 点云，并按主体复杂度自适应调整点密度，这一「序列化生成 3D 表示」的范式可迁移到其他需要可变分辨率三维表示的生成任务；同时以 AR 生成器的潜变量特征作为高斯解码器的条件，为两阶段生成管线提供了跨阶段特征复用的具体做法。
AutoTraces：基于多模态大语言模型的自回归轨迹预测
AutoTraces: Autoregressive Trajectory Forecasting via Multimodal Large Language Models
把连续物理坐标离散化为 token 接入 LLM 自回归解码，并用多模态 LLM 自动生成时空推理思维链，这套「坐标分词 + 自动 CoT」可迁移到人体轨迹预测、视觉导航等需要输出连续几何序列的视觉任务。
基于 B-rep 整体词元序列表示的自回归生成
AutoRegressive Generation with B-rep Holistic Token Sequence Representation
把 B-rep 的几何与拓扑统一编码成单一词元序列，使 Transformer 自回归生成框架可直接用于 CAD 边界表示生成；对做 3D 生成与结构化几何表示的人，这是一条把图结构转成序列、从而复用语言模型式生成范式的可复用思路。
我们准备好将强化学习用于文本到3D生成了吗？一项渐进式探究
Are We Ready for RL in Text-to-3D Generation? A Progressive Investigation
把 GRPO 这类 RL 后训练从 2D 图像生成迁移到文本到 3D 自回归生成，并给出奖励设计（多模态模型作奖励、人类偏好对齐）与 token 级优化的可复用经验；Hi-GRPO 的全局到局部层级奖励集成思路可直接用于任何分阶段生成的 3D/视频模型。
Archon：面向整体数字人生成的统一多模态模型
Archon: A Unified Multimodal Model for Holistic Digital Human Generation
语义视频重参数化把高保真说话视频的词元量压缩 4 倍，再配合语义驱动的视频扩散解码器还原细节，这套「先语义压缩、后扩散解码」的流程可直接迁移到任何需要长视频自回归生成的视觉任务；「Thinking in Modality」的交替模态逐步推理思路也可用于提升跨模态条件生成的保真度与可控性。
ARMFlow：用于在线三维人体反应生成的自回归平均流模型
ARMFlow: AutoRegressive MeanFlow for Online 3D Human Reaction Generation
把 MeanFlow 的单步速度预测与因果上下文编码器结合，用于在线人体反应动作生成；BSCE（用生成历史而非真值编码）是缓解自回归误差累积的可复用训练技巧，可迁移到其他流式动作/视频生成任务。
基于 SVD 特征分解的免训练风格个性化
A Training-Free Style-Personalization via SVD-Based Feature Decomposition
用 SVD 分解内部特征的主成分来分离风格与内容，并在推理阶段通过特征混合与注意力校正实现风格迁移，为免训练个性化生成提供了一条可复用的「特征分解+注意力干预」路径。
一个风格只值一个编码：用离散风格空间解锁编码到风格的图像生成
A Style is Worth One Code: Unlocking Code-to-Style Image Generation with Discrete Style Space
把风格压缩成离散码本中的嵌入，再用自回归模型建模其分布，从而用单个数字码控制 T2I 扩散模型生成风格——这套「离散风格码本 + 自回归采样」的范式可直接迁移到个性化生成、风格 LoRA 替代方案等需要可复现、可枚举风格控制的任务。