Tag · 8 篇
整流流
Vinedresser3D:迈向智能体式文本引导 3D 编辑
Vinedresser3D: Towards Agentic Text-guided 3D Editing
把 3D 编辑搬到原生 3D 生成模型的潜空间里做,用 MLLM 做编辑意图解析与区域定位、再用 inversion-based rectified-flow 图像修复提供视觉引导,这条「语言代理 + 2D 引导 + 3D 潜空间修复」的流水线可直接迁移到 3D 资产编辑与可控 3D 生成任务。
Sketch2Colab:基于可控流蒸馏的草图条件多人动画
Sketch2Colab: Sketch-Conditioned Multi-Human Animation via Controllable Flow Distillation
把草图条件扩散先验蒸馏成潜空间整流流学生模型,并用可微目标(关键帧、路径、接触、物理一致性)做引导,为视觉研究者提供了一条「强条件控制 + 快速采样」的运动生成范式;CTMC 规划器用于切换离散交互模式,可迁移到人-物-人交互或手-物操作序列建模。
SceneTok:面向三维场景的压缩可扩散 token 空间
SceneTok: A Compressed, Diffusable Token Space for 3D Scenes
把多视角图像编码成一小撮置换不变、脱离空间网格的潜变量 token,再用轻量整流流解码器渲染新视角,为 3D 场景生成提供了比 3DGS/NeRF 更紧凑、可直接接扩散/流模型的表示接口。
一个模型,多种预算:面向扩散 Transformer 的弹性潜变量接口
One Model, Many Budgets: Elastic Latent Interfaces for Diffusion Transformers
把 DiT 的计算量与输入分辨率解耦:用可学习、可变长的潜变量序列作为中间接口,配合轻量 Read/Write 交叉注意力在空间词元与潜变量之间搬运信息,并通过随机丢弃尾部潜变量训练出重要性有序的表示,推理时按算力预算截断潜变量数量即可实现连续的延迟-质量权衡。做高分辨率生成或需要在固定算力下部署扩散模型的工作可直接把该模块插进现有 DiT/U-ViT/MM-DiT 主干。
NAMI:通过桥接渐进式整流流 Transformer 实现高效图像生成
NAMI: Efficient Image Generation via Bridged Progressive Rectified Flow Transformers
NAMI 通过按分辨率分段使用不同层数的 DiT 并用 BridgeFlow 模块对齐各阶段流,在 1024×1024 生成上减少 64% 推理时间,为视觉生成模型提供了一种可复用的高效多分辨率训练与推理范式。
GDRO:适用于扩散模型的组级奖励后训练
GDRO: Group-level Reward Post-training Suitable for Diffusion Models
对做扩散/整流流模型奖励对齐的人,GDRO 给出一个可复用的后训练范式:用组级奖励构造完全离线的目标,省掉在线图像采样 rollout,并摆脱 ODE-to-SDE 近似对随机采样器的依赖;同时提出把奖励黑客趋势纳入评测的修正分数,可直接用于评估任何 RL 微调的文生图模型。
基于球谐函数的高效混合 SE(3) 等变视觉运动流策略用于机器人操作
Efficient Hybrid SE(3)-Equivariant Visuomotor Flow Policy via Spherical Harmonics for Robot Manipulation
把球谐函数表示作为 SO(3) 等变的载体,并设计不变特征增强模块融合点云与图像,可直接迁移到任何需要旋转等变的多模态视觉编码器;同时证明整流流可与等变扩散策略稳定结合,为少步采样策略学习提供可复用方案。
CaReFlow:用于多模态融合的循环自适应整流流
CaReFlow: Cyclic Adaptive Rectified Flow for Multimodal Fusion
把整流流当作跨模态分布映射器,用一对多映射让源模态每个样本看到目标模态全局分布,配合自适应松弛对齐与循环整流流约束,可作为视觉-文本/视觉-音频特征对齐的通用预对齐模块,替代扩散或对抗式一对一对齐。