Tag · 14 篇
语义对齐
迈向统一的人类感知与机器理解:词元流引导的压缩框架
Towards Unified Human Perception and Machine Understanding: Token Flow Guided Compression Framework
TFGC 提出基于词元的灵活压缩框架,让 LVLM 直接处理压缩后的词元而无需图像重建,并支持超低码率下的可变码率控制;其词元流传播和语义引导对齐策略可被视觉研究者复用于设计面向机器理解的压缩-理解联合优化方案。
TeHOR:文本引导的带纹理三维人体与物体重建
TeHOR: Text-Guided 3D Human and Object Reconstruction with Textures
用文本描述替代/补充接触先验来约束人-物联合三维重建,可复用于非接触交互场景(指向、注视)的重建与生成;其将外观线索纳入对齐过程的做法,对单图人-物重建中的视觉合理性约束有直接借鉴价值。
语义上下文很重要:改进自回归模型的条件控制
Semantic Context Matters: Improving Conditioning for Autoregressive Models
把语义条件从解码阶段的稀疏视觉 token 注入提前到输入阶段的压缩语义预填充,并配合语义对齐引导,可作为即插即用模块迁移到 next-token 与 next-scale 两类自回归生成/编辑框架中。
SemVideo:通过分层语义引导从大脑活动中重建你所观看的内容
SemVideo: Reconstructs What You Watch from Brain Activity via Hierarchical Semantic Guidance
把分层语义提示(静态锚框描述、运动叙述、整体摘要)作为条件注入视频生成,并用三分支注意力融合重建运动模式,这套「语义引导 + 运动解耦」的思路可迁移到视频预测、条件视频生成与跨模态对齐任务。
基于可解释潜变量奖励的自纠正图像生成
Self-Corrected Image Generation with Explainable Latent Rewards
把不可微的图像级评价(MLLM 打分)通过可微映射转成潜变量空间的连续奖励梯度,再用轻量 corrector 在采样过程中修正潜变量——这套「潜变量奖励 + 自纠正」机制可直接迁移到任何 diffusion/flow 采样器的对齐微调或测试时优化中。
Scone:通过统一理解-生成建模弥合主体驱动图像生成中的组合与区分
Scone: Bridging Composition and Distinction in Subject-Driven Image Generation via Unified Understanding-Generation Modeling
把理解专家当作语义桥梁,向生成专家传递语义并配合注意力掩码抑制主体间干扰,为多主体个性化生成中「选对主体」的问题提供了可复用的两阶段训练与掩码引导思路。
ReSAM:精炼、重查询与强化——面向遥感图像的自提示词点监督分割
ReSAM: Refine, Requery, and Reinforce: Self-Prompting Point-Supervised Segmentation for Remote Sensing Images
把 SAM 的交互式提示词从人工输入改为自生成循环(点→伪掩码→自构框提示词→重查询),并用软语义对齐约束嵌入,这套自提示词自训练流程可直接迁移到任何缺乏密集标注的专业成像域分割任务。
全监督运动编辑:通过正负学习平衡变化与不变性
Omni-Supervised Motion Editing: Balancing Change and Invariance through Positive-Negative Learning
论文提出的正负学习统一监督范式(回顾式特征监督 + 基于源-目标相似度的运动保持 + 三元组语义对齐)可直接迁移到图像/视频编辑扩散模型中,用于缓解编辑时目标区域改动不足与未编辑区域被破坏之间的权衡。
MoLingo:面向文本到人体动作生成的动作-语言对齐
MoLingo: Motion-Language Alignment for Text-to-Human Motion Generation
提出用帧级文本标签训练语义对齐的运动编码器,使潜空间更利于扩散;并验证多token交叉注意力注入文本条件优于单token,可迁移到其他条件生成任务(如文本到图像/视频)的潜空间设计与条件注入。
MARIS:海洋开放词表实例分割
MARIS: Marine Open-Vocabulary Instance Segmentation
针对水下场景的开放词表实例分割,提出几何先验增强模块(GPEM)利用部件级结构线索保持退化视觉下的物体一致性,以及语义对齐注入机制(SAIM)用域特定先验丰富语言嵌入以识别未见类别,为跨域开放词表分割提供了可复用的设计思路。
LoST:面向三维形状的语义层级分词
LoST: Level of Semantics Tokenization for 3D Shapes
把 3D 形状 token 的排序从几何 LoD 换成语义显著性排序,并用 DINO 特征空间的关系结构对齐 3D 潜空间,可直接复用到任何基于自回归或潜变量的 3D 生成与形状表征学习流程中。
HBridge:面向统一多模态理解与生成的异构专家 H 形桥接
HBridge: H-Shape Bridging of Heterogeneous Experts for Unified Multimodal Understanding and Generation
HBridge 的非对称 H 形桥接结构只在中层共享注意力、浅层与深层解耦,为视觉研究者提供了一种可复用的异构专家融合范式:在保留 LLM 与扩散模型各自预训练先验的同时降低跨模态注意力的共享开销,可直接迁移到需要同时做视觉理解与图像生成的统一模型中。
面向手语生成的语义一致引导焦点-全局扩散模型
Focal-General Diffusion Model with Semantic Consistent Guidance for Sign Language Production
两阶段去噪框架把局部关节级建模(自适应图卷积)与全局序列精修(Transformer)解耦,并用语义一致引导把文本语义监督注入扩散训练,这一「局部-全局分层去噪 + 语义引导」思路可迁移到人体姿态/动作序列生成等结构化输出任务。
Duala:面向跨被试fMRI解码的主体与刺激双层对齐
Duala: Dual-Level Alignment of Subjects and Stimuli for Cross-Subject fMRI Decoding
提出刺激级语义对齐与关系一致性约束,以及基于分布的特征扰动机制,可迁移到其他跨域/跨被试的视觉表征对齐任务,如跨摄像头行人重识别中的域适应。