Tag · 26 篇
位置编码
ViLearn：通过可见性学习加速图像到三维生成的训练收敛
ViLearn: Accelerating Training Convergence of Image-to-3D Generation via Visibility Learning
将 VecSet 词元按可见性分组并设计可见性感知位置编码，为单图三维生成中的扩散模型注入结构先验，可显著加速收敛；该思路可迁移到其他基于无序集合表示的三维生成或重建任务。
UniDAC：面向任意相机的通用度量深度估计
UniDAC: Universal Metric Depth Estimation for Any Camera
把度量深度解耦为相对深度预测加空间变化的尺度估计，并用相对深度引导的轻量模块把粗尺度图上采样到高分辨率，这一思路可直接迁移到鱼眼、全景等大视场相机的深度模型；RoPE-φ 的纬度感知加权位置编码也为 ERP 畸变建模提供了可复用的做法。
理解大语言模型与视觉语言模型中的计数机制
Understanding Counting Mechanisms in Large Language and Vision-Language Models
对做 LVLM 的人：论文用因果中介分析定位到视觉嵌入中承载计数的区域（随空间构图在前景/背景间迁移），并指出视觉编码器属性会塑造计数行为——这为诊断和改造 LVLM 的视觉侧数值表征提供了可复用的探针工具 CountScope 与逐层分析范式。
UltraFlux：面向多宽高比高质量原生 4K 文本到图像生成的数据-模型协同设计
UltraFlux: Data-Model Co-Design for High-quality Native 4K Text-to-Image Generation across Diverse Aspect Ratios
针对原生 4K 文生图，提出 Resonance 2D RoPE 与 YaRN 结合的位置编码、非对抗 VAE 后训练、SNR 感知的 Huber 小波损失以及分阶段美学课程学习，系统解决高分辨率下位置编码、VAE 压缩与优化耦合失效的问题，可直接迁移到其他高分辨率扩散模型。
边看边想：面向大型视觉语言模型的流式思维链推理
Think-as-You-See: Streaming Chain-of-Thought Reasoning for Large Vision-Language Models
把视频 LVLM 的思维链从「看完再想」改成「边看边想」，用流式注意力掩码、位置编码和并行 KV 缓存实现帧到达即推理，可直接迁移到任何需要低延迟视频问答或在线视频理解的视觉语言模型上。
SpaceDrive：将空间感知注入基于视觉语言模型的自动驾驶
SpaceDrive: Infusing Spatial Awareness into VLM-based Autonomous Driving
把 3D 坐标（多视角深度、历史自车状态、文本提示）统一编码为位置编码，既叠加到 2D 视觉 token 上，又替代数字 token 作为 VLM 的输入输出，使 VLM 能直接回归连续轨迹坐标；这一「空间位置编码替代数字 token」的思路可迁移到任何需要 VLM 做几何量输出的视觉任务。
SoPE：基于球坐标的位置嵌入用于增强3D大视觉语言模型的空间感知
SoPE: Spherical Coordinate-Based Positional Embedding for Enhancing Spatial Perception of 3D LVLMs
针对3D点云词元的位置编码缺陷，提出球坐标位置嵌入（SoPE），可替换RoPE用于3D LVLMs，提升空间感知与方向变化建模，为视觉语言模型中的3D几何表示提供新思路。
SPE-MVS：融合单目深度先验的空间位置编码增强多视图立体
SPE-MVS: Spatial Position Encoding Enhanced Multi-View Stereo with Monocular Depth Priors
把单目深度先验编码成统一度量空间下的三维空间位置编码，并与图像特征一起送入代价体构建，为弱纹理、反光等光度一致性失效区域提供几何先验；做 MVS 或深度估计时可复用这一『空间位置相似度』替代纯光度匹配的思路。
SimplePoster：产品海报生成的简单基线
SIMPLEPOSTER: A SIMPLE BASELINE FOR PRODUCT POSTER GENERATION
提出一种极简的图像修复框架，通过全参数微调和字符级位置编码实现主体保持与位置可控的文本渲染，无需 ControlNet 等外部控制器，为可控生成提供了轻量级替代方案。
S$^2$-MLLM：以结构引导提升多模态大语言模型空间推理能力用于3D视觉定位
S$^2$-MLLM: Boosting Spatial Reasoning Capability of MLLMs for 3D Visual Grounding with Structural Guidance
用前馈三维重建的结构感知作为隐式空间引导，替代逐视角点云渲染，让 MLLM 在不重建点云的情况下获得 3D 空间推理能力；其 intra/inter-view 注意力加多级位置编码的结构增强模块可直接迁移到任何需要把多视角 2D 特征对齐到 3D 空间的 VLM 任务。
重新思考位置嵌入：作为多参考与多镜头视频生成的上下文控制器
Rethinking Position Embedding as a Context Controller for Multi-Reference and Multi-Shot Video Generation
将位置编码作为额外的上下文控制信号，在语义检索之外实现 token 级精确匹配，可缓解多参考图像外观高度相似时的参考混淆问题，为多参考、多镜头视频生成中的角色一致性控制提供可复用思路。
OmniGen2：迈向指令对齐的多模态生成
OmniGen2: Towards Instruction-Aligned Multimodal Generation
两阶段范式（先构建世界知识基础模型，再用渐进式多任务强化学习对齐）可直接迁移到任何需要细粒度指令遵循的视觉生成任务；解耦解码架构与新型位置编码方案为统一多模态生成器的效率设计提供参考。
OPRO：面向面板感知上下文图像生成的正交面板相对算子
OPRO: Orthogonal Panel-Relative Operators for Panel-Aware In-Context Image Generation
把可学习的面板相对正交算子叠加到冻结的位置编码上，在保持等距性与同面板不变性的同时实现面板感知的上下文条件注入，可直接复用于基于扩散 Transformer 的图像编辑与多面板布局生成管线。
MODIX：面向视觉语言模型的免训练多模态信息驱动位置索引缩放
MODIX: A Training-Free Multimodal Information-Driven Positional Index Scaling for Vision-Language Models
对做 VLM 推理与注意力分析的人，这篇给出了一个免训练、不改参数的位置索引重标定手段：用协方差熵衡量模态内信息密度、用跨模态对齐衡量模态间交互，据此缩放位置步长，可直接插到现有 VLM 的注意力计算前，用来缓解冗余视觉 token 抢占注意力的问题。
MLLMSplat：一个由2D多模态大语言模型驱动的3D高斯泼溅理解、生成与编辑框架
MLLMSplat: A 2D MLLM-Powered Framework for 3D Gaussian Splatting Understanding, Generation, and Editing
将2D多模态大语言模型（MLLM）通过3DGS分词器和去分词器适配到3D高斯泼溅场景，实现无需训练的3DGS理解、高质量生成和高效编辑，为3D场景的跨模态处理提供了新范式。
LitePT：更轻量却更强的点云 Transformer
LitePT: Lighter Yet Stronger Point Transformer
为 3D 点云骨干网络提供了「浅层卷积 + 深层注意力」的分层设计准则，并给出无需额外参数的 PointROPE 三维位置编码，可直接替换 Point Transformer 系列骨干以降低显存与延迟。
面向细粒度图像生成的按检测头自适应旋转位置编码
Head-wise Adaptive Rotary Positional Encoding for Fine-Grained Image Generation
把标准多维 RoPE 换成按检测头自适应、经 SVD 参数化的可学习旋转映射，可直接作为现有 DiT/Flux 类图像生成主干的位置编码替换件，改善细粒度空间关系与计数能力，且不破坏相对位置性质。
FocusUI：通过位置保持的视觉词元选择实现高效 UI 视觉定位
FocusUI: Efficient UI Grounding via Position-Preserving Visual Token Selection
针对高分辨率截图词元冗余问题，提出指令条件化 patch 级监督与 PosPad 位置连续性保持的视觉词元选择方案，可直接迁移到任意高分辨率 VLM 的视觉编码压缩与定位任务中。
ELV-Halluc：面向视频理解中语义聚合幻觉的基准评测
ELV-Halluc: Benchmarking Semantic Aggregation Hallucinations in Video Understanding
把视频幻觉从「帧级感知错误」重新拆解为「帧级语义聚合为事件级语义时的错误」，并给出可复用的细粒度评测协议与 DPO 缓解方案；做视频 MLLM 时序推理或幻觉评测的工作可直接沿用其 SAH 定义与 8K 对抗视频-文本对数据。
DreamingComics：基于视频模型的主体与布局定制化故事可视化流程
DreamingComics: A Story Visualization Pipeline via Subject and Layout Customized Generation using Video Models
RegionalRoPE 按目标布局对 token 位置索引重编码，配合 masked condition loss 把主体特征约束到指定区域，这套「区域感知位置编码 + 掩码条件损失」可直接迁移到任何基于 DiT 的布局可控图像/视频生成任务。
DiffDecompose：基于扩散 Transformer 的 Alpha 合成图像逐层分解
DiffDecompose: Layer-Wise Decomposition of Alpha-Composited Images via Diffusion Transformers
把扩散 Transformer 当作后验采样器来解 alpha 合成图像的逐层分解，其 In-Context Decomposition 与 Layer Position Encoding Cloning 可直接迁移到去遮挡、透明物体分离、图层化编辑等需要多图层一致输出的视觉任务。
CubeComposer：从透视视频时空自回归生成 4K 360 度视频
CubeComposer: Spatio-Temporal Autoregressive 4K 360deg Video Generation from Perspective Video
把高分辨率全景视频生成拆成立方体贴图六面 + 时间窗的自回归序列，配合稀疏上下文注意力与立方体感知位置编码，为在有限显存下原生生成超高分辨率视频提供了可复用的时空自回归分解范式。
面向隐式神经表示的内容感知频率编码与傅里叶-切比雪夫特征
Content-Aware Frequency Encoding for Implicit Neural Representations with Fourier-Chebyshev Features
CAFE 用多个并行线性层经 Hadamard 积合成可学习的频率基，替代固定傅里叶基，可直接替换 NeRF、SIREN 类隐式表示中的位置编码模块，缓解谱偏置、提升高频细节重建；CAFE+ 再叠加切比雪夫特征作为互补，为视觉中的坐标型 MLP 提供更稳定的频率表征方案。
AlcheMinT：面向多参考一致视频生成的细粒度时序控制
AlcheMinT: Fine-grained Temporal Control for Multi-Reference Consistent Video Generation
提出一种可插拔的时间区间位置编码，把主体身份与显式时间戳绑定，并通过 token 级拼接注入预训练视频扩散模型，无需额外交叉注意力即可实现多主体出现/消失的精细时序控制，可直接复用于可控视频合成与故事板生成。
AdaSFormer：面向室内环境单目语义场景补全的自适应序列化 Transformer
AdaSFormer: Adaptive Serialized Transformers for Monocular Semantic Scene Completion from Indoor Environments
面向室内单目语义场景补全，用可学习偏移的自适应序列化 Transformer 动态调整感受野，并用中心相对位置编码与卷积调制 LayerNorm 融合卷积与 Transformer 特征，可直接迁移到其他需要从单张图恢复稠密三维语义的室内重建任务。
2D-LFM：无需三维监督的提升基础模型
2D-LFM: Lifting Foundation Model without 3D Supervision
把经典 structure-from-motion 的对应关系结构以位置编码形式注入模型，使二维关键点提升为物体级三维几何，可作为无需三维标注的三维先验或伪标签来源，用于关键点/骨架驱动的三维重建与姿态估计。