Tag · 17 篇
旋转位置编码
立体世界模型：相机引导的立体视频生成
Stereo World Model: Camera-Guided Stereo Video Generation
提出相机帧RoPE和立体感知注意力分解，在RGB模态下直接生成具有视差一致性的立体视频，可复用于需要相机控制的多视角视频生成任务，并支持长视频蒸馏。
SoPE：基于球坐标的位置嵌入用于增强3D大视觉语言模型的空间感知
SoPE: Spherical Coordinate-Based Positional Embedding for Enhancing Spatial Perception of 3D LVLMs
针对3D点云词元的位置编码缺陷，提出球坐标位置嵌入（SoPE），可替换RoPE用于3D LVLMs，提升空间感知与方向变化建模，为视觉语言模型中的3D几何表示提供新思路。
可扩展的物体关系编码：提升大语言模型中的三维空间推理能力
Scalable Object Relation Encoding for Better 3D Spatial Reasoning in Large Language Models
QuatRoPE 用四元数式整体向量编码 3D 坐标，并通过注意力层点积隐式算出成对空间关系，使输入长度随物体数线性增长；做 3D 场景-语言对齐或把场景图喂给 LLM 的工作可直接复用这一位置编码与 IGRE 门控扩展思路。
SafeRoPE：面向整流流 Transformer 安全生成的风险特定头级嵌入旋转
SafeRoPE: Risk-specific Head-wise Embedding Rotation for Safe Generation in Rectified Flow Transformers
针对 MMDiT 架构，提出在注意力头级别定位不安全语义子空间，并通过扰动 RoPE 的 query/key 嵌入实现无需微调的安全概念抑制，为扩散 Transformer 的安全生成提供了轻量级、可复用的干预手段。
ReDirector：用旋转相机编码生成任意长度视频重拍
ReDirector: Creating Any-Length Video Retakes with Rotary Camera Encoding
把相机位姿编码为 RoPE 相位偏移（RoCE），使视频扩散模型能泛化到训练分布外的相机轨迹与任意长度；做相机可控视频生成/重拍时可直接复用这一条件注入方式，替代外挂相机编码器。
RNED：面向医学视觉语言模型的旋转数值编码与解码
RNED: Rotary Number Encoding and Decoding for Medical VLMs
RNED 将连续数值编码为旋转矩阵作用于专用数值词元嵌入，并设计基于分数匹配的解码器，可直接用于视觉语言模型中的坐标回归、尺寸估计等连续量预测任务，替代离散化词元方案。
PAS：视频大语言模型时序编码的免训练稳定器
PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs
对做视频 LLM 的人，这是一个即插即用的推理期补丁：不改结构、不重训，只在各注意力头上加相反相位偏移再聚合，就能让多模态 RoPE 的时序核变平滑、注意力对帧时序抖动更稳；可直接套到任意用 3D RoPE 的视频 LLM 上提升时序鲁棒性。
NAF：基于邻域注意力滤波的零样本特征上采样
NAF: Zero-Shot Feature Upsampling via Neighborhood Attention Filtering
NAF 提供了一种与具体 VFM 无关的零样本特征上采样器，可直接插在任意视觉基础模型（如 DINOv2、SAM）之后，为分割、深度估计等像素级任务恢复高分辨率特征，无需针对每个 VFM 重新训练；其跨尺度邻域注意力 + RoPE 的权重预测方式也可迁移到其他需要内容自适应滤波的环节。
MuViT：用于跨尺度学习的多分辨率视觉 Transformer
MuViT: Multi-Resolution Vision Transformers for Learning Across Scales in Microscopy
把不同分辨率下的 patch 嵌入统一的 world-coordinate 体系，并把 RoPE 扩展到该坐标上，使单个编码器内的注意力能同时整合大范围上下文与高分辨率细节；这套坐标化位置编码思路可直接迁移到全切片病理、遥感大幅面图像等任意多尺度视觉任务。
MMFace-DiT：用于高保真多模态人脸生成的双流扩散 Transformer
MMFace-DiT: A Dual-Stream Diffusion Transformer for High-Fidelity Multimodal Face Generation
双流 Transformer 块用共享 RoPE 注意力并行处理空间 token（掩码/草图）与语义 token（文本），避免模态主导，可直接迁移到任何需要同时满足文本语义与结构先验的可控生成任务；Modality Embedder 让单一模型免重训适配不同空间条件，是统一多条件控制的可复用思路。
LoL：比更长更长，将视频生成扩展至小时级
LoL: Longer than Longer, Scaling Video Generation to Hour
针对自回归长视频生成中注意力汇聚帧导致的场景重置问题，提出多头 RoPE 抖动这一免训练手段，打破头间注意力同质化；做流式/无限长视频生成或复用 RoPE 的位置编码方案时可直接借鉴。
LitePT：更轻量却更强的点云 Transformer
LitePT: Lighter Yet Stronger Point Transformer
为 3D 点云骨干网络提供了「浅层卷积 + 深层注意力」的分层设计准则，并给出无需额外参数的 PointROPE 三维位置编码，可直接替换 Point Transformer 系列骨干以降低显存与延迟。
Infinity-RoPE：动作可控的无限视频生成源自自回归自展开
Infinity-RoPE: Action-Controllable Infinite Video Generation Emerges From Autoregressive Self-Rollout
把 3D-RoPE 改造成「移动局部参考系」的相对论式编码，配合只保留 sink 与末帧两个锚框 token 的 KV Flush，可在不重训练的情况下把自回归视频扩散的生成时长推到无限，并支持提示词即时响应与多段转场；做长视频生成或 KV 缓存压缩的工作可直接复用这三件套。
面向细粒度图像生成的按检测头自适应旋转位置编码
Head-wise Adaptive Rotary Positional Encoding for Fine-Grained Image Generation
把标准多维 RoPE 换成按检测头自适应、经 SVD 参数化的可学习旋转映射，可直接作为现有 DiT/Flux 类图像生成主干的位置编码替换件，改善细粒度空间关系与计数能力，且不破坏相对位置性质。
扩散磁共振 Transformer 与扩散空间旋转位置嵌入（D-RoPE）
Diffusion MRI Transformer with a Diffusion Space Rotary Positional Embedding (D-RoPE)
D-RoPE 把扩散梯度方向与强度编码进旋转位置嵌入，使 Transformer 能在任意数量扩散方向上共享权重；做多通道/多视角输入（如多光照、多视角图像）时，可借鉴这种把采集参数写进位置编码以摆脱固定通道数的做法。
基于 ScaleFormer 的跨尺度全色锐化与 PanScale 基准
Cross-Scale Pansharpening via ScaleFormer and the PanScale Benchmark
把跨分辨率泛化重构成跨序列长度泛化，用可变长度图像块序列加 RoPE 外推到未见尺度，这一思路可直接迁移到超分、去噪等需要在不同分辨率间泛化的底层视觉任务。
锚定与重标定注意力实现语义连贯的中间帧生成
Anchoring and Rescaling Attention for Semantically Coherent Inbetweening
把关键帧与文本作为语义/时序引导注入自注意力（Keyframe-anchored Attention Bias），并用重标定的时序 RoPE 强化帧间一致性，这套无需训练的注意力调制手段可直接迁移到视频插帧、长视频生成与关键帧约束的扩散采样中。