Tag · 6 篇
掩码注意力
基于扩散框架实现照片级真实且高效的散景渲染
Towards Photorealistic and Efficient Bokeh Rendering via Diffusion Framework
将散景渲染与超分辨率统一进单个扩散框架,并用焦点感知掩码注意力与退化感知深度模块处理低分辨率真实图像,为手机端计算摄影中「先复原再渲染」的两阶段流水线提供了一体化替代方案。
面向图表识别的短语定位感知监督微调:基于侧路掩码注意力
Phrase-Grounding-Aware Supervised Fine-Tuning for Chart Recognition via Side-Masked Attention
把短语级视觉定位作为辅助监督信号插入 LLM 每一层 Transformer 的侧路掩码注意力中,为 VLM 微调提供区域级参考 logit;做文档/图表理解或需要细粒度区域对齐的 VLM 微调时可直接复用该侧路注意力设计。
让你的图像随你的运动而动!——隐式多目标多运动迁移
Let Your Image Move with Your Motion! -- Implicit Multi-Object Multi-Motion Transfer
把扩散注意力本身当作物体掩码的来源,用物体特定掩码约束注意力,使运动 token 与文本 token 只作用于指定区域,这一「注意力即掩码」的思路可直接迁移到多主体视频编辑、组合式可控生成等需要区域解耦的任务。
EG-3DVG:面向 3D 视觉定位的表达式与几何感知定位解码器
EG-3DVG: Expression and Geometry Aware Grounding Decoder for 3D Visual Grounding
面向 3D 视觉定位的解码器设计:位置引导的表达式交叉注意力把文本线索可靠注入视觉词元,几何感知掩码注意力只聚合几何一致的邻域特征,可直接迁移到任何需要文本-点云对齐的 grounding 或指代分割流程。
面向稀疏直接飞行时间传感器的稠密度量深度补全
Dense Metric Depth Completion from Sparse Direct Time-of-Flight Sensors
提出深度引导的双分支ViT编码器与掩码联合注意力,防止稀疏深度token被图像特征覆盖,为稀疏深度补全提供可复用的融合机制;同时开源dToF仿真管线,支持在合成数据上训练后零样本迁移到真实设备。
AviaSafe:面向航空安全关键云预报的物理信息数据驱动模型
AviaSafe: A Physics-Informed Data-Driven Model for Aviation Safety-Critical Cloud Forecasts
将航空结冰指数(IC)作为物理约束嵌入分层预测框架,先以掩码注意力定位稀疏云区、再回归微物理组分浓度,这种「先定位稀疏区域再稠密回归」的两阶段设计可迁移到其他极端稀疏、分布不连续的视觉预测任务(如降水临近预报、烟雾/气溶胶分割)。