Tag · 6 篇
特征调制
VLA 模型比你想象的更具泛化性:重新审视物理建模与空间建模
VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling
对做 VLA/机器人策略的视觉研究者:只需在 ViT 视觉词元上做全局仿射调制(4K 参数)或低秩更新,就能把新视角下的成功率从 48.5% 拉到 87–91%,说明预训练 VLA 的视觉表征本身已具备未被利用的鲁棒性,瓶颈在空间建模对齐而非物理建模;这套轻量视觉重校准可直接复用到自己的 VLA 微调流程中。
IAFMNet:面向高效超分辨率的信息感知特征调制
IAFMNet: Information-Aware Feature Modulation for Efficient Super-Resolution
用无监督估计的信息密度图引导稀疏卷积与仿射调制,把计算动态集中到纹理/边缘区域,为高效超分及其他密集预测任务提供可复用的「按信息量分配算力」范式。
协调特征条件与频率提示个性化用于多标注者医学分割
Harmonized Feature Conditioning and Frequency-Prompt Personalization for Multi-Rater Medical Segmentation
提出频域提示模块和特征协调网络,将标注者差异建模为风格提示,可推广到其他需要建模标注歧义的视觉任务(如多标注者分类、检测)。
以条件手部调制器增强三维全身姿态估计中的手部
Enhancing Hands in 3D Whole-Body Pose Estimation with Conditional Hands Modulator
用预训练手部估计器的特征通过轻量调制器(CHAM)注入全身姿态网络的特征流,无需重训全身模型即可修正手腕朝向;手指关节与手形则经可微刚性对齐贴到全身网格上,这套「冻结主干+外挂专家调制」的模块化思路可直接迁移到其他部位精度不足的全身/多人重建任务。
CoFiDA-M:面向跨域自适应且仅需图像推理的概念感知特征调制
CoFiDA-M: Concept-Aware Feature Modulation for Cross-Domain Adaptation with Image-Only Inference
把只在训练期可得的稠密概率元数据(MONET 概念分数)经 FiLM 调制教师特征,再让学生回归被『编辑』后的特征空间而非仅拟合 logits,这一特权信息蒸馏范式可迁移到任何测试时缺失辅助模态的视觉任务。
以可控单步扩散弥合保真度与真实感:面向图像超分辨率
Bridging Fidelity-Reality with Controllable One-Step Diffusion for Image Super-Resolution
可复用的思路有两点:一是用未压缩的 LQ 原始信息做特征调制,为扩散过程提供高保真条件,缓解压缩编码带来的信息损失;二是区域自适应地激活生成先验,并用文本匹配引导对齐语义区域,在单步推理下兼顾感知质量与局部结构保真。