Tag · 9 篇

适配器微调

分布 生成模型与扩散2图像编辑与可控生成2图像分割2自监督与表征学习1视觉语言模型13D 视觉与重建1
01
自监督与表征学习 / CVPR2026

UniPercept:面向通用视觉感知的统一扩散模型

UniPercept: A Unified Diffusion Model for Generalizable Visual Perception

提出基于扩散模型的基础-适配器范式,用共享DiT骨干学习跨任务通用视觉表征,仅需少量样本和参数即可适配新任务,为视觉感知提供可复用的预训练-微调框架。

扩散模型基础模型适配器微调
02
视觉语言模型 / CVPR2026

仅训练期异构图像块-文本图监督用于提升少样本学习适配器

Training-Only Heterogeneous Image-Patch-Text Graph Supervision for Advancing Few-Shot Learning Adapters

把训练期的异构图教师(多尺度图像块+文本提示的图 Transformer)蒸馏进 Tip-Adapter 的键值缓存,测试时零额外延迟,为视觉研究者提供了一种「训练加料、推理不变」的少样本 CLIP 适配增强范式。

少样本学习适配器微调图神经网络
03
3D 视觉与重建 / CVPR2026

面向数据高效零样本仿真到真实室内全景深度估计的 SO(3) 等变 ViT-Adapter

SO(3)-Equivariant ViT-Adapter for Data-Efficient Zero-Shot Sim-to-Real Indoor Panoramic Depth Estimation

把 SO(3) 等变归纳偏置以可变形交叉注意力的形式注入冻结的透视预训练 ViT 适配器,使视觉研究者能在不改动骨干的前提下把透视基础模型的零样本能力迁移到球面/全景输入,这一思路可复用于其他存在投影失真的成像域(鱼眼、事件相机、多相机环视)。

等变网络交叉注意力全景深度估计
04
生成模型与扩散 / CVPR2026

RenderFlow:基于流匹配的单步神经渲染

RenderFlow: Single-Step Neural Rendering via Flow Matching

用流匹配把扩散式神经渲染压成确定性单步前向,并给出稀疏关键帧引导与轻量 adapter 复用同一前向模型做逆渲染(本征分解),可直接迁移到任何需要低延迟、时序一致的生成式渲染或图像到图像回归任务。

流匹配单步采样神经渲染
05
图像编辑与可控生成 / CVPR2026

PropFly:借助预训练视频扩散模型的在线监督学习传播

PropFly: Learning to Propagate via On-the-Fly Supervision from Pre-trained Video Diffusion Models

利用预训练视频扩散模型在不同 CFG 尺度下的一步干净潜变量估计,在线构造源/编辑潜变量对,从而免去成对视频编辑数据集;这一在线监督思路可直接迁移到其他需要成对数据的视频编辑或可控生成任务中。

视频编辑扩散模型流匹配
06
生成模型与扩散 / CVPR2026

ImageRAGTurbo:面向一步文本到图像生成的检索增强扩散模型

ImageRAGTurbo: Towards One-step Text-to-Image Generation with Retrieval-Augmented Diffusion Models

提出在UNet去噪器的潜空间(H-space)中通过交叉注意力融合检索到的文本-图像对,以极低微调成本提升少步/单步扩散模型的提示词保真度,为快速文本到图像生成提供可复用的检索增强适配器方案。

检索增强生成少步扩散交叉注意力
07
图像编辑与可控生成 / CVPR2026

FontCrafter:基于视觉上下文生成的高保真元素驱动艺术字体创作

FontCrafter: High-Fidelity Element-Driven Artistic Font Creation with Visual In-Context Generation

把参考元素图当作视觉上下文、用图像修复模型在像素级把风格迁移进字形区域,并配轻量 Context-aware Mask Adapter 注入形状、用免训练注意力重定向抑制笔画幻觉——这套「上下文+掩码适配器+注意力重定向」的组合可直接迁移到任何需要保留参考纹理与结构的可控生成任务(如风格化 logo、纹理迁移、局部重绘)。

图像修复上下文生成适配器微调
08
图像分割 / CVPR2026

双层适配器提升无提示曲线结构分割

Dual-level Adapter Boosting Prompt-free Curvilinear Structure Segmentation

在冻结的 SAM 上插入块内与块间双层适配器,实现无提示、仅需 18 张标注图像的跨域曲线结构分割,可直接迁移到医学/遥感细长目标(血管、道路、纤维)的少样本分割场景。

适配器微调SAM跨域泛化
09
图像分割 / CVPR2026

超越外观:基于几何结构的伪装目标检测

Beyond Appearance: Camouflaged Object Detection via Geometric Structure

把单目深度估计模型通过稀疏混合专家适配器迁移到伪装目标检测,并用几何-语义融合模块把深度几何线索注入分割特征,为「深度先验跨任务迁移」提供了一个可复用的适配与融合范式。

伪装目标检测单目深度估计混合专家