Tag · 9 篇
适配器微调
UniPercept:面向通用视觉感知的统一扩散模型
UniPercept: A Unified Diffusion Model for Generalizable Visual Perception
提出基于扩散模型的基础-适配器范式,用共享DiT骨干学习跨任务通用视觉表征,仅需少量样本和参数即可适配新任务,为视觉感知提供可复用的预训练-微调框架。
仅训练期异构图像块-文本图监督用于提升少样本学习适配器
Training-Only Heterogeneous Image-Patch-Text Graph Supervision for Advancing Few-Shot Learning Adapters
把训练期的异构图教师(多尺度图像块+文本提示的图 Transformer)蒸馏进 Tip-Adapter 的键值缓存,测试时零额外延迟,为视觉研究者提供了一种「训练加料、推理不变」的少样本 CLIP 适配增强范式。
面向数据高效零样本仿真到真实室内全景深度估计的 SO(3) 等变 ViT-Adapter
SO(3)-Equivariant ViT-Adapter for Data-Efficient Zero-Shot Sim-to-Real Indoor Panoramic Depth Estimation
把 SO(3) 等变归纳偏置以可变形交叉注意力的形式注入冻结的透视预训练 ViT 适配器,使视觉研究者能在不改动骨干的前提下把透视基础模型的零样本能力迁移到球面/全景输入,这一思路可复用于其他存在投影失真的成像域(鱼眼、事件相机、多相机环视)。
RenderFlow:基于流匹配的单步神经渲染
RenderFlow: Single-Step Neural Rendering via Flow Matching
用流匹配把扩散式神经渲染压成确定性单步前向,并给出稀疏关键帧引导与轻量 adapter 复用同一前向模型做逆渲染(本征分解),可直接迁移到任何需要低延迟、时序一致的生成式渲染或图像到图像回归任务。
PropFly:借助预训练视频扩散模型的在线监督学习传播
PropFly: Learning to Propagate via On-the-Fly Supervision from Pre-trained Video Diffusion Models
利用预训练视频扩散模型在不同 CFG 尺度下的一步干净潜变量估计,在线构造源/编辑潜变量对,从而免去成对视频编辑数据集;这一在线监督思路可直接迁移到其他需要成对数据的视频编辑或可控生成任务中。
ImageRAGTurbo:面向一步文本到图像生成的检索增强扩散模型
ImageRAGTurbo: Towards One-step Text-to-Image Generation with Retrieval-Augmented Diffusion Models
提出在UNet去噪器的潜空间(H-space)中通过交叉注意力融合检索到的文本-图像对,以极低微调成本提升少步/单步扩散模型的提示词保真度,为快速文本到图像生成提供可复用的检索增强适配器方案。
FontCrafter:基于视觉上下文生成的高保真元素驱动艺术字体创作
FontCrafter: High-Fidelity Element-Driven Artistic Font Creation with Visual In-Context Generation
把参考元素图当作视觉上下文、用图像修复模型在像素级把风格迁移进字形区域,并配轻量 Context-aware Mask Adapter 注入形状、用免训练注意力重定向抑制笔画幻觉——这套「上下文+掩码适配器+注意力重定向」的组合可直接迁移到任何需要保留参考纹理与结构的可控生成任务(如风格化 logo、纹理迁移、局部重绘)。
双层适配器提升无提示曲线结构分割
Dual-level Adapter Boosting Prompt-free Curvilinear Structure Segmentation
在冻结的 SAM 上插入块内与块间双层适配器,实现无提示、仅需 18 张标注图像的跨域曲线结构分割,可直接迁移到医学/遥感细长目标(血管、道路、纤维)的少样本分割场景。
超越外观:基于几何结构的伪装目标检测
Beyond Appearance: Camouflaged Object Detection via Geometric Structure
把单目深度估计模型通过稀疏混合专家适配器迁移到伪装目标检测,并用几何-语义融合模块把深度几何线索注入分割特征,为「深度先验跨任务迁移」提供了一个可复用的适配与融合范式。