Tag · 76 篇
低秩适配
从单张图像零样本重建具有布料动力学的可动画 3D 化身
Zero-Shot Reconstruction of Animatable 3D Avatars with Cloth Dynamics from a Single Image
提出基于 Transformer 的前馈架构直接预测动态 3D 高斯形变,结合静态到动态的知识迁移与 LoRA 微调,为单图人体化身重建提供可复用的零样本方案;DynaFlow 损失利用光流引导几何线索,可迁移至其他动态重建任务。
你的潜变量掩码是错的:面向扩散模型的像素等价潜变量合成
Your Latent Mask is Wrong: Pixel-Equivalent Latent Compositing for Diffusion Models
把「潜空间合成应当等价于像素空间合成」作为设计准则,用一个轻量 Transformer 预测逐通道混合权重与离流形残差修正,使扩散模型在 8 倍压缩的 VAE 潜变量上也能实现全分辨率掩码与软边缘 alpha 合成;做图像修复、局部编辑或任何需要掩码融合的扩散流程时,可直接替换线性潜变量插值这一环节,且无需微调骨干网络。
当低秩适配背叛你:伪装成良性适配器的文本到图像模型后门攻击
When LoRA Betrays: Backdooring Text-to-Image Models by Masquerading as Benign Adapters
揭示了以 LoRA 适配器为载体的模型共享生态中的后门注入路径:攻击者只需冻结基座、仅训练低秩权重即可植入「触发词→目标图像」的跨模态隐藏映射,这为视觉社区设计 LoRA 权重审计、触发器检测与安全加载协议提供了明确的威胁模型与评测设定。
通过神经场适配进行权重空间表征学习
Weight Space Representation Learning via Neural Field Adaptation
把预训练神经场的乘性低秩适配权重本身当作图像/3D 场景的表征,可直接接入潜变量扩散模型做生成,为视觉研究提供了一条绕开像素或特征编码器的「权重即表征」路线,可用于少样本重建与权重空间编辑。
WaDi:权重方向感知蒸馏用于一步图像合成
WaDi: Weight Direction-aware Distillation for One-step Image Synthesis
把蒸馏中权重变化拆成方向与范数两部分,并用可学习低秩旋转矩阵建模方向变化,这一思路可直接迁移到任意扩散/流匹配模型的一步或少步蒸馏,也可作为参数高效微调适配器复用。
VLA 模型比你想象的更具泛化性:重新审视物理建模与空间建模
VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling
对做 VLA/机器人策略的视觉研究者:只需在 ViT 视觉词元上做全局仿射调制(4K 参数)或低秩更新,就能把新视角下的成功率从 48.5% 拉到 87–91%,说明预训练 VLA 的视觉表征本身已具备未被利用的鲁棒性,瓶颈在空间建模对齐而非物理建模;这套轻量视觉重校准可直接复用到自己的 VLA 微调流程中。
VL-Eraser:面向视觉语言模型机器遗忘的真空蒸馏
VL-Eraser: Vacuum Distillation for Machine Unlearning in Vision-Language Models
VL-Eraser 将遗忘目标解耦到低秩适配器中,通过删除适配器参数实现遗忘,为视觉语言模型提供了一种可复用的事后知识移除手段,尤其适用于需要移除敏感内容同时保持跨模态对齐的场景。
黄金子空间:持续测试时自适应中效率与泛化的交汇点
The Golden Subspace: Where Efficiency Meets Generalization in Continual Test-Time Adaptation
把预训练分类器的行空间当作「黄金子空间」,用样本级平均梯度外积(AGOP)在线估计它,再用轻量适配器把特征投影进去——这套做法可以迁移到任何需要在无源数据、分布偏移下在线更新特征的视觉模型(检测、分割、BEV 感知),且只学一个紧凑缩放向量,几乎不增加推理开销。
TextFM:语言引导的鲁棒半稠密特征匹配
TextFM: Robust Semi-dense Feature Matching with Language Guidance
将视觉语言模型(VLM)的文本嵌入作为实例级查询引入无检测器特征匹配的粗匹配阶段,为视觉特征提供域不变的语义上下文;同时用LoRA微调视觉基础模型并融合光照不变物理先验,提升跨域和极端光照下的匹配鲁棒性。
教 DINOv3 理解部分 3D 几何:一种自监督的几何感知方法
Teaching DINOv3 About Partial 3D Geometry: A Self-Supervised Geometry-Aware Approach
用 LoRA 自监督微调 DINOv3 特征,使其对部分观测(partial shape)鲁棒,可直接替换部分形状匹配与左右对称预测流程中的特征描述子。
TaskIT:通过跨任务重要性迁移实现多 LoRA 大语言模型的显存高效微调
TaskIT: Memory-Efficient Fine-Tuning of Multi-LoRA LLMs via Cross-Task Importance Transfer
对需要在显存受限设备上部署多任务视觉-语言模型的场景,TaskIT 的跨任务重要性迁移与基于块的显存预测器可用于在插入 LoRA 模块前估计其重要性,并配合动态规划调度器在显存预算内选择模块位置、数量与秩,可直接迁移到多任务视觉基础模型的端侧微调。
驯服生成式扩散模型用于任务导向红外成像
Taming Generative Diffusion Model for Task-Oriented Infrared Imaging
把扩散模型的多步采样压缩成单步、并用动态时间步估计对齐潜变量轨迹,这一思路可直接迁移到其他退化严重、需要物理约束的低层复原任务(如低光、去雾、医学成像);同时用任务感知低秩适配把复原模型快速接到下游语义任务,是「复原+下游」联合设计的可复用范式。
TAS-LoRA:基于混合低秩适配专家的Transformer架构搜索
TAS-LoRA: Transformer Architecture Search with Mixture-of-LoRA Experts
将低秩适配(LoRA)作为子网专属参数引入Transformer架构搜索,配合混合专家路由,可缓解超网特征坍缩问题;该思路可迁移到视觉Transformer的轻量化搜索与参数高效微调场景。
SplitFlux:从单张图像学习解耦内容与风格
SplitFlux: Learning to Decouple Content and Style from a Single Image
对 Flux 单流块做 LoRA 微调并按秩约束与显著性门控拆分内容/风格分支,为视觉研究者提供了一个可直接复用的「从单图分离内容与风格再重嵌入新语境」的定制化生成流程,也可迁移到其他 DiT 架构的可控编辑。
SpiralDiff:面向跨相机 RGB-to-RAW 转换的螺旋扩散与 LoRA
SpiralDiff: Spiral Diffusion with LoRA for RGB-to-RAW Conversion Across Cameras
把信号相关的噪声加权引入扩散采样过程,并按相机插入轻量 LoRA 分支,为「一个模型适配多台相机 ISP」提供了可复用的条件化与加权思路,可直接迁移到去噪、低光照增强等跨设备复原任务。
SliderEdit:基于细粒度指令控制的连续图像编辑
SliderEdit: Continuous Image Editing with Fine-Grained Instruction Control
把多段编辑指令解耦成可连续调节的滑块,用一组共享的低秩适配矩阵实现强度插值,可直接套用到 FLUX-Kontext、Qwen-Image-Edit 等指令编辑模型上,为交互式编辑提供细粒度控制手段。
SketchAssist:面向语义编辑与精确局部重绘的实用助手
SketchAssist: A Practical Assistant for Semantic Edits and Precise Local Redrawing
将 DiT 与任务引导的混合专家(T-MoE)结合到低秩适配层中,为草图编辑提供统一框架,可复用于其他需要同时处理语义修改与局部重绘的可控生成任务。
以生成器感知原型扩展AI生成图像检测
Scaling Up AI-Generated Image Detection with Generator-Aware Prototypes
用一组紧凑的"伪造原型"把真实/合成图像特征压到低方差统一空间,再用LoRA两阶段微调预训练编码器,可直接迁移到任何需要跨生成器泛化的取证或真伪判别任务。
SPDMark:面向鲁棒视频水印的选择性参数位移
SPDMark: Selective Parameter Displacement for Robust Video Watermarking
将水印嵌入视频扩散模型的生成过程,通过LoRA实现参数位移,并利用密钥派生帧级消息与二分图匹配恢复帧序,为生成视频的溯源与防篡改提供可复用方案。
SMRABooth:面向定制视频生成的主体与运动表征对齐
SMRABooth: Subject and Motion Representation Alignment for Customized Video Generation
利用自监督编码器和光流编码器提供对象级主体外观与运动表征,并通过稀疏低秩适配注入实现主体与运动的解耦控制,为视频定制生成中的主体保真与运动一致性提供可复用方案。
SG-LoRA:语义引导的低秩适配参数生成
SG-LoRA: Semantic-guided LoRA Parameters Generation
对视觉研究者而言,这是一种用任务文本描述在共享嵌入空间中检索并生成 LoRA 权重的免训练方案,可直接用于为未见过的下游视觉任务(如新风格、新域识别)实时构建个性化适配器,避免逐任务微调;其语义到 LoRA 的生成管线也可迁移到扩散模型、VLM 等大模型的高效定制。
SEATrack:简单、高效且自适应的多模态跟踪器
SEATrack: Simple, Efficient, and Adaptive Multimodal Tracker
AMG-LoRA 将 LoRA 与自适应互引导结合,用于对齐双流跟踪器中的跨模态注意力图;HMoE 用分层混合专家实现高效的全局关系建模,这两者都是可复用的 PEFT 与融合设计,可直接迁移到其他多模态视觉任务。
SDUIE:基于定量-文本双重控制的半监督扩散水下图像增强
SDUIE: Semi-Supervised Diffusion for Underwater Image Enhancement with Quant-Text Dual Control
提出一种基于低秩适配权重合并的连续数值控制扩散模型,以及通过语义提示对齐实现文本引导增强的方法,可复用于其他需要细粒度可控的图像复原任务。
ReFTA:突破张量化参数高效微调中的权重重构瓶颈
ReFTA: Breaking the Weight Reconstruction Bottleneck in Tensorized Parameter-Efficient Fine-Tuning
对需要在 ViT-Large 等大模型上做下游适配的视觉研究者,ReFTA 用张量代数消去训练时的权重重构开销,并只微调主张量分量,可在比 LoRA 少 96% 可训练参数的情况下取得更高精度,是替换 LoRA/PiSSA 的即插即用微调方案。
Quant Experts:面向大型视觉语言模型量化的 token 感知自适应误差重建与混合专家
Quant Experts: Token-aware Adaptive Error Reconstruction with Mixture of Experts for Large Vision-Language Models Quantization
对需要在有限显存下部署 VLM 的视觉研究者,这篇论文给出了一个可直接套用的 PTQ 误差补偿范式:按 token 与模态区分重要通道,用共享低秩适配器加路由低秩适配器(MoE)分别补偿全局与局部量化误差,可迁移到任意 VLM 的量化部署流程中。
偏好对齐的低秩适配合并:保持子空间覆盖与解决方向各向异性
Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy
TARA-Merging 提供了一种无需额外训练即可合并多个 LoRA 模块的方法,视觉研究者可将其用于多任务模型融合、领域自适应或个性化模型集成,尤其适合需要保持各任务性能的场景。
PointAlign:面向3D视觉语言模型的特征级对齐正则化
PointAlign: Feature-Level Alignment Regularization for 3D Vision-Language Models
提出一种特征级对齐正则化方法,通过一致性损失约束LLM中间点云token与视觉输入token对齐,仅训练轻量投影器和LoRA适配器,可复用于其他多模态大模型中以保留几何信息。
通过隐式模态分解实现多模态大模型的参数高效适配
Parameter-Efficient Adaptation for MLLMs via Implicit Modality Decomposition
把 LoRA 的可学习参数按模态拆成文本专属、非文本专属与模态共享三部分,并加解耦/对齐约束,可直接迁移到视觉-语言模型(如 LLaVA 类)的 PEFT 微调中,缓解文本模态主导更新、视觉表征学不充分的问题。
Otil:通过通信高效的多 GPU 并行加速扩散模型推理
Otil: Accelerating Diffusion Model Inference via Communication-Efficient Multi-GPU Parallelism
对做扩散模型高分辨率/视频生成的研究者,这是一种即插即用的多卡并行推理方案:利用相邻去噪步潜变量变化微小的性质,只同步信息量最大的潜变量子块并周期性轮询全部空间区域,可在不改架构、不重训的前提下把 GPU 间通信降低最多 87.5%,与少步采样器和低秩适配叠加后进一步提速。
Omni-3DEdit:单次前向的通用多能 3D 编辑
Omni-3DEdit: Generalized Versatile 3D Editing in One-Pass
把指令驱动的 3D 编辑从「2D 模型引导 + 逐场景迭代优化」改为单次前向的生成模型:沿序列维拼接源视图 latent 与条件 token,并用双流 LoRA 分离不同视图线索,可直接复用到任何需要多视图一致编辑或免优化 3D 编辑的场景。
ORION:面向通用 VLM 适配的正交文本编码
ORION: ORthonormal Text Encoding for Universal VLM AdaptatION
把文本编码器的类别原型当作可优化对象,用低秩适配加正交性损失在仅有类名的条件下重塑 CLIP 文本嵌入,可直接替换下游零样本/少样本/测试时自适应流程中的手工 prompt 原型,是一种即插即用的分类头改进手段。
MoECLIP:面向零样本异常检测的图像块专用专家
MoECLIP: Patch-Specialized Experts for Zero-shot Anomaly Detection
把 MoE 路由下沉到图像块级别、每个图像块动态选择专属 LoRA 专家,是给 CLIP 类视觉语言模型做任务特化的可复用微调范式;FOFS 正交特征分离与 simplex ETF 损失抑制专家冗余的思路,可直接迁移到其他需要多专家分工的密集预测任务。
挖掘属性子空间以实现3D基础模型的高效微调
Mining Attribute Subspaces for Efficient Fine-tuning of 3D Foundation Models
提出通过合成数据挖掘与不同变化类型(纹理、几何、相机运动、光照)关联的低秩适配子空间,并整合为更紧凑的子空间用于高效微调3D基础模型,为视觉领域提供了一种可复用的参数高效微调策略。
MergeVLA:面向通用视觉-语言-动作智能体的跨技能模型合并
MergeVLA: Cross-Skill Model Merging Toward a Generalist Vision-Language-Action Agent
提出面向模型合并的VLA架构设计:用任务掩码稀疏激活LoRA适配器保持VLM骨干参数一致,并将动作专家中的自注意力替换为纯交叉注意力块以保持技能模块化,为多技能机器人策略合并提供可复用方案。
MapReduce LoRA:推进生成模型多偏好优化的帕累托前沿
MapReduce LoRA: Advancing the Pareto Front in Multi-Preference Optimization for Generative Models
MapReduce LoRA 用并行训练偏好专属 LoRA 专家再迭代合并进共享基座,RaTE 用奖励专属词元嵌入在推理时组合,为文生图/文生视频模型提供可复用的多奖励对齐与推理时偏好切换手段。
MakeAnything:利用扩散 Transformer 进行多领域过程序列生成
MakeAnything: Harnessing Diffusion Transformers for Multi-Domain Procedural Sequence Generation
提出非对称 LoRA 微调策略(冻结编码器、自适应调整解码器)以平衡泛化与任务性能,可复用于其他基于 DiT 的生成任务;同时利用时空一致性约束实现从静态图像生成过程序列,为视觉生成中的时序建模提供思路。
面向预训练点云模型的低秩测试时训练
Low-Rank Test-Time Training for Pre-Trained Point Cloud Models
把测试时训练从解码器式辅助目标改为特征层面的掩码一致性对齐,并用 LoRA 低秩单元实现参数高效的自适应,可直接迁移到其他预训练视觉骨干(如点云/图像 Transformer)的 OOD 自适应场景。
LoPrune:面向视觉 Transformer 低秩适配微调的高效数据剪枝
LoPrune: Efficient Data Pruning for LoRA-Based Fine-Tuning of Vision Transformer
把影响函数投影到 LoRA 可训练子空间并用 K-FAC 近似样本对适配器更新的影响,为视觉模型端侧持续微调提供了一个可直接复用的样本重要性打分与剪枝流程,可迁移到任何基于低秩适配的视觉微调场景。
LoFA:学习预测个性化先验以实现视觉生成模型的快速适配
LoFA: Learning to Predict Personalized Prior for Fast Adaptation of Visual Generative Models
把 LoRA 微调从「逐任务优化数小时」变成「超网络秒级预测」,视觉生成模型做个性化时可直接复用其两阶段超网络(先预测相对分布模式、再回归 LoRA 权重)作为免优化适配器。
用于视频分割的实时交互式训练
Live Interactive Training for Video Segmentation
LIT-LoRA 在推理时利用用户修正在线更新轻量 LoRA 模块,使视频分割模型能持续适应同一视频中的目标外观变化,为交互式视觉工具提供了一种低开销的在线自适应范式。
LiDeRe:面向快速且数据高效密集预测的轻量读出模块
LiDeRe: A Lightweight Readout for Fast and Data-Efficient Dense Prediction
在冻结的大型视觉骨干(如 DINOv3)之上,用一个由插值与注意力构成的轻量密集读出模块替代主流 PEFT,为小数据下的分割、检测、姿态估计等密集预测任务提供更省参数、更快训练的微调范式。
从真实世界失真中学习三维形状保真度指标
Learning 3D Shape Fidelity Metric from Real-world Distortions
提出基于局部连接注意力和LoRA式预训练的点云骨干网络,用于评估三维网格的感知保真度,可作为三维生成/重建任务的评价指标,替代Chamfer Distance等几何匹配指标。
LangRef3DGS:基于 3D 高斯泼溅、由自然语言引导的部分观测三维指代分割
LangRef3DGS: Natural Language-Guided 3D Referential Segmentation from Partial Observations via 3D Gaussian Splatting
把 3DGS 当作可微的语义嵌入场来承载开放词表文本查询,并用梯度低秩机制压缩特征冗余以提升类别可分性——这套「嵌入场 + 低秩」组合可直接迁移到任何需要从稀疏 RGB-D 观测做语言查询 3D 分割或新类发现的场景。
无标签跨任务 LoRA 合并与零空间压缩
Label-Free Cross-Task LoRA Merging with Null-Space Compression
提出一种无需标签、基于适配器几何的 LoRA 合并方法,可直接用于视觉任务中多个微调模型的高效融合,避免联合训练开销。
保持冻结:面向多域视觉 Transformer 的域路由条件残差调制
Keep It Frozen: Domain-Routed Conditional Residual Modulation for Multi-Domain Vision Transformers
提出一种冻结骨干网络、通过域路由和参数合成网络动态生成低秩残差调制块的方法,为视觉 Transformer 在多域(医学+自然)场景下提供参数高效的自适应方案,可复用于需要跨域泛化且计算开销敏感的任务。
HiLoRA:面向个性化联邦学习的分层低秩适配
HiLoRA: Hierarchical Low-Rank Adaptation for Personalized Federated Learning
把 LoRA 适配器按 root/cluster/leaf 三层级放置,并用子空间相似度做客户端聚类,这套「分层低秩适配 + 子空间正交」思路可直接迁移到视觉模型的多域/多客户端个性化微调与跨域适配场景。
GeoSAM2:释放 SAM2 在三维部件分割中的能力
GeoSAM2: Unleashing the Power of SAM2 for 3D Part Segmentation
把 3D 部件分割转成多视图 2D 掩码预测,用 SAM2 加低秩适配和残差几何融合,接受点击/框提示,再把掩码反投影聚合到物体上;做 3D 分割或想复用 SAM2 先验的人可直接借鉴这套提示可控、免逐形状优化的流程。
面向参数高效多任务学习的频率切换机制
Frequency Switching Mechanism for Parameter-Efficient Multi-Task Learning
把正弦频率调制叠加在低秩+卷积先验的单一核上,用极少量可训练参数(6.53M)实现多任务权重特化,可直接替换视觉骨干网络中的 LoRA/Adapter 做多任务稠密预测的联合微调。
FairLLaVA:面向大型视觉语言助手的美公平性感知参数高效微调
FairLLaVA: Fairness-Aware Parameter-Efficient Fine-Tuning for Large Vision-Language Assistants
把互信息最小化当作表示层正则项,配合低秩适配器做插件式微调,可在不改动 MLLM 主干的前提下压制视觉指令微调中的群体偏差;做医学影像报告生成或 VQA 时,这套「公平性正则 + LoRA」的组合可直接迁移到自己的多模态模型上。
FSLoRA:通过频域-空间低秩适配器协调检测与重识别实现单阶段行人搜索
FSLoRA: Harmonizing Detection and Re-Identification via Freq-Spatial Low-Rank Adapter for One-Stage Person Search
把 LoRA 与混合专家结合成骨干网络级的即插即用适配器,并在频域上做任务相关分量的选择性增强,为单阶段检测+重识别这类多任务特征纠缠问题提供了可复用的解耦手段。
FAAR:通过自动秩选择的高效频率感知多任务微调
FAAR: Efficient Frequency-Aware Multi-Task Fine-Tuning via Automatic Rank Selection
提出频率感知的自动秩选择方法,可复用于视觉多任务微调,在减少参数量的同时提升密集预测任务性能。
EgoX:从单段第三人称视频生成第一人称视频
EgoX: Egocentric Video Generation from a Single Exocentric Video
将大规模视频扩散模型通过轻量低秩适配迁移到极端视角变换的跨视角视频生成任务,其宽度/通道拼接的条件注入策略与几何引导自注意力机制可复用于新视角合成、视角转换等需要保持几何一致性的生成任务。
基于循环动态子模型的高效视频目标分割与跟踪
Efficient Video Object Segmentation and Tracking with Recurrent Dynamic Submodel
对需要在视频分割/跟踪中部署 SAM2 这类大模型的人,RDS 给出了一条可复用的路线:用轻量路由器基于上一帧分割掩码和当前帧特征逐帧选择子模型块,把时序信息直接注入动态剪枝决策,从而把理论计算削减转化为真实加速;I-LoRA 只微调关键块的做法也可迁移到其他大模型的高效适配。
高效无编码器的基于傅里叶的 3D 大型多模态模型
Efficient Encoder-Free Fourier-based 3D Large Multimodal Model
用空间填充曲线序列化加 FFT 近似自注意力,替代重型 3D 编码器做全局上下文建模,并用傅里叶增强的低秩适配把频域交互注入 LLM,为视觉侧设计轻量 3D 词元化与无编码器多模态架构提供可复用范式。
EasyV2V:一个高质量的基于指令的视频编辑框架
EasyV2V: A High-quality Instruction-based Video Editing Framework
论文表明预训练文生视频模型本身具备编辑能力,仅需简单的序列拼接条件与轻量低秩适配微调即可训练强编辑模型,并统一掩码机制实现时空控制,为视频编辑提供可复用的简洁设计范式。
EasyOmnimatte:驯服预训练图像修复扩散模型实现端到端视频分层分解
EasyOmnimatte: Taming Pretrained Inpainting Diffusion Models for End-to-End Video Layered Decompositio
将预训练视频修复扩散模型通过LoRA微调为双专家(效果专家与质量专家),在采样不同阶段切换,实现端到端视频分层分解,为视频编辑中的前景与效果分离提供高效方案。
EW-DETR:通过增量低秩检测Transformer实现演化世界目标检测
EW-DETR: Evolving World Object Detection via Incremental Low-Rank DEtection TRansformer
EW-DETR 将增量低秩适配器、查询范数对象性适配器和熵感知未知混合集成到 DETR 类检测器中,为视觉研究者在无样本增量学习、域偏移和未知目标检测耦合场景下提供了可复用的模块化方案,并提出了 FOGS 综合评价指标。
Dual-Estimator:解耦全局与局部语义漂移以补偿类增量学习中的漂移
Dual-Estimator: Decoupling Global and Local Semantic Shift for Drift Compensation in Class-Incremental Learning
对做类增量视觉分类的人,这篇给出了一个可直接插拔的漂移补偿模块:用混合专家估计器建模任务内非均匀语义分布、用低秩估计器捕捉任务间非均匀漂移,且以解析解在少数 epoch 内更新,可挂到现有 exemplar-free 方法上缓解旧类表征失活。
DreamStyle:视频风格化的统一框架
DreamStyle: A Unified Framework for Video Stylization
DreamStyle 将文本、风格图像和风格化首帧三种条件统一到基于 I2V 扩散模型的 LoRA 微调框架中,其 token 特定的 up 矩阵设计可缓解多条件 token 混淆,为多模态条件控制生成提供了可复用的参数高效适配思路。
扩散心智平均
Diffusion Mental Averages
把「求平均」从像素空间搬到扩散模型的语义空间,用轨迹对齐优化多个噪声潜变量使其去噪轨迹收敛到同一原型——这提供了一个无需解码器即可在扩散潜空间做语义聚合/编辑的可复用手段,也可用于探测模型偏见与概念表征。
Depth Any Endoscopy:面向单目内窥镜自监督可泛化深度估计
Depth Any Endoscopy: Towards Self-Supervised Generalizable Depth Estimation in Monocular Endoscopy
把视觉基础模型通过双层 MoE(内部 LoRA/Adapter、外部域专家)适配到内窥镜深度估计,并用可学习梯度协调平衡深度与位姿网络优化,可直接迁移到其他跨域自监督单目深度任务。
分解、混合、适配:参数高效神经网络重组与压缩的统一框架
Decompose, Mix, Adapt: A Unified Framework for Parameter-Efficient Neural Network Recombination and Compression
提出一种统一的权重分解与重组框架,可同时实现参数高效微调(PEFT)和模型压缩(MC),为视觉模型(如ViT)在边缘设备上的部署提供了一种可复用的技术方案。
DGS:用于类增量学习的双梯度与语义漂移引导的低秩适配
DGS: Dual Gradient and Semantic-Shift Guided Low-Rank Adaptation for Class Incremental Learning
对视觉研究者而言,这篇论文给出了在预训练视觉模型上做类增量学习时,用双梯度融合(基子空间投影 + 任务 LoRA 梯度插值融合)替代刚性正交约束的思路,并配合分类器对齐与 patch 级对齐损失,可直接迁移到 ViT 类骨干的持续学习/多任务微调流程中。
DC-Merge:利用方向一致性改进模型合并
DC-Merge: Improving Model Merging with Directional Consistency
对做多任务/多领域视觉模型部署的人,DC-Merge 提供了一种无需额外训练、仅靠奇异值平滑与共享正交子空间投影就能把多个微调模型(含 LoRA)合并成一个的通用后处理手段,可直接用于把多个视觉任务适配器压成单模型。
循环一致性调优用于分层图像分解
Cycle-Consistent Tuning for Layered Image Decomposition
利用扩散基础模型和低秩适配进行图层分解,循环一致性训练策略可推广到其他图像分离任务;渐进自改进过程为数据增强提供新思路。
概念感知低秩适配用于域对齐的分割数据集生成
Concept-Aware LoRA for Domain-Aligned Segmentation Dataset Generation
CA-LoRA 通过选择性更新与目标域概念(如风格、视角)相关的权重,在微调 T2I 模型时保留预训练知识,从而生成多样且对齐的分割数据集;该思路可复用于其他需要域对齐数据生成的视觉任务,并提升域泛化性能。
ChimeraLoRA:多头LoRA引导的合成数据集
ChimeraLoRA: Multi-Head LoRA-Guided Synthetic Datasets
提出将LoRA分解为类共享A和图像特定B,并用狄利克雷系数混合生成兼具多样性与细节的合成数据,可直接用于少样本/长尾视觉任务的数据增强。
CREward:一种按类型划分的创意奖励模型
CREward: A Type-Specific Creativity Reward Model
提供了一种按类型(几何/材质/纹理)分解的创意奖励模型,可直接作为扩散或生成模型的偏好奖励信号,并通过 LoRA 微调引导生成更具创意的图像;其用 LVLM 标注替代人工标注构建奖励模型的流程也可迁移到其他主观属性(如美学、风格)的奖励建模。
CRAFT-LoRA:通过秩约束适配与无训练融合实现内容-风格个性化
CRAFT-LoRA: Content-Style Personalization via Rank-Constrained Adaptation and Training-Free Fusion
把多个 LoRA 权重在推理时无训练地组合起来,并通过秩约束微调让内容与风格落在解耦子空间,可直接用于视觉生成中的多概念个性化与风格迁移;其按时间步调整噪声预测的无分类器引导方案也可迁移到其他扩散采样流程以提升稳定性。
CAST:面向交互式文本到图像检索的上下文感知动态潜空间变换
CAST: Context-Aware Dynamic Latent Space Transformation for Interactive Text-to-Image Retrieval
提出一种轻量级即插即用的上下文感知潜空间变换模块(CASR),通过低秩投影和强度调制动态调整多模态嵌入空间,可复用于其他需要细粒度语义对齐的跨模态检索或生成任务。
CARLoS:通过 LoRA 的简洁评估表示实现大规模检索
CARLoS: Retrieval via Concise Assessment Representation of LoRAs at Scale
用 CLIP 嵌入与基模型生成结果的差值构造 Direction/Strength/Consistency 三段式表示,为 LoRA 这类生成组件的无元数据刻画与检索提供了可复用范式,可直接迁移到视觉生成模型的适配器管理与组合检索。
用于真实图像去雾的双层层级定位低秩适配
Bilevel Layer-Positioning LoRA for Real Image Dehazing
将CLIP的跨模态语义对齐作为无参考图像复原的无监督损失,并用双层优化自动搜索LoRA注入层,为真实场景去雾等底层视觉任务提供了一种参数高效且无需成对数据的微调范式。
BiProLoRA:面向真实场景复原的双层提示低秩适配
BiProLoRA: Bilevel Prompt LoRA for Real Scene Recovery
把预训练生成模型通过双层优化(超参数优化)联合调 LoRA 与提示词,并用自监督分布保真校准自编码通路,可直接迁移到去雨/去雾/低光照等真实退化复原任务中做合成到真实的适配。
超越串行工具:基于动态多专家融合的统一视觉语言模型智能体系统用于摄影后期处理
Beyond Sequential Tools: A Unified VLM Agent System for Photographic Post-Processing via Dynamic Multi-Expert Fusion
把 VLM 当作调度器,为多个只改 K/V 矩阵的专家 LoRA 动态分配权重,并一次性合并进扩散骨干网络完成单步复原,这个「多专家 LoRA 融合 + 单次前向」的范式可直接迁移到去噪、去模糊、低光照增强等耦合退化场景。
面向基的低秩迁移用于少样本与测试时自适应
Basis-Oriented Low-rank Transfer for Few-Shot and Test-Time Adaptation
BOLT 提供了一种无需元训练、仅利用多个任务向量构造正交低秩基的迁移方法,视觉研究者可将其用于少样本或测试时快速适配新任务,尤其适合在已有多个微调模型(如不同数据集上的 ViT)时复用其知识。
AnomalyVFM——将视觉基础模型转化为零样本异常检测器
AnomalyVFM -- Transforming Vision Foundation Models into Zero-Shot Anomaly Detectors
把任意预训练视觉基础模型(如 DINOv2、RADIO)通过低秩特征适配器加置信度加权像素损失改造成零样本异常检测器,并给出三阶段合成异常数据生成方案,可直接复用于工业质检等无监督缺陷定位场景。