从图像修复到图层分解：改造生成式图像修复模型用于图像图层分解
From Inpainting to Layer Decomposition: Repurposing Generative Inpainting Models for Image Layer Decomposition
把预训练的扩散图像修复模型通过轻量微调改造成图层分解器，并用线性复杂度的多模态上下文融合模块在潜空间保留细节；做图像编辑、遮挡恢复或前景/背景分离的研究者可直接复用这一「修复模型即分解模型」的迁移思路与融合模块。
原文依据 propose adapting a diffusion-based inpainting model for layer decomposition using lightweight finetuning
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论图像可以被视为分层组合，即前景物体叠加在背景之上，并可能存在遮挡。这种分层表示使得各元素可以被独立编辑，为内容创作提供了更大的灵活性。尽管大型生成模型取得了进展，但由于方法与数据有限，将单张图像分解为多个图层仍然具有挑战性。我们观察到图层分解与图像内/外修复任务之间存在紧密联系，并提出通过轻量微调将基于扩散的图像修复模型改造为图层分解模型。为了进一步在潜空间中保留细节，我们引入了一种新颖的多模态上下文融合模块，其注意力复杂度为线性。我们的模型完全在一个由开源素材构建的合成数据集上训练，在物体移除与遮挡恢复方面取得了更优的性能，为下游编辑与创意应用开辟了新的可能性。
英文原文摘要 944 字符
Images can be viewed as layered compositions, foreground objects over background, with potential occlusions. This layered representation enables independent editing of elements, offering greater flexibility for content creation. Despite the progress in large generative models, decomposing a single image into layers remains challenging due to limited methods and data. We observe a strong connection between layer decomposition and in/outpainting tasks, and propose adapting a diffusion-based inpainting model for layer decomposition using lightweight finetuning. To further preserve detail in the latent space, we introduce a novel multi-modality context fusion module with linear attention complexity. Our model is trained purely on a synthetic dataset constructed from open-source assets and achieves superior performance in object removal and occlusion recovery, unlocking new possibilities in downstream editing and creative applications.