Erase Diffusion: Empowering Object Removal Through Calibrating Diffusion Pathways
作者: Yi Liu, Hao Zhou, Wenxiang Shang, Ran Lin, Benlei Cui
发布时间: 2025-03-11
来源: arxiv
研究方向: 计算机视觉，图像处理，图像修复
主要内容
本文提出了一种名为EraDiff的新型去噪扩散模型，旨在通过校准扩散路径来增强对象去除能力。该模型针对图像修复中的去除任务进行了优化，旨在在去除对象的同时保持周围内容的视觉一致性。
主要贡献
1. 提出了Chain-Rectifying Optimization (CRO)范式，通过动态图像合成策略模拟对象的逐渐消除过程，从而提高去除结果的连贯性和准确性。
2. 设计了Self-Rectifying Attention (SRA)机制，通过调整自注意力激活来校准采样路径，从而有效地避免伪影并增强生成内容的连贯性。
3. 在OpenImages V5数据集和大规模真实场景中实现了最先进的性能，并显著优于现有方法。
研究方法
1. Chain-Rectifying Optimization (CRO)：通过动态图像合成策略模拟对象的逐渐消除过程，并建立新的扩散路径。
2. Self-Rectifying Attention (SRA)：通过调整自注意力激活来校准采样路径，从而避免伪影并增强生成内容的连贯性。
3. Latent Diffusion Models (LDMs)：利用LDMs作为去除任务的模型，以生成更自然、连贯的图像。
实验结果
EraDiff在OpenImages V5数据集上实现了最先进的性能，并在真实场景中表现出显著优势。实验结果表明，EraDiff在去除对象的同时，能够保持图像的视觉连贯性和真实性。
未来工作
未来工作将集中于解决EraDiff在处理文本数据、完成任务和大型背景去除等场景中的局限性，并探索更有效的数据合成策略和注意力机制。