图像目标移除方法、装置及电子设备制造方法及图纸

本申请提供了一种图像目标移除方法、装置及电子设备，方法包括：获取待处理图像以及对应的前景目标掩码；将待处理图像和前景目标掩码输入至预训练扩散模型；其中，预训练扩散模型包括自编码器模块和噪声预测模块；通过自编码器模块中的编码器，对待处理图像进行编码处理，得到待处理图像对应的初始隐变量；对初始隐变量进行前向扩散加噪处理，得到含噪隐变量；基于前景目标掩码，通过噪声预测模块对含噪隐变量执行逆向扩散采样过程，获取并修正各时间步的自注意力图；基于修正后的各时间步的自注意力图，以及自注意力重定向引导方式，对逆向扩散采样过程进行引导，以实现待处理图像的目标移除。本申请能够提高目标移除的质量以及稳定性。

【技术实现步骤摘要】

本申请涉及图像处理，尤其是涉及一种图像目标移除方法、装置及电子设备。

技术介绍

1、目标移除任务作为计算机视觉领域的一项重要任务旨在从图像中自动移除指定的目标或对象，同时保持与周围环境的连贯性和自然性。这项任务也有着广泛的实际应用，比如在图像编辑软件中，用户可以利用目标移除功能来删除图像中不需要的对象或区域，从而改善图像的美观度和视觉效果，这在广告、平面设计、摄影等领域都有着重要的应用。

2、传统的目标移除方法为基于块或者cnn的方法，尽管这些目标移除方法在某些情况下能够取得一定的效果，但它们存在一些局限性，特别是在保持移除区域与周围环境的一致性和自然性方面表现不佳。此外，对于复杂场景和大尺度移除的情况，这些方法的处理能力有限，往往难以达到令人满意的效果。

3、最近随着生成模型的快速发展，有越来越多的生成模型被应用到目标移除任务，其中较为常见的为基于生成对抗网络的方法和基于扩散模型的方法。然而这些方法也存在一些不足，生成对抗网络训练速度较慢且不稳定，容易出现模式崩溃（生成器生成的图像多样性降低）或模式振荡（生成器和判别器之间的训练动本文档来自技高网...

【技术保护点】

1.一种图像目标移除方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，对所述初始隐变量进行前向扩散加噪处理，得到含噪隐变量的步骤，包括：

3.根据权利要求1所述的方法，其特征在于，所述噪声预测模块为U-net网络架构；基于所述前景目标掩码，通过所述噪声预测模块对所述含噪隐变量执行逆向扩散采样过程，获取并修正各时间步的自注意力图的步骤，包括：

4.根据权利要求3所述的方法，其特征在于，根据所述前景目标掩码，对所述自注意力相似度矩阵进行修正，得到修正后的前景目标相似度矩阵和修正后的背景相似度矩阵的步骤，包括：</p>

5.根据...

【技术特征摘要】

1.一种图像目标移除方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，对所述初始隐变量进行前向扩散加噪处理，得到含噪隐变量的步骤，包括：

3.根据权利要求1所述的方法，其特征在于，所述噪声预测模块为u-net网络架构；基于所述前景目标掩码，通过所述噪声预测模块对所述含噪隐变量执行逆向扩散采样过程，获取并修正各时间步的自注意力图的步骤，包括：

4.根据权利要求3所述的方法，其特征在于，根据所述前景目标掩码，对所述自注意力相似度矩阵进行修正，得到修正后的前景目标相似度矩阵和修正后的背景相似度矩阵的步骤，包括：

5.根据权利要求1所述的方法，其特征在于，基于修正后的各时间步的自注意力图，以及自注意力重定向引导方式，对所述逆向扩散采样过程进行引导，以实现所述待处理图像的目标移除的步骤，包括：

<...

【专利技术属性】
技术研发人员：王碧波，
申请(专利权)人：杭州汇数智通科技有限公司，
类型：发明
国别省市：