图像分割方法、装置、设备和存储介质制造方法及图纸

本发明专利技术涉及图像处理技术领域，提供一种图像分割方法、装置、设备和存储介质，该方法包括：通过获取待分割的图像对应的第一二值图像；利用扩散模型的正向过程，根据交互操作信息、服从标准高斯分布的噪声，以及第一二值图像，得到添加噪声后的第二二值图像，其中，所述第一二值图像和第二二值图像均为在极坐标系中进行标注的二值图像，极坐标系的坐标原点为根据交互操作信息中对应的至少一个正向标注点确定的；利用扩散模型的逆向过程，根据添加噪声后的第二二值图像、待分割的图像，得到第一目标图像。本发明专利技术中将扩散式模型与交互式分割算法相结合，更充分地利用交互操作信息，提高了交互式图像分割的分割精度。高了交互式图像分割的分割精度。高了交互式图像分割的分割精度。

【技术实现步骤摘要】
图像分割方法、装置、设备和存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种图像分割方法、装置、设备和存储介质。

技术介绍

[0002]图像分割是人工智能、计算机视觉等领域的一个重要组成部分，其中，交互式图像分割是通过引入少量的用户标记(例如点击、划线、边界框，涂鸦等交互操作)，将这些标记作为先验，从而指导网络分割出用户感兴趣的区域。
[0003]现有技术中，交互式图像分割算法多基于传统的卷积神经网络(Convolutional Neural Networks，CNN)网络或变换Transformer结构，将交互操作的信息与待分割图像一同输入网络从而实现交互式分割。但因为交互操作的信息较为稀疏，通过现有方法进行分割的分割精度较差。

技术实现思路

[0004]本专利技术提供一种图像分割方法、装置、设备和存储介质，用以解决现有技术中分割精度较差的缺陷，实现提高图像分割的分割精度。
[0005]第一方面，本专利技术提供一种图像分割方法，该方法包括：
[0006]获取待分割的图像对应的第一二值图像；
[0007]利用扩散模型的正向过程，根据交互操作信息、服从标准高斯分布的噪声，以及所述第一二值图像，得到添加噪声后的第二二值图像；所述第一二值图像和第二二值图像均为在极坐标系中进行标注的二值图像，所述极坐标系的坐标原点为根据所述交互操作信息中对应的至少一个正向标注点确定的；
[0008]利用所述扩散模型的逆向过程，根据所述添加噪声后的第二二值图像、所述待分割的图像，得到第一目标图像。
[0009]可选地，所述利用扩散模型的正向过程，根据交互操作信息、服从标准高斯分布的噪声，以及所述第一二值图像，得到添加噪声后的第二二值图像，包括：
[0010]根据所述交互操作信息，得到与扩散幅度有关的控制参数；
[0011]根据所述控制参数、所述第一二值图像，以及所述服从标准高斯分布的噪声，得到所述添加噪声后的第二二值图像。
[0012]可选地，所述根据所述控制参数、所述第一二值图像，以及所述服从标准高斯分布的噪声，得到所述添加噪声后的第二二值图像，包括：
[0013]利用如下公式(1)和公式(2)根据所述控制参数、所述第一二值图像，以及所述服从标准高斯分布的噪声，得到各个时间步对应的添加噪声后的第二二值图像：
[0014][0015][0016]其中，q(x
t
|x0)表示第t个时间步对应的添加噪声后的第二二值图像，x0表示所述第一二值图像，I表示所述服从标准高斯分布的噪声，β
t
表示第t个时间步对应的控制参数；
[0017]根据各个所述时间步对应的添加噪声后的第二二值图像、所述扩散模型对应的时间步数量，得到所述添加噪声后的第二二值图像。
[0018]可选地，所述扩散模型包括基于U型网络U
‑
NET构建的降噪函数，所述利用所述扩散模型的逆向过程，根据所述添加噪声后的第二二值图像、所述待分割的图像，得到第一目标图像，包括：
[0019]利用所述降噪函数，将所述添加噪声后的第二二值图像作为条件，对所述待分割的图像进行逐步降噪，得到各个时间步对应的降噪图像；第t个时间步对应的降噪图像为输入至第t
‑
1个时间步的待分割的图像，其中，t为大于0小于T的整数，T为所述扩散模型对应的时间步的数量；
[0020]根据各个所述时间步对应的降噪图像和所述时间步的数量，得到第一目标图像。
[0021]可选地，所述利用扩散模型的正向过程，根据交互操作信息、服从标准高斯分布的噪声，以及所述第一二值图像，得到添加噪声后的第二二值图像之前，还包括：
[0022]将所述第一二值图像包含的各个像素点在直角坐标系中的位置信息，转换为所述第一二值图像包含的各个像素点在极坐标系中的位置信息。
[0023]可选地，所述交互操作信息以热力图表示，所述热力图包括标记前景的正向点击对应的正向热力图和标记背景的负向点击对应的负向热力图。
[0024]第二方面，本专利技术提供一种图像分割装置，装置包括：
[0025]获取模块，用于获取待分割的图像对应的第一二值图像；
[0026]处理模块，用于利用扩散模型的正向过程，根据交互操作信息、服从标准高斯分布的噪声，以及所述第一二值图像，得到添加噪声后的第二二值图像；所述第一二值图像和第二二值图像均为在极坐标系中进行标注的二值图像，所述极坐标系的坐标原点为根据所述交互操作信息中对应的至少一个正向标注点确定的；
[0027]利用所述扩散模型的逆向过程，根据所述添加噪声后的第二二值图像、所述待分割的图像，得到第一目标图像。
[0028]第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像分割方法。
[0029]第四方面，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像分割方法。
[0030]第五方面，本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像分割方法。
[0031]本专利技术提供的一种图像分割方法、装置、设备和存储介质，通过获取待分割的图像对应的第一二值图像，然后利用扩散模型的正向过程，根据交互操作信息、服从标准高斯分布的噪声，以及第一二值图像，得到添加噪声后的第二二值图像，其中，所述第一二值图像和第二二值图像均为在极坐标系中进行标注的二值图像，极坐标系的坐标原点为根据交互操作信息中对应的至少一个正向标注点确定的；进而，利用扩散模型的逆向过程，根据添加噪声后的第二二值图像、待分割的图像，得到第一目标图像。本专利技术中基于交互操作信息，
利用扩散模型的正向过程，对待分割的图像对应的第一二值图像逐步添加噪声，第一二值图像在极坐标系中进行标注，基于极坐标系添加噪声扩散过程更自然，对二值图像进行模拟的准确性较高；进而，利用扩散模型的逆向过程根据添加噪声后的第二二值图像、待分割的图像，得到第一目标图像，因扩散模型本身具备较好的特征表示能力和细节恢复能力，将扩散式模型与交互式分割算法相结合，更充分地利用交互操作信息，提高了交互式图像分割的分割精度。
附图说明
[0032]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1是本专利技术提供的图像分割方法的流程示意图之一；
[0034]图2是本专利技术提供的图像分割方法的流程示意图之二；
[0035]图3是本专利技术提供的图像分割装置的结构示意图；
[0036]图4是本专利技术提供的电子设备的结构示意图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分割方法，其特征在于，包括：获取待分割的图像对应的第一二值图像；利用扩散模型的正向过程，根据交互操作信息、服从标准高斯分布的噪声，以及所述第一二值图像，得到添加噪声后的第二二值图像；所述第一二值图像和第二二值图像均为在极坐标系中进行标注的二值图像，所述极坐标系的坐标原点为根据所述交互操作信息中对应的至少一个正向标注点确定的；利用所述扩散模型的逆向过程，根据所述添加噪声后的第二二值图像、所述待分割的图像，得到第一目标图像。2.根据权利要求1所述的图像分割方法，其特征在于，所述利用扩散模型的正向过程，根据交互操作信息、服从标准高斯分布的噪声，以及所述第一二值图像，得到添加噪声后的第二二值图像，包括：根据所述交互操作信息，得到与扩散幅度有关的控制参数；根据所述控制参数、所述第一二值图像，以及所述服从标准高斯分布的噪声，得到所述添加噪声后的第二二值图像。3.根据权利要求2所述的图像分割方法，其特征在于，所述根据所述控制参数、所述第一二值图像，以及所述服从标准高斯分布的噪声，得到所述添加噪声后的第二二值图像，包括：利用如下公式(1)和公式(2)根据所述控制参数、所述第一二值图像，以及所述服从标准高斯分布的噪声，得到各个时间步对应的添加噪声后的第二二值图像：准高斯分布的噪声，得到各个时间步对应的添加噪声后的第二二值图像：其中，q(x
t
|x0)表示第t个时间步对应的添加噪声后的第二二值图像，x0表示所述第一二值图像，I表示所述服从标准高斯分布的噪声，β
t
表示第t个时间步对应的控制参数；根据各个所述时间步对应的添加噪声后的第二二值图像、所述扩散模型对应的时间步数量，得到所述添加噪声后的第二二值图像。4.根据权利要求1
‑
3任一项所述的图像分割方法，其特征在于，所述扩散模型包括基于U型网络U
‑
NET构建的降噪函数，所述利用所述扩散模型的逆向过程，根据所述添加噪声后的第二二值图像、所述待分割的图像，得到第一目标图像，包括：利用所述降噪函数，将所述添加噪声后的第二...

【专利技术属性】
技术研发人员：刘瑜，康雨萌，姜智卓，柯宇新，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：