图像分割方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种图像分割方法、装置、设备及存储介质，属于图像处理技术领域。本申请通过图像分割模型中不同尺度的神经网络对目标图像以及第一掩膜分别进行处理，得到尺度不同的多个特征图和中间掩膜，充分保留高分辨率的图像信息；由多个注意力单元，对每个特征图应用注意力权重进行加权运算，得到多个中间特征图；对每个中间特征图进行特征融合，得到第二掩膜；若第二掩膜满足条件，基于第二掩膜进行图像分割，否则，基于第二掩膜调整第一掩膜，再基于调整后的第一掩膜和目标图像输出新的第二掩膜，判断新的第二掩膜是否满足条件。在上述方案中，应用注意力机制、多尺度特征融合、迭代调整分割区域三种途径，来提图像分割结果的准确率。

Image segmentation method, device, equipment and storage medium

【技术实现步骤摘要】
图像分割方法、装置、设备及存储介质
本申请涉及图像处理
，特别涉及一种图像分割方法、装置、设备及存储介质。
技术介绍
图像分割是指把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术。随着机器学习技术的发展，可以基于深度神经网络构建图像分割模型，对图像中包含的目标对象进行分割，例如，在医疗领域，可以应用图像分割模型自动分割出医学图像中的器官、肿瘤等。但是在一些医学图像中，不同器官或组织之间亮度差异较小，不同区域之间边界模糊，对于这一类图像，应用图像分割模型进行图像分割时，通常难以准确地分割出图像中的各个目标对象。因此，如何提高图像分割模型的性能，提高图像分割结果的准确率，是一个重要研究方向。
技术实现思路
本申请实施例提供了一种图像分割方法、装置、设备及存储介质，可以提高图像分割结果的准确率。该技术方案如下：一方面，提供了一种图像分割方法，该方法包括：将包含目标对象的目标图像以及第一掩膜输入图像分割模型，该图像分割模型包括多个不同尺度的神经网络以及至少一个注意力单元；通过该多个不同尺度的神经网络对该目标图像以及该第一掩膜分别进行数据处理，得到尺度不同的多个特征图以及各个特征图对应的中间掩膜；通过该至少一个注意力单元，对每个该特征图中不同区域的元素应用不同的注意力权重进行加权运算，得到尺度不同的多个中间特征图；对每个该中间特征图进行特征融合，得到第二掩膜，该第二掩膜用于预测该目标对象在该目标图像的位置信息；响应于该第二掩膜满足目标条件，基于该第二掩膜将该目标图像中的目标对象分割出来，否则，基于该第二掩膜对该第一掩膜进行调整，由该图像分割模型基于调整后的第一掩膜以及该目标图像输出新的第二掩膜，判断该新的第二掩膜是否满足该目标条件。一方面，提供了一种图像分割装置，该装置包括：输入模块，用于将包含目标对象的目标图像以及第一掩膜输入图像分割模型，该图像分割模型包括多个不同尺度的神经网络以及至少一个注意力单元；特征提取模块，用于通过该多个不同尺度的神经网络对该目标图像以及该第一掩膜分别进行数据处理，得到尺度不同的多个特征图以及各个特征图对应的中间掩膜；加权模块，用于通过该至少一个注意力单元，对每个该特征图中不同区域的元素应用不同的注意力权重进行加权运算，得到尺度不同的多个中间特征图；特征融合模块，用于对每个该中间特征图进行特征融合，得到第二掩膜，该第二掩膜用于预测该目标对象在该目标图像的位置信息；图像分割模块，用于响应于该第二掩膜满足目标条件，基于该第二掩膜将该目标图像中的目标对象分割出来，否则，基于该第二掩膜对该第一掩膜进行调整，由该图像分割模型基于调整后的第一掩膜以及该目标图像输出新的第二掩膜，判断该新的第二掩膜是否满足该目标条件。在一种可能实现方式中，该特征提取模块用于：通过该多个不同尺度的神经网络分别对该目标图像进行特征提取，得到尺度不同的多个特征图；基于该多个不同尺度，对该第一掩膜进行尺度变换，得到该各个特征图对应的中间掩膜。在一种可能实现方式中，该特征提取模块用于：对于该多个不同尺度的神经网络中的任一个神经网络，获取前一个神经网络输出的第一尺度的特征图，对该第一尺度的特征图进行下采样，得到第二尺度的特征图，该第二尺度小于该第一尺度；获取各个神经网络输出的特征图，得到该尺度不同的多个特征图。在一种可能实现方式中，该加权模块用于：对于每个注意力单元，获取前一个注意力单元输出的多个不同尺度的加权特征图，对每个该加权特征图中不同区域的元素应用不同的注意力权重进行加权运算，得到多个不同尺度的加权特征图；获取最后一个注意力单元输出的多个不同尺度的加权特征图，作为该中间特征图。在一种可能实现方式中，该加权模块用于：基于任一加权特征图以及与该任一加权特征图尺度相同的该中间掩膜，确定该任一加权特征图中目标区域对应的第一权重序列以及背景区域对应的第二权重序列，该目标区域为该目标对象的所在区域；基于该第一权重序列以及该第二权重序列，对该任一加权特征图中不同区域的元素进行加权运算。在一种可能实现方式中，该装置还包括：权重融合模块，用于对该第一权重序列以及该第二权重序列进行特征融合；基于特征融合后的该第一权重序列以及该第二权重序列，执行对该任一特征图进行加权运算的步骤。在一种可能实现方式中，该权重融合模块用于：对该第一初始权重序列以及该第二初始权重序列进行池化处理，得到中间权重序列；按照目标比例对该中间权重序列进行拆分，得到特征融合后的该第一权重序列以及该第二权重序列。在一种可能实现方式中，该特征融合模块用于：对各个该中间特征图进行特征融合，得到目标尺度的目标特征图；基于该目标特征图，确定该第二掩膜。在一种可能实现方式中，该特征融合模块用于：将各个该中间特征图中最大的特征图尺度，确定为该目标尺度；将各个该中间特征图转换为该目标尺度的中间特征图；对各个该目标尺度的中间特征图进行特征融合，得到该目标特征图。在一种可能实现方式中，该特征融合模块用于：对各个该目标尺度的中间特征图中相同位置的元素取平均值，得到一个新的矩阵，将该新的矩阵作为该目标特征图。在一种可能实现方式中，该特征融合模块用于：对该目标特征图进行归一化处理，得到一个归一化的数值矩阵；基于目标阈值，对该数值矩阵进行二值化处理，得到该第二掩膜。在一种可能实现方式中，该装置还包括：误差确定模块，用于确定该第二掩膜与该第一掩膜之间的误差；若该误差小于误差阈值，则确定该第二掩膜满足该目标条件；若该误差大于该误差阈值，则确定该第二掩膜不满足该目标条件。一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器加载并执行以实现该图像分割方法所执行的操作。一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行以实现该图像分割方法所执行的操作。本申请实施例提供的技术方案，通过图像分割模型中多个不同尺度的神经网络对目标图像以及第一掩膜分别进行数据处理，得到尺度不同的多个特征图以及各个特征图对应的中间掩膜，在这一过程中，充分保留了高分辨率的图像信息；通过至少一个注意力单元，对每个特征图中不同区域的元素应用不同的注意力权重进行加权运算，即为不同区域分配不同的注意力，得到尺度不同的多个中间特征图；对每个中间特征图进行特征融合，得到第二掩膜，即确定出分割区域；响应于第二掩膜满足目标条件，基于第二掩膜将目标图像中的目标对象分割出来，否则，基于第二掩膜对第一掩膜进行调整，由图像分割模型基于调整后的第一掩膜以及目标图像输出新的第二掩膜，判断新的第二掩膜是否满足该目标条件。在上本文档来自技高网...

【技术保护点】
1.一种图像分割方法，其特征在于，所述方法包括：/n将包含目标对象的目标图像以及第一掩膜输入图像分割模型，所述图像分割模型包括多个不同尺度的神经网络以及至少一个注意力单元；/n通过所述多个不同尺度的神经网络对所述目标图像以及所述第一掩膜分别进行数据处理，得到尺度不同的多个特征图以及各个特征图对应的中间掩膜；/n通过所述至少一个注意力单元，对每个所述特征图中不同区域的元素应用不同的注意力权重进行加权运算，得到尺度不同的多个中间特征图；/n对每个所述中间特征图进行特征融合，得到第二掩膜，所述第二掩膜用于预测所述目标对象在所述目标图像的位置信息；/n响应于所述第二掩膜满足目标条件，基于所述第二掩膜将所述目标图像中的目标对象分割出来，否则，基于所述第二掩膜对所述第一掩膜进行调整，由所述图像分割模型基于调整后的第一掩膜以及所述目标图像输出新的第二掩膜，判断所述新的第二掩膜是否满足所述目标条件。/n

【技术特征摘要】
1.一种图像分割方法，其特征在于，所述方法包括：
将包含目标对象的目标图像以及第一掩膜输入图像分割模型，所述图像分割模型包括多个不同尺度的神经网络以及至少一个注意力单元；
通过所述多个不同尺度的神经网络对所述目标图像以及所述第一掩膜分别进行数据处理，得到尺度不同的多个特征图以及各个特征图对应的中间掩膜；
通过所述至少一个注意力单元，对每个所述特征图中不同区域的元素应用不同的注意力权重进行加权运算，得到尺度不同的多个中间特征图；
对每个所述中间特征图进行特征融合，得到第二掩膜，所述第二掩膜用于预测所述目标对象在所述目标图像的位置信息；
响应于所述第二掩膜满足目标条件，基于所述第二掩膜将所述目标图像中的目标对象分割出来，否则，基于所述第二掩膜对所述第一掩膜进行调整，由所述图像分割模型基于调整后的第一掩膜以及所述目标图像输出新的第二掩膜，判断所述新的第二掩膜是否满足所述目标条件。


2.根据权利要求1所述的方法，其特征在于，所述通过所述多个不同尺度的神经网络对所述目标图像以及所述第一掩膜分别进行数据处理，得到尺度不同的多个特征图以及各个特征图对应的中间掩膜，包括：
通过所述多个不同尺度的神经网络分别对所述目标图像进行特征提取，得到尺度不同的多个特征图；
基于所述多个不同尺度，对所述第一掩膜进行尺度变换，得到所述各个特征图对应的中间掩膜。


3.根据权利要求2所述的方法，其特征在于，所述通过所述多个不同尺度的神经网络分别对所述目标图像进行特征提取，得到尺度不同的多个特征图，包括：
对于所述多个不同尺度的神经网络中的任一个神经网络，获取前一个神经网络输出的第一尺度的特征图，对所述第一尺度的特征图进行下采样，得到第二尺度的特征图，所述第二尺度小于所述第一尺度；
获取各个神经网络输出的特征图，得到所述尺度不同的多个特征图。


4.根据权利要求1所述的方法，其特征在于，所述通过所述至少一个注意力单元，对每个所述特征图中不同区域的元素应用不同的注意力权重进行加权运算，得到尺度不同的多个中间特征图，包括：
对于每个注意力单元，获取前一个注意力单元输出的多个不同尺度的加权特征图，对每个所述加权特征图中不同区域的元素应用不同的注意力权重进行加权运算，得到多个不同尺度的加权特征图；
获取最后一个注意力单元输出的多个不同尺度的加权特征图，作为所述中间特征图。


5.根据权利要求4所述的方法，其特征在于，所述对每个所述加权特征图中不同区域的元素应用不同的注意力权重进行加权运算，包括：
基于任一加权特征图以及与所述任一加权特征图尺度相同的所述中间掩膜，确定所述任一加权特征图中目标区域对应的第一权重序列以及背景区域对应的第二权重序列，所述目标区域为所述目标对象的所在区域；
基于所述第一权重序列以及所述第二权重序列，对所述任一加权特征图中不同区域的元素进行加权运算。


6.根据权利要求5所述的方法，其特征在于，所述基于任一加权特征图以及与所述任一加权特征图尺度相同的所述中间掩膜，确定所述任一加权特征图中目标区域对应的第一权重序列以及背景区域对应的第二权重序列之后，所述方法还包括：
对所述第一权重序列以及所述第二权重序列进行特征融合；
基于特征融合后的所述第一权重序列以及所述第二权重序列，执行对所述任一特征图进行加权运算的步骤。


7.根据权利要求6所述的方法，其特征在于，所述对所述第一权重序列以及所述第二权重序列...

【专利技术属性】
技术研发人员：胡一凡，李悦翔，魏东，陈嘉伟，曹世磊，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44