肺部图像的语义分割方法、装置、设备及存储介质制造方法及图纸

本申请是2018112043754的分案申请。本申请公开了一种肺部图像的语义分割方法、装置、计算机设备及存储介质，属于深度学习领域。所述计算机设备包括：处理器和存储器，所述处理器用于获取肺部二维图像；调用分割模型对所述肺部二维图像进行语义分割，得到肺部器官的分布概率图；根据所述分布概率图中每个像素点的最大概率类别，计算得到所述肺部器官的二维分布二值图；其中，所述分割模型包括：深度网络编码部和跳跃传递解码部。

Semantic segmentation method, device, device and storage medium of lung image

【技术实现步骤摘要】
肺部图像的语义分割方法、装置、设备及存储介质本申请是申请号为2018112043754、申请日为2018年10月16日、专利技术名称为“三维图像的语义分割方法、装置、设备及存储介质”的分案申请
本申请涉及深度学习领域，特别涉及一种肺部图像的语义分割方法、装置、设备及存储介质。
技术介绍
医学图像中，人体器官/组织的外形或体积变化对临床诊断有着重要的启示作用。采用深度学习模型对医学图像进行语义分割，能够得到医学图像中的人体器官/组织所在的图像区域。相关技术中采用场景解析网络(PyramidSceneParsingNetwork，Pspnet)对二维医学图像进行语义分割。Pspnet是一种基于深度学习的语义分割技术。Pspnet采用多种不同尺寸的卷积核，多尺度采集特征图(featuremap)，最后将输出的特征图插值放大，得到语义分割结果。但Pspnet是二维自然图像的语义分割技术，并不支持对三维医学图像进行语义分割。
技术实现思路
本申请实施例提供了一种肺部图像的语义分割方法、装置、设备及存储介质，通过对医学图像先进行二维的语义分割再进行三维的自适应融合，能够解决相关技术中不支持对3D医学图像进行语义分割的问题。所述技术方案如下：根据本公开实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如下步骤：获取肺部二维图像；调用分割模型对所述肺部二维图像进行语义分割，得到肺部器官的分布概率图；根据所述分布概率图中每个像素点的最大概率类别，计算得到所述肺部器官的二维分布二值图；其中，所述分割模型包括：深度网络编码部和跳跃传递解码部，所述深度网络编码部包括n层卷积层，所述跳跃传递解码部包括m层反卷积层，n和m均为正整数；所述深度网络编码部，用于通过所述n层卷积层对所述肺部二维图像进行降采样特征提取，得到降采样后的第三中间特征图；所述跳跃传递解码部，用于通过所述m层反卷积层对所述第三中间特征图和第四中间特征图进行升采样处理，得到升采样后的所述分布概率图；其中，所述第四中间特征图包括所述n层卷积层中的第i层卷积层输出的特征图，i为小于或等于n的整数。根据本公开的另一方面，提供了一种肺部图像的语义分割装置，所述装置包括：第二获取模块，用于获取肺部二维图像；第二分割模块，用于调用分割模型对所述肺部二维图像进行语义分割，得到肺部器官的分布概率图；计算模块，用于根据所述分布概率图中每个像素点的最大概率类别，计算得到所述目标对象的二维分布二值图；其中，所述分割模型包括：深度网络编码部和跳跃传递解码部，所述深度网络编码部包括n层卷积层，所述跳跃传递解码部包括m层反卷积层，n和m均为正整数；所述深度网络编码部，用于通过所述n层卷积层对所述肺部二维图像进行降采样特征提取，得到降采样后的第三中间特征图；所述跳跃传递解码部，用于通过所述m层反卷积层对所述第三中间特征图和第四中间特征图进行升采样处理，得到升采样后的所述分布概率图；其中，所述第四中间特征图包括所述n层卷积层中的第i层卷积层输出的特征图，i为小于或等于n的整数。根据本公开实施例的另一方面，提供了一种肺部图像的语义分割方法，所述方法包括：获取肺部二维图像；调用分割模型对所述肺部二维图像进行语义分割，得到肺部器官的分布概率图；根据所述分布概率图中每个像素点的最大概率类别，计算得到所述目标对象的二维分布二值图；其中，所述分割模型包括：深度网络编码部和跳跃传递解码部，所述深度网络编码部包括n层卷积层，所述跳跃传递解码部包括m层反卷积层，n和m均为正整数；所述深度网络编码部，用于通过所述n层卷积层对所述肺部二维图像进行降采样特征提取，得到降采样后的第三中间特征图；所述跳跃传递解码部，用于通过所述m层反卷积层对所述第三中间特征图和第四中间特征图进行升采样处理，得到升采样后的所述分布概率图；其中，所述第四中间特征图包括所述n层卷积层中的第i层卷积层输出的特征图，i为小于或等于n的整数。根据本公开实施例的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的肺部图像的语义分割方法。根据本公开实施例的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上所述的肺部图像的语义分割方法。根据本公开实施例的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上所述的肺部图像的语义分割方法。本申请实施例提供的技术方案带来的有益效果至少包括：通过将3D医学图像按照3D坐标轴所在的三个方向面进行切片，得到三个坐标轴分别对应的2D切片图像，使用三个2D分割模型分别对三个坐标轴对应的2D切片图像进行语义分割后，将三个2D语义分割结果使用自适应融合模型进行3D融合，从而得到目标器官的3D分布二值图，解决了相关技术中的Pspnet网络模型仅适用于2D自然图像的语义分割，不支持对3D医学图像进行语义分割的问题，达到了能够利用三个2D分割模型和一个自适应融合模型，实现对3D医学图像进行语义分割的效果。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是相关技术中提供的Pspet网络模型的结构示意图；图2是本申请一个示例性实施例提供的实施环境的示意图；图3是本申请一个示例性实施例提供的三维图像的语义分割的方法流程图；图4是本申请一个示例性实施例提供的三维医学图像的语义分割的结构示意图；图5是本申请另一个示例性实施例提供的三维图像的语义分割的方法流程图；图6是本申请另一个示例性实施例提供的不改变二维切片图像尺寸时目标对象形状变化的示意图；图7是本申请另一个示例性实施例提供的改变二维切片图像尺寸时目标对象形状不变化的示意图；图8是本申请另一个示例性实施例提供的第一分割模型的结构示意图；图9是本申请另一个示例性实施例提供的ResNet101网络模型中第一模块的结构示意图；图10是本申请另一个示例性实施例提供的自适应融合模型的结构示意图；图11是本申请一个示例性实施例提供的卷积网络模型训练方法的流程图；图12是本申请另一个示例性实施例提供的二维图像的语义分割的方法流程图；图13是本申请一个示例性实施例提供的三维图像的语义分割的装置示意图；图14是本申请另一个示例性实施例提供的三维图像的本文档来自技高网...

【技术保护点】
1.一种计算机设备，其特征在于，所述包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如下步骤：/n获取肺部二维图像；/n调用分割模型对所述肺部二维图像进行语义分割，得到肺部器官的分布概率图；/n根据所述分布概率图中每个像素点的最大概率类别，计算得到所述肺部器官的二维分布二值图；/n其中，所述分割模型包括：深度网络编码部和跳跃传递解码部，所述深度网络编码部包括n层卷积层，所述跳跃传递解码部包括m层反卷积层，n和m均为正整数；/n所述深度网络编码部，用于通过所述n层卷积层对所述肺部二维图像进行降采样特征提取，得到降采样后的第三中间特征图；/n所述跳跃传递解码部，用于通过所述m层反卷积层对所述第三中间特征图和第四中间特征图进行升采样处理，得到升采样后的所述分布概率图；/n其中，所述第四中间特征图包括所述n层卷积层中的第i层卷积层输出的特征图，i为小于或等于n的整数。/n

【技术特征摘要】
1.一种计算机设备，其特征在于，所述包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如下步骤：
获取肺部二维图像；
调用分割模型对所述肺部二维图像进行语义分割，得到肺部器官的分布概率图；
根据所述分布概率图中每个像素点的最大概率类别，计算得到所述肺部器官的二维分布二值图；
其中，所述分割模型包括：深度网络编码部和跳跃传递解码部，所述深度网络编码部包括n层卷积层，所述跳跃传递解码部包括m层反卷积层，n和m均为正整数；
所述深度网络编码部，用于通过所述n层卷积层对所述肺部二维图像进行降采样特征提取，得到降采样后的第三中间特征图；
所述跳跃传递解码部，用于通过所述m层反卷积层对所述第三中间特征图和第四中间特征图进行升采样处理，得到升采样后的所述分布概率图；
其中，所述第四中间特征图包括所述n层卷积层中的第i层卷积层输出的特征图，i为小于或等于n的整数。


2.根据权利要求1所述的计算机设备，其特征在于，所述肺部二维图像包括：肺部器官在x轴的二维切片图像、y轴的二维切片图像和z轴的二维切片图像；
所述指令还由所述处理器加载并执行以实现如下步骤：
调用自适应融合模型对所述x轴方向面、所述y轴方向面和所述z轴方向面各自对应的三个分布概率图进行三维融合，得到所述肺部器官的三维分布二值图。


3.根据权利要求2所述的计算机设备，其特征在于，所述指令还由所述处理器加载并执行以实现如下步骤：
调用所述自适应融合模型将所述x轴方向面、所述y轴方向面和所述z轴方向面各自对应的三个分布概率图进行组合，得到三维分布特征图；
对所述三维分布特征图进行三维融合卷积，得到三维分割概率图；
根据所述三维分割概率图中每个像素点的最大概率类别，计算得到所述肺部器官的三维分布二值图。


4.根据权利要求3所述的计算机设备，其特征在于，所述指令还由所述处理器加载并执行以实现如下步骤：
基于临床先验知识对所述三维分布二值图中的噪声像素点进行滤除后处理；
所述临床先验知识是对所述肺部三维图像中的所述肺部器官的分布位置进行统计得到的知识。


5.根据权利要求4所述的计算机设备，其特征在于，所述指令还由所述处理器加载并执行以实现如下步骤：
在所述三维分布二值图中滤除超出目标取值范围的第一噪声像素点；
其中，所述目标取值范围是根据第一临床先验知识得到的所述肺部器官可能出现的坐标取值范围。


6.根据权利要求4所述的计算机设备，其特征在于，所述指令还由所述处理...

【专利技术属性】
技术研发人员：陈思宏，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44