基于Mask-RCNN神经网络的肺结节分割装置的建立方法制造方法及图纸

本发明专利技术公开了一种基于Mask‑RCNN神经网络的肺结节分割装置的建立方法，包括：建立训练样本：对采集的三维肺部CT图像依次进行裁剪、数据增强以及难分负样本挖掘处理，获得训练样本集；建立肺结节分割网络：网络包括依次连接的输入层、第一最大池化层、64*64*64卷积层、第二最大池化层、32*32*32稠密块层、第三最大池化层、16*16*16稠密块层，16*16*16稠密块层输出的特征图经过上采样与32*32*32稠密块层输出的特征图进行特征融合，特征融合后的特征图经POL池化层后，输入到RPN网络；训练肺结节分割网络：利用训练样本对肺结节分割网络进行训练，获得肺结节分割装置。

Establishment of lung nodule segmentation device based on Mask-RCNN neural network

The invention discloses a method for the establishment of a lung nodule segmentation device based on Mask RCNN neural network, including training samples: trimming the collected CT images in turn, data enhancement, and hard sample mining, and obtaining a training sample set; building a lung nodule segmentation network: the network includes sequence. The input layer, the first maximum pool layer, the 64*64*64 coiling layer, the second maximum pool layer, the 32*32*32 dense block layer, the third maximum pool layer, the 16*16*16 dense block layer, the characteristic graph of the 16*16*16 dense block output are fused with the feature graph of the 32*32*32 heavy block layer output by the upper sampling, and the feature after the feature fusion is characterized. After the POL pool layer, the map is entered into the RPN network, and the lung nodule segmentation network is trained. The training samples are used to train the lung nodule segmentation network and the lung nodule segmentation device is obtained.

【技术实现步骤摘要】
基于Mask-RCNN神经网络的肺结节分割装置的建立方法
本专利技术属于图像处理领域，具体涉及一种基于Mask-RCNN神经网络的肺结节分割装置的建立方法。
技术介绍
现有采用深度学习算法检测肺部CT图中肺结节的方法很多，但是检测精度不高。造成精度不高的主要原因为：(1)检测阶段的召回率较低于某些特殊类型的肺结节，造成漏检的情况，使得检测精度不高。(2)肺结节的尺寸不均衡，较小的肺结节容易被忽视。基于上述两个原因，使得采用深度学习算法检测和分割出来的肺结节典型性和代表性不足。因此，提高肺结节检测的准确性和训练网络分割出更具代表性的结节成为了急需解决的问题。
技术实现思路
本专利技术的目的是提供一种基于Mask-RCNN神经网络的肺结节分割装置的建立方法。该方法建立的装置能够更加准确、快速地检测和确定肺部CT中的肺结节的三维图像。为实现上述专利技术目的，本专利技术具有有益效果为：一种基于Mask-RCNN神经网络的肺结节分割装置的建立方法，所述建立方法包括：建立训练样本：首先，将采集的三维肺部CT图像裁剪成大量的立方体小块，然后，采用数据增强方法处理立方体小块，最后，采用难分负样本挖掘方法对增强处理后的立方体小块进行处理，获得最难区分的2n个负样本和n个正样本组成训练样本集；建立肺结节分割网络：所述肺结节分割网络包括依次连接的输入层、第一最大池化层、64*64*64卷积层、第二最大池化层、32*32*32稠密块层、第三最大池化层、16*16*16稠密块层，16*16*16稠密块层输出的16*16*16特征图经过上采样与32*32*32稠密块层输出的32*32*32特征图进行特征融合，特征融合后的32*32*32特征图经POL池化层后，输入到RPN网络，实现对32*32*32特征图的肺结节预测和分割；训练肺结节分割网络：以2倍采样频率对训练样本集中的肺结节大于30mm的小块进行采样，以6倍采样频率对训练样集本中的肺结节大于40mm的小块进行采样，其他尺寸的肺结节以正常采样频率采样，将采样后的训练样本输入到肺结节分割网络，以肺结节分割网络的预测输出与真实输出的误差收敛为目标，对肺结节分割网络进行训练，获得肺结节分割装置。本专利技术在Mask-RCNN神经网络的基础上进行改进，建立肺结节分割网络，该网格能够丰富地提取训练样本中的肺结节特征，进而能够提升对肺结节的预测准确度。其中，所述将采集的三维肺部CT图像裁剪成大量的立方体小块包括：根据以下条件对三维肺部CT图像进行裁剪：条件一：70％立方体小块中至少包含一个肺结节目标；条件二：30％立方体小块中从整个肺部中随机选取；若立方体小块包含的区域超过了肺部，则用CT图像中无意义值170填充非肺部区域；以肺结节区域的像素作为正样本，其他区域的像素作为负样本。其中，采用难分负样本挖掘方法对增强处理后的立方体小块进行处理，获得最难区分的2n个负样本和n个正样本组成训练样本集包括：首先，采用肺结节分割网络对增强处理后的立方体小块进行计算，输出每个像素的分类置信度，分类置信度越接近1，表示立方体小块中含有肺结节的概率越高，分类置信度越接近0，表示立方体小块中不含有肺结节的概率越高；然后，计算分类置信度与真值标签之差的绝对值，该绝对值越大，表示该负样本越难被网络区分；最后，选择最难以被区分的2n个负样本和n个正样本组成训练样本集。其中，所述32*32*32稠密块层包括依次连接的4个特征提取组，每个特征提取组包括依次连接的BN层、RELU函数、CONV层、BN层、RELU函数、CONV层，每个特征提取组的输出除了作为与其相邻的特征提取组的输入外，还连接到其后的所有特征提取组的输出，使最后一个特征提取组的输出融合了所有特征提取组的所有输出。所述16*16*16稠密块层包括依次连接的4个特征提取组，每个特征提取组包括依次连接的BN层、RELU函数、CONV层、BN层、RELU函数、CONV层，每个特征提取组的输出除了作为与其相邻的特征提取组的输入外，还连接到其后的所有特征提取组的输出，使最后一个特征提取组的输出融合了所有特征提取组的所有输出。其中，所述RPN网络的损失函数为交叉熵损失函数。交叉熵损失函数的收敛条件为：连续3个epoch的交叉熵损失函数C的平均值均低于前一个epoch的损失函数值。与现有技术相比，本专利技术具有的有益效果为：该方法建立的装置能够更加准确地捕捉到经典fast-RCNN容易漏掉的小结节块，提高了检测的精准程度；全新框架的引入使得网络在该特定问题上速度更快，更能满足医生的实际需求；分割出的三维肺结节图像更加典型。附图说明图1是实施例提供的肺结节分割装置的建立方法的流程图；图2是实施例提供的肺结节分割网络的结构示意图；图3是实施例提供的32*32*32稠密块层的结构示意图。图4是图3中每个特征提取组的结构示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。图1是实施例提供的肺结节分割装置的建立方法的流程图。如图1所示，本实施例提供的肺结节分割装置的建立方法包括以下步骤：S101，建立训练样本。一般情况下，将整张图像作为物体检测模型的输入。但是，对于3维的CT图像，由于CT图像过于庞大，现有的GPU显存容量无法满足这一需求，不能将CT图像直接作为物体检测模型的输入。为保证良好的分辨率，本实施例也不能随意地对CT进行压缩，以免丢失很多重要信息，不利于检测结果。因此，将采集的三维肺部CT图像裁剪成大量的立方体小块。将立方体小块作为模型的输入。具体地，根据以下条件对三维肺部CT图像裁剪128×128×128(像素)的立方体小块：条件一：70％立方体小块中至少包含一个肺结节目标；条件二：30％立方体小块中从整个肺部中随机选取；若立方体小块包含的区域超过了肺部，则用CT图像中无意义值170填充非肺部区域；以肺结节区域的像素作为正样本，其他区域的像素作为负样本。需要注意的是，肺结节并不一定处于立方体小块的中心，只要存在于立方体小块中，该肺结节区域的像素即为正样本。裁剪完毕后，采用数据增强方法处理立方体小块，以增加训练样本的鲁棒性和缓解过拟合问题。由于负样本的数目远超过正样本，并且分布高度不平衡，所以出现大多数样本很容易被区分开，但是其中有一些拥有相似外观的疑似结节的负样本。本实施例采用了难分样本挖掘方法解决这一问题。具体过程为：首先，采用本专利技术提出的肺结节分割网络对增强处理后的立方体小块进行计算，输出每个像素的分类置信度，分类置信度越接近1，表示立方体小块中含有肺结节的概率越高，分类置信度越接近0，表示立方体小块中不含有肺结节的概率越高；然后，计算分类置信度与真值标签之差的绝对值，该绝对值越大，表示该负样本越难被网络区分；最后，选择最难以被区分的2n个负样本和n个正样本组成训练样本集。S102，建立肺结节分割网络。如图2所示，肺结节分割网络包括依次连接的输入层201、第一最大池化层202、64*64*64卷积层203、第二最大池化层204、32*32*32稠密块层205、第三最大池化层206、16*16*16稠密块层207，16*16*16稠密块本文档来自技高网...

【技术保护点】
1.一种基于Mask‑RCNN神经网络的肺结节分割装置的建立方法，其特征在于，所述建立方法包括：建立训练样本：首先，将采集的三维肺部CT图像裁剪成大量的立方体小块，然后，采用数据增强方法处理立方体小块，最后，采用难分负样本挖掘方法对增强处理后的立方体小块进行处理，获得最难区分的2n个负样本和n个正样本组成训练样本集；建立肺结节分割网络：所述肺结节分割网络包括依次连接的输入层、第一最大池化层、64*64*64卷积层、第二最大池化层、32*32*32稠密块层、第三最大池化层、16*16*16稠密块层，16*16*16稠密块层输出的16*16*16特征图经过上采样与32*32*32稠密块层输出的32*32*32特征图进行特征融合，特征融合后的32*32*32特征图经POL池化层后，输入到RPN网络，实现对32*32*32特征图的肺结节预测和分割；训练肺结节分割网络：以2倍采样频率对训练样本集中的肺结节大于30mm的小块进行采样，以6倍采样频率对训练样集本中的肺结节大于40mm的小块进行采样，其他尺寸的肺结节以正常采样频率采样，将采样后的训练样本输入到肺结节分割网络，以肺结节分割网络的预测输出与真实输出的误差收敛为目标，对肺结节分割网络进行训练，获得肺结节分割装置。...

【技术特征摘要】
1.一种基于Mask-RCNN神经网络的肺结节分割装置的建立方法，其特征在于，所述建立方法包括：建立训练样本：首先，将采集的三维肺部CT图像裁剪成大量的立方体小块，然后，采用数据增强方法处理立方体小块，最后，采用难分负样本挖掘方法对增强处理后的立方体小块进行处理，获得最难区分的2n个负样本和n个正样本组成训练样本集；建立肺结节分割网络：所述肺结节分割网络包括依次连接的输入层、第一最大池化层、64*64*64卷积层、第二最大池化层、32*32*32稠密块层、第三最大池化层、16*16*16稠密块层，16*16*16稠密块层输出的16*16*16特征图经过上采样与32*32*32稠密块层输出的32*32*32特征图进行特征融合，特征融合后的32*32*32特征图经POL池化层后，输入到RPN网络，实现对32*32*32特征图的肺结节预测和分割；训练肺结节分割网络：以2倍采样频率对训练样本集中的肺结节大于30mm的小块进行采样，以6倍采样频率对训练样集本中的肺结节大于40mm的小块进行采样，其他尺寸的肺结节以正常采样频率采样，将采样后的训练样本输入到肺结节分割网络，以肺结节分割网络的预测输出与真实输出的误差收敛为目标，对肺结节分割网络进行训练，获得肺结节分割装置。2.如权利要求1所述的基于Mask-RCNN神经网络的肺结节分割装置的建立方法，其特征在于，所述将采集的三维肺部CT图像裁剪成大量的立方体小块包括：根据以下条件对三维肺部CT图像进行裁剪：条件一：70％立方体小块中至少包含一个肺结节目标；条件二：30％立方体小块中从整个肺部中随机选取；若立方体小块包含的区域超过了肺部，则用CT图像中无意义值170填充非肺部区域；以肺结节区域的像素作为正样本，其他区域的像素作为负样本。3.如权利要求2所述的基于Mask-RCNN神经网络的肺结节分割装置的建立方法，其特征在于，采用...

【专利技术属性】
技术研发人员：吴健，陆逸飞，余柏翰，吴边，陈为，吴福理，吴朝晖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33