一种基于3D卷积神经网络的肺结节检测装置的建立方法制造方法及图纸

本发明专利技术公开了一种基于3D卷积神经网络的肺结节检测装置的建立方法，包括：建立训练样本；建立肺结节检测网络：所述肺结节分割网络包括依次连接的卷积单元、64*64*64(32)残差卷积单元A、32*32*32(64)残差卷积单元B、16*16*16(64)残差卷积单元C、8*8*8(64)残差卷积单元D、16*16*16(64)残差卷积单元E，残差卷积单元E的输出特征图与残差卷积单元C输出特征图按照通道拼接后输入至残差卷积单元F，残差卷积单元F输出特征图与残差卷积单元B输出特征图按照通道拼接后，输入至RPN网络以实现对输入图的肺结节检测；训练肺结节检测网络，获得肺结节检测装置。

A method of establishing lung nodule detection device based on 3D convolution neural network

The invention discloses a method for the establishment of a lung nodule detection device based on the 3D convolution neural network, including the establishment of a training sample and the establishment of a lung nodule detection network, which includes a convolution unit, a 64*64*64 (32) residual convolution unit A, a 32 *32*32 (64) residual convolution unit B, and a 16*16*16 (64) residue. The differential convolution unit C, 8*8*8 (64) residual convolution unit D, 16*16*16 (64) residual convolution unit E, the residual convolution unit E output feature graph and residual convolution unit C output characteristic graph input to the residual convolution unit F, the residual convolution unit F output feature graph and the residual convolution unit B output feature graph according to the channel splicing. After that, input to the RPN network to achieve the detection of lung nodules on the input graph, train the lung nodule detection network, and obtain the lung nodule detection device.

【技术实现步骤摘要】
一种基于3D卷积神经网络的肺结节检测装置的建立方法
本专利技术属于图像处理领域，具体涉及一种基于3D卷积神经网络的肺结节检测装置的建立方法。
技术介绍
现有采用深度学习算法检测肺部CT图中肺结节的方法很多，但是检测精度不高。造成精度不高的主要原因为：(1)检测阶段的召回率较低于某些特殊类型的肺结节，造成漏检的情况，使得检测精度不高。(2)肺结节的尺寸不均衡，较小的肺结节容易被忽视。基于上述两个原因，使得采用深度学习算法检测和分割出来的肺结节典型性和代表性不足。因此，提高肺结节检测的准确性和训练网络分割出更具代表性的结节成为了急需解决的问题。
技术实现思路
本专利技术的目的是提供一种基于3D卷积神经网络的肺结节检测装置的建立方法。该方法建立的装置能够更加准确、快速地检测和确定肺部CT中的肺结节的三维图像。为实现上述专利技术目的，本专利技术提供以下技术方案：一种基于3D卷积神经网络的肺结节检测装置的建立方法，所述建立方法包括：建立训练样本：首先，将采集的三维肺部CT图像裁剪成大量的立方体小块，然后，采用数据增强方法处理立方体小块，最后，采用难分负样本挖掘方法对增强处理后的立方体小块进行处理，获得最难区分的2n个负样本和n个正样本组成训练样本集；建立肺结节检测网络：所述肺结节分割网络包括依次连接的128*128*128(24)卷积单元、64*64*64(32)残差卷积单元A、32*32*32(64)残差卷积单元B、16*16*16(64)残差卷积单元C、8*8*8(64)残差卷积单元D、16*16*16(64)残差卷积单元E，16*16*16(64)残差卷积单元E的输出特征图与16*16*16(64)残差卷积单元C输出特征图按照通道拼接后输入至32*32*32(64)残差卷积单元F，32*32*32(64)残差卷积单元F输出特征图与32*32*32(64)残差卷积单元B输出特征图按照通道拼接后，输入至RPN网络以实现对输入图的肺结节检测；训练肺结节检测网络：以2倍采样频率对训练样本集中的肺结节大于30mm的小块进行采样，以6倍采样频率对训练样集本中的肺结节大于40mm的小块进行采样，其他尺寸的肺结节以正常采样频率采样，将采样后的训练样本输入到肺结节检测网络，以肺结节检测网络的预测输出与真实输出的误差收敛为目标，对肺结节检测网络进行训练，获得肺结节检测装置。本专利技术建立的肺结节检测装置的肺结节检测效果准确，且计算开销小。其中，所述将采集的三维肺部CT图像裁剪成大量的立方体小块包括：根据以下条件对三维肺部CT图像进行裁剪：条件一：70％立方体小块中至少包含一个肺结节目标；条件二：30％立方体小块中从整个肺部中随机选取；若立方体小块包含的区域超过了肺部，则用CT图像中无意义值170填充非肺部区域；以肺结节区域的像素作为正样本，其他区域的像素作为负样本。其中，采用难分负样本挖掘方法对增强处理后的立方体小块进行处理，获得最难区分的2n个负样本和n个正样本组成训练样本集包括：首先，采用肺结节检测网络对增强处理后的立方体小块进行计算，输出每个像素的分类置信度，分类置信度越接近1，表示立方体小块中含有肺结节的概率越高，分类置信度越接近0，表示立方体小块中不含有肺结节的概率越高；然后，计算分类置信度与真值标签之差的绝对值，该绝对值越大，表示该负样本越难被网络区分；最后，选择最难以被区分的2n个负样本和n个正样本组成训练样本集。具体地，所述64*64*64(32)残差卷积单元A中包含三个依次连接的32维输入的残差单元I；每个残差单元I包括依次连接的32维输入、8维输出、卷积核为1×1的卷积层，8维输入、8维输出、卷积核为3×3的卷积层，8维输入、32维输出、卷积核为1×1的卷积层，每个卷积层均用于特征提取，三个卷积层级联的输出特征图和输入特征图间相加后，再经过RELU函数激活。具体地，所述32*32*32(64)残差卷积单元B、16*16*16(64)残差卷积单元C、8*8*8(64)残差卷积单元D均包括三个依次连接的64维输入的残差单元II；每个残差单元II包括依次连接的64维输入、16维输出、卷积核为1×1的卷积层，16维输入、16维输出、卷积核为3×3的卷积层，16维输入、64维输出、卷积核为1×1的卷积层，每个卷积层均用于特征提取，三个卷积层级联的输出特征图和输入特征图间相加后，再经过RELU函数激活。具体地，所述16*16*16(64)残差卷积单元E和32*32*32(64)残差卷积单元F均包括两个依次连接的64维输入的残差单元II。其中，所述RPN网络的损失函数L为交叉熵损失函数C与smoothL1函数之和。其中，交叉熵函数C为：其中，y为期望输出，也就是真值标签，a为网络的实际输出，a＝σ(z)，z＝∑Wj×Xj+b，Wj和b为网路参数；smoothL1函数为：inwhich其中Lloc表示目标区域和当前预测的损失函数值；tu表示目标区域，v为当前预测，x,y表示区域的左上角坐标，w,h分别表示区域的宽和高。其中，所述RPN网络的损失函数L收敛条件为：连续3个epoch的损失函数L的平均值均低于前一个epoch的损失函数值。与现有技术相比，本专利技术具有的有益效果为：本专利技术采用难分负样本挖掘方法对裁剪后的CT图像进行难分负样本挖掘，以提高样训练网路的准确性，建立的肺结节检测网络中，引入残差卷积单元，提高了提取特征的能力和训练的速度以及稳定性，获得更多的特征信息，RPN网络的加入提高了肺结节检测的灵活性。经试验验证，训练得到的肺结节检测装置更加准确、快速地检测和确定肺部CT中的肺结节。附图说明图1是实施例提供的肺结节检测装置的建立方法的流程图；图2是实施例提供的肺结节检测网络的结构示意图；图3是实施例提供的残差单元I的结构示意图；图4是实施例提供的残差单元II的结构示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。图1是实施例提供的肺结节分割装置的建立方法的流程图。如图1所示，本实施例提供的肺结节分割装置的建立方法包括以下步骤：S101，建立训练样本。一般情况下，将整张图像作为物体检测模型的输入。但是，对于3维的CT图像，由于CT图像过于庞大，现有的GPU显存容量无法满足这一需求，不能将CT图像直接作为物体检测模型的输入。为保证良好的分辨率，本实施例也不能随意地对CT进行压缩，以免丢失很多重要信息，不利于检测结果。因此，将采集的三维肺部CT图像裁剪成大量的立方体小块。将立方体小块作为模型的输入。具体地，根据以下条件对三维肺部CT图像裁剪128×128×128(像素)的立方体小块：条件一：70％立方体小块中至少包含一个肺结节目标；条件二：30％立方体小块中从整个肺部中随机选取；若立方体小块包含的区域超过了肺部，则用CT图像中无意义值170填充非肺部区域；以肺结节区域的像素作为正样本，其他区域的像素作为负样本。需要注意的是，肺结节并不一定处于立方体小块的中心，只要存在于立方体小块中，该肺结节区域的像素即为正样本。裁剪完毕后，采用数据增强方法处理立方体小块，以增加训练样本的鲁棒性和缓解过拟本文档来自技高网...

【技术保护点】
1.一种基于3D卷积神经网络的肺结节检测装置的建立方法，其特征在于，所述建立方法包括：建立训练样本：首先，将采集的三维肺部CT图像裁剪成大量的立方体小块，然后，采用数据增强方法处理立方体小块，最后，采用难分负样本挖掘方法对增强处理后的立方体小块进行处理，获得最难区分的2n个负样本和n个正样本组成训练样本集；建立肺结节检测网络：所述肺结节分割网络包括依次连接的128*128*128(24)卷积单元、64*64*64(32)残差卷积单元A、32*32*32(64)残差卷积单元B、16*16*16(64)残差卷积单元C、8*8*8(64)残差卷积单元D、16*16*16(64)残差卷积单元E，16*16*16(64)残差卷积单元E的输出特征图与16*16*16(64)残差卷积单元C输出特征图按照通道拼接后输入至32*32*32(64)残差卷积单元F，32*32*32(64)残差卷积单元F输出特征图与32*32*32(64)残差卷积单元B输出特征图按照通道拼接后，输入至RPN网络以实现对输入图的肺结节检测；训练肺结节检测网络：以2倍采样频率对训练样本集中的肺结节大于30mm的小块进行采样，以6倍采样频率对训练样集本中的肺结节大于40mm的小块进行采样，其他尺寸的肺结节以正常采样频率采样，将采样后的训练样本输入到肺结节检测网络，以肺结节检测网络的预测输出与真实输出的误差收敛为目标，对肺结节检测网络进行训练，获得肺结节检测装置。...

【技术特征摘要】
1.一种基于3D卷积神经网络的肺结节检测装置的建立方法，其特征在于，所述建立方法包括：建立训练样本：首先，将采集的三维肺部CT图像裁剪成大量的立方体小块，然后，采用数据增强方法处理立方体小块，最后，采用难分负样本挖掘方法对增强处理后的立方体小块进行处理，获得最难区分的2n个负样本和n个正样本组成训练样本集；建立肺结节检测网络：所述肺结节分割网络包括依次连接的128*128*128(24)卷积单元、64*64*64(32)残差卷积单元A、32*32*32(64)残差卷积单元B、16*16*16(64)残差卷积单元C、8*8*8(64)残差卷积单元D、16*16*16(64)残差卷积单元E，16*16*16(64)残差卷积单元E的输出特征图与16*16*16(64)残差卷积单元C输出特征图按照通道拼接后输入至32*32*32(64)残差卷积单元F，32*32*32(64)残差卷积单元F输出特征图与32*32*32(64)残差卷积单元B输出特征图按照通道拼接后，输入至RPN网络以实现对输入图的肺结节检测；训练肺结节检测网络：以2倍采样频率对训练样本集中的肺结节大于30mm的小块进行采样，以6倍采样频率对训练样集本中的肺结节大于40mm的小块进行采样，其他尺寸的肺结节以正常采样频率采样，将采样后的训练样本输入到肺结节检测网络，以肺结节检测网络的预测输出与真实输出的误差收敛为目标，对肺结节检测网络进行训练，获得肺结节检测装置。2.如权利要求1所述的基于3D卷积神经网络的肺结节检测装置的建立方法，其特征在于，所述将采集的三维肺部CT图像裁剪成大量的立方体小块包括：根据以下条件对三维肺部CT图像进行裁剪：条件一：70％立方体小块中至少包含一个肺结节目标；条件二：30％立方体小块中从整个肺部中随机选取；若立方体小块包含的区域超过了肺部，则用CT图像中无意义值170填充非肺部区域；以肺结节区域的像素作为正样本，其他区域的像素作为负样本。3.如权利要求2所述的基于3D卷积神经网络的肺结节检测装置的建立方法，其特征在于，采用难分负样本挖掘方法对增强处理后的立方体小块进行处理，获得最难区分的2n个负样本和n个正样本组成训练样本集包括：首先，采用肺结节检测网络对增强处理后的立方体小块进行计算，输出每个像素的分类置信度，分类置信度越接近1，表示立方体小块中含有肺结节的概率越高，分类置信度越接近0，表示立方体小块中不含有肺结节的概率越高；然后，计算分类置信度与真值标签之差的绝对值，该绝对值越大，表示该负样本越难被网络区分；最后，选...

【专利技术属性】
技术研发人员：吴健，陆逸飞，林志文，应兴德，余柏翰，陈为，叶德仕，吴福理，吕卫国，郝鹏翼，吴朝晖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33