基于卷积神经网络对肺结节的恶性程度进行分类的方法技术

本发明专利技术涉及基于卷积神经网络对肺结节的恶性程度进行分类的方法，属于计算机图像处理技术领域。本发明专利技术针对不同肺结节预处理出不同尺寸的ROI图像块，在不引入过多的噪音干扰的前提下，对肺结节的多个层面进行基于残差网络的特征提取，通过两个阶段的特征融合获得更精确的特征信息，以此策略来提取出更高质量的特征表达。通过卷积神经网络提取肺结节的细粒度特征表达，综合考虑提取到的多个层面的特征信息，实现对肺结节特征信息的准确提取，最终对肺结节恶性程度进行分类。

Classification of malignant degree of pulmonary nodules based on convolutional neural network

【技术实现步骤摘要】
基于卷积神经网络对肺结节的恶性程度进行分类的方法
本专利技术涉及一种基于卷积神经网络对肺结节的恶性程度进行分类的方法，属于计算机图像处理

技术介绍
通常对肺部结节的计算机辅助检测(computeraideddetection,CAD)技术流程包括：图像预处理，肺实质分割，候选肺结节提取，假阳性结节去除，结节检测性能分析。由于大多数假阳性结节是由血管区域引起的，经典的3D线性滤波器移除肺部区域血管的方法不能很好的滤除噪音的干扰，因此Liu等采用基于几何和统计特征结合的方法初始候选结节，大大降低了假阳性结节率。早期对肺结节恶性程度的诊断主要通过设置阈值，并观察结节不同时间结节体积的变化，最后通过一种标准公式来评估出结节增长率的方式进行诊断，然而这些方法对患者历史诊断数据依赖性强，因此难以实际应用。除了针对肺结节形状、体积等特征之外，也有研究者针对结节的细粒度特征进行研究，如Way等通过对结节的光滑度、分叶征和毛刺征等特点进行良恶性诊断。Orozco等利用有监督的二分类SVM算法，通过对CT图像进行两次小波计算并选择特征作为SVM的输入，实现对肺结节进行检测，而Firmino等使用分水岭和定向梯度直方图(HOG)技术来分离结节与其周围结构来提取肺结节的特征信息，最终得到了较好的分类结果。肺结节的形状特性是对其诊断的重要依据之一，以肺结节的形状差异来判断其良恶性的方法已被验证了其有效性，然而由于肺结节特征各异，仅针对形状差异会丢失许多细粒度信息。因此目前已有研究人员利用深度学习强大的特征学习和特征表达能力，对肺部CT图像进行研究，如Ciompi等采用OverFeat的预训练CNN的输出来描述2D视图的肺结节，最终AUC达到了0.868。Setio等设计并构建一个多视图架构，融合两次的特征信息来抑制假阳性结节，从而达到了不错的效果。Dou等通过建立一个3D全卷积神经网络过滤假阳性结节，并用设计使用混合损失残差网络来识别肺结节的位置和大小信息，该方法在LUNA16数据集上取得了不错的结果。正是由于有监督的深度学习方法可以直接通过不断训练模型的特征学习能力，来自动识别与过滤掉图像中的噪声干扰部分，从而提高了肺结节检测的准确度，同时减少了传统方法中对数据预处理的繁琐工作。
技术实现思路
本专利技术解决的技术问题为：针对传统的肺结节特征提取方法提取的特征具有局限性，不能灵活的泛化，以及现有深度学习方法仅依靠单层切片，考虑信息还不够全面的问题，本专利技术提供了一种基于卷积神经网络的多层面二阶特征融合模型，提出采用深度神经网络对多层面的肺结节进行特征提取，不仅能够提取出传统方中常用的结节几何形状和灰度特征，还能够对结节的空间位置和基于统计学的纹理特征等几个方面进行特征提取。本专利技术的技术方案是：一种基于卷积神经网络对肺结节的恶性程度进行分类的方法，所述方法的具体步骤如下：Step1、对图像预处理，根据切片上肺结节的长径不同，切割出尺寸为R＝{16*16,32*32,64*64,128*128}的感兴趣区域RegionOfInterest,ROI图像块；进一步地，所述步骤Step1的具体步骤如下：Step1.1、根据切片上肺结节的长径不同，切割出尺寸为R＝{16*16,32*32,64*64,128*128}的感兴趣区域RegionOfInterest,ROI图像块；Step1.2、根据切片间的间隔和切片厚度，以及肺结节长径r，r(3mm,30mm)，因连续3张切片即可覆盖大多数肺结节，故抽取连续3张长径最大的肺结节所对应的ROI图像块s1,s2,s3作为模型的训练样本。Step2、在子模块M1中采用残差网络ResNet50的网络模型，通过该模块对多层面的肺结节进行初步特征提取，可同时得到同一个肺结节不同切片的特征表达；进一步地，所述步骤Step2的具体步骤如下：Step2.1、接收一个三元组的ROI图像块输入和肺结节恶性程度标签，每一层图像卷积得到的输出分别标记为s*_f1,s*_f2,s*_f3,s*_f4,s*_f5，其中*表示所抽取的切片编号{1,2,3}；Step2.2、通过对三张图像块的特征提取，在特征融合计算中舍弃对s*_f1的直接使用，分别得到4层(s*_f2,s*_f3,s*_f4,s*_f5)对应的特征表达，由于每一层都处于网络的不同深度，因此每一层的输出都包含了不同的语义信息；Step3、利用M1子模块中提取的4层特征信息分别与不同尺度的特征进行融合，然后将最终得到的三个图片特征信息进行二次融合，得到一个特征向量F；进一步地，所述步骤Step3的具体步骤如下：Step3.1、在特征融合时，首先将conv5x层的输出s*_f5用的卷积核进行卷积，得到输出向量s*_f6；然后将将s*_f4用的卷积核进行卷积，并s*_f6进行上采样Upsample，目的是使得到的向量的维度与s*_f4维度相同，然后将两者进行融合，融合方式通过加法合并，得到s*_f7，对于s*_f3和s*_f2层执行同样的操作，分别得到s*_f8和s*_f9，其中convLm2(Lm2＝{6，7，8，9})均为卷积核的卷积操作；于是由浅及深的得到融合后的特征信息s*_f9，该层包含了图像中所关注目标的轮廓、灰度等特征信息，以及更抽象的高层语义信息，提取得到的肺结节的特征表达更加完善与准确；Step3.2、将第一步融合后的特征向量s*_f9分别经过的卷积核进行卷积，得到特征向量s*_f10；此时的向量s*_f10具有相同的维度，即高(h)、宽(w)和通道数(c)三个维度均相同：h1＝h2＝h3，w1＝w2＝w3，c1＝c2＝c3；因此将三个向量在通道方向进行合并，得到一个维度为h1×w1×3c1的特征向量F。Step4、将向量F经过全局平均池化层和全连接层的展开，最终通过Softmax函数得到肺结节恶性程度的分类结果。残差网络的第子层特征可以表示为该层之前的所有残差函数输出以及第一层的特征表达的总和，因此定义残差网络中第L子层的特征表达为：其中，Wj表示第j个子层的权重参数，l∈(0，50)，此处为了表达方便省去了偏置项bj。则第i个样本在残差网络中每个层L的特征表达如下：其中，*表示输入样本的三个ROI图像块s1，s2，s3，Lm1表示模块M1的层，并且Lm1∈{1，2，3，4，5}。另用Lm2表示模块M2的层，Lm2∈{6，7，8，9，10}。于是模块中涉及到的1x1的卷积操作convLm2表示如下：因此由模块M1的顶层输出可表示为可得到对高层特征与低层进行特征融合：其中，k∈{6，7，8}，upsample2D(·)表示执行2D上采样操作。将Lm2＝10带入式*，得到第10层的特征表达对得到的三个特征表达进行融合：于是得到特征向量F的维度在深度方向增加了2倍。将得到的向量F采用全局平均池化操作以及经过全连接层后得到，于是通过交叉熵函数构造出CMSFF模型的损失函数为：其中，sθ(·)表示Softmax函数，θ为模型的参数，将模型输出代入其中：于是得到最终的目标函数为：其中，式中的最后一项为L2正则化项，λ为正则化参数，w为模型中的所有权值。通过最小化该目标函数，对网络参数进行迭代更新来训练出一个肺结节恶性程度分类的CMSFF模型。进本文档来自技高网...

【技术保护点】
1.基于卷积神经网络对肺结节的恶性程度进行分类的方法，其特征在于：所述方法的具体步骤如下：Step 1、对图像预处理，根据切片上肺结节的长径不同，切割出尺寸为R＝{16*16，32*32，64*64，128*128}的感兴趣区域Region Of Interest，ROI图像块；Step 2、在子模块M1中采用残差网络ResNet50的网络模型，通过该模块对多层面的肺结节进行初步特征提取，可同时得到同一个肺结节不同切片的特征表达；Step 3、利用M1子模块中提取的4层特征信息分别与不同尺度的特征进行融合，然后将最终得到的三个图片特征信息进行二次融合，得到一个特征向量F；Step 4、将向量F经过全局平均池化层和全连接层的展开，最终通过Softmax函数得到肺结节恶性程度的分类结果。

【技术特征摘要】
1.基于卷积神经网络对肺结节的恶性程度进行分类的方法，其特征在于：所述方法的具体步骤如下：Step1、对图像预处理，根据切片上肺结节的长径不同，切割出尺寸为R＝{16*16，32*32，64*64，128*128}的感兴趣区域RegionOfInterest，ROI图像块；Step2、在子模块M1中采用残差网络ResNet50的网络模型，通过该模块对多层面的肺结节进行初步特征提取，可同时得到同一个肺结节不同切片的特征表达；Step3、利用M1子模块中提取的4层特征信息分别与不同尺度的特征进行融合，然后将最终得到的三个图片特征信息进行二次融合，得到一个特征向量F；Step4、将向量F经过全局平均池化层和全连接层的展开，最终通过Softmax函数得到肺结节恶性程度的分类结果。2.根据权利要求1所述的基于卷积神经网络对肺结节的恶性程度进行分类的方法，其特征在于：所述步骤Step1的具体步骤如下：Step1.1、根据切片上肺结节的长径不同，切割出尺寸为R＝{16*16，32*32，64*64，128*128}的感兴趣区域RegionOfInterest，ROI图像块；Step1.2、根据切片间的间隔和切片厚度，以及肺结节长径r，r(3mm，30mm)，因连续3张切片即可覆盖大多数肺结节，故抽取连续3张长径最大的肺结节所对应的ROI图像块s1，s2，s3作为模型的训练样本。3.根据权利要求1所述的基于卷积神经网络对肺结节的恶性程度进行分类的方法，其特征在于：所述步骤Step2的具体步骤如下：Step2.1、接收一个三元组的ROI图像块输入和肺结节恶性程度标签，每一层图像卷积得到的输出分别标记为s*_f1，s*_f2，s*_f3，s*_f4，s*_f5，其中*表示所抽取的切片编号{1，2，3}；Step2.2、通过对三张图像块的特征提取，在特征融合计算中舍弃对s*_f1的直接使用，分别得到4层(s*_f2，s*_f3，s*_f4，s*_f5)对应的特征表达，由于每一层都处于网络的不同深度，因此每一层的输出都包含了不同的语...

【专利技术属性】
技术研发人员：黄青松，段彦隆，赵晓乐，刘利军，冯旭鹏，傅铁威，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南,53