一种基于改进的卷积神经网络的医学图像分割方法技术

本发明专利技术提出了一种基于改进的卷积神经网络的医学图像分割方法，属于图像处理领域。本发明专利技术构建了一种改进的卷积神经网络，分别在标准U‑Net网络原有框架的基础上设计了多通道融合模块、多通道稠密连接模块、下采样模块和上采样模块。在控制网络训练计算量的同时提升网络的深度，减少冗余计算；网络变深的同时通过改进网络内部结构从而避免梯度消失。实验结果是所训练的神经网络的输出预测图的分割DICE系数为98.57％，原网络分割出来的DICE系数为98.26％，体现了本发明专利技术的有效性。

A method of medical image segmentation based on improved convolutional neural network

【技术实现步骤摘要】
一种基于改进的卷积神经网络的医学图像分割方法
本专利技术属于图像处理领域，涉及基于深度学习领域中卷积神经网络中U-Net网络模型和GoogLeNet中的“Inception”模块概念以及DenseNet中密集连接层的概念，具体涉及应用于医学CT影像中对肺部轮廓分割和眼球血管分割。
技术介绍
图像分割在医学图像处理领域中发挥了十分重要作用，并引起了越来越多研究者的广泛关注。与传统的分割方法相比，基于深度学习的分割算法具有更高的分割精度以及高效的速率并得到了广泛的应用。在医学图像分割方面，全卷积网络比其他深度网络模型具有更好的性能。在全卷积衍生的各种体系结构中，U-Net网络模型是最常用的全卷积网络模型之一，并在医学图像处理领域得到了广泛的应用。它是一种端到端，像素到像素的全卷积网络，并且网络中的分析路径和合成路径对应相同大小的特征图像层之间具有跳跃连接。相对于原U-Net网络模型的架构而言，其本身仅仅包含若干个3×3的标准卷积层，本身网络不够深；其分析路径和合成路径中使用最大池化操作和上池化操作来改变特征图的尺寸，在此过程中可能会存在特征信息丢失，其本身还不足以获得比其他现有深度网络更好的性能。就目前来看，虽然直接在网络中添加更多的卷积层可以扩大参数空间并使得网络更深，但可能导致训练过程中梯度消失和冗余计算。
技术实现思路
针对当前U-Net网络不够深从而不能更好的满足医学图像分割的精度要求，同时加深网络可能导致的梯度消失或冗余计算等问题，本专利技术针对U-Net网络模型进行了改进，在避免冗余计算和梯度消失的情况下，使网络更深从而学习到更多更复杂的图像特征，提高图像的分割精度。一共考虑了两个步骤：第一，在控制网络训练计算量的同时提升网络的深度，减少冗余计算。本专利技术通过使GoogLeNet中的“Inception”模块多通道融合的概念，来构建出一个稀疏、高性能的计算网络架构。该模块的主要优点是在保持计算量不变的情况下，通过增加模块的深度和宽度来提高计算资源的利用率；第二，网络变深的同时通过改进网络内部结构从而避免梯度消失。通过查阅资料得出了神经网络并非一定要是一种递进式的结构，即使某些层被随机的丢弃，网络最终也会收敛到一个良好的状态。DenseNet正是基于这一原理作为一种具有密集连接的卷积神经网络被提出并广泛应用的。本专利技术使用的稠密连接体系结构具有多种优点：网络训练的参数简单、避免网络出现梯度消失和高效的特征利用率。这些特性使网络成为一个非常好的图像语义分割工具，因为其内部具有跳跃连接和多尺度监督的特点。为了使U-Net网络更加适合于医学图像分割任务高精准度的要求，本专利技术提出了一种基于U-Net网络结构的卷积神经网络，并将多通道融合与稠密连接的概念相结合。其网络结构具体如下：(1)基于原有的体系结构，将分析路径和合成路径应用于具有跳接连接的神经网络中，同时将特征图直接从下采样过程传输到对应的上采样过程中。(2)为了使网络更深、更宽同时减少参数计算量，每个卷积层都被具有不同尺寸卷积核级联所构成的多通道融合模块所取代，同时每个模块中都使用残差连接。(3)在网络的中间部分，采用稠密连接的概念使用密集连接各个卷积层使得网络更深同时避免消失梯度，在这些多通道融合稠密连接模块中，标准的卷积层被多通道融合模块所取代。(4)整个网络中除了瓶颈层，所有卷积层后面都有一个批归一化层，以避免梯度消失。本专利技术的技术方案是这样实现的：一种基于改进的卷积神经网络的医学图像分割方法，包括以下步骤：A、基于标准U-Net网络原有框架来设计深度卷积神经网络，以标准的分析路径和合成路径同时包含跳跃连接的原理，设计出卷积神经网络的整体结构框架；B、设计改进的多通道融合模块，在原有谷歌网络的多通道融合模块中加入残差连接和批处理归一化层，该模块将代替原网络中所有的标准3*3卷积层；C、设计多通道稠密连接模块，将改进的多通道融合模块用密集连接的方式来组合，并在每个模块之间添加瓶颈层，该模块将用于网络中第4到6个模块层；D、设计下采样模块和上采样模块，采用多通道融合的方式来实现池化层与卷积层的融合操作，下采样模块将应用于改进的卷积神经网络中的分析路径；采用多通道融合的方式来实现池化层与卷积层的融合操作，上采样模块将应用于改进的卷积神经网络中的合成路径；E、将改进的卷积神经网络整体架构相接，包括分析路径和合成路径，分析路径包括改进的多通道融合模块、多通道稠密连接模块和下采样模块；合成路径包括改进的多通道融合模块、多通道稠密连接模块和上采样模块；在改进的卷积神经网络的中间，使用一个多通道稠密连接模块，该模块相对于其他模块包含了48个改进的多通道融合模块层；F、准备要训练的数据集，包括训练集、验证集和测试集；在训练网络前首先对训练数据进行预处理操作，对图像进行去噪和增强；G、将训练集输送进网络中，通过在验证集上的输出结果来调整学习率和学习率衰减系数，修改训练轮数和批次训练数，防止网络出现过拟合或欠拟合等现象，使网络最终收敛到最好的效果；H、将测试集数据输入到网络中，得到输出图像数据，使用医学图像的分割标准来对输出的结果进行验证和评估，最终得出结果。所述步骤A，基于原有的标准U-Net网络架构，网络模型分为分析路径(扩张路径)和合成路径(收缩路径)，整体网络呈现一个U字型，在分析路径中图像逐渐收缩通道数增加，在合成路径中图像逐渐扩张通道数减少。所述步骤B，基于谷歌网络的多通道融合原理搭建出改进的多通道融合模块，来用于网络中的分析路径和合成路径。该模块主要作用是通过各个分支中的不同大小卷积核对特征图进行卷积运算，之后将运算结果进行级联来实现图像特征的聚合，使网络更加的宽，能够学习到更多更复杂的特征。此外，残差连接使得网络学习更加容易，因为残差连接根据输入的特征图来直接学习图像特征，而不是学习图像的非相关特征。不同于标准的多通道融合模块结构，除了瓶颈层外，每个卷积层后面都跟着一个批处理归一化层。批处理归一化层可以避免梯度消失，同时保留更多的卷积层。所述步骤C，在多通道融合稠密连接模块中，将步骤B中提出的改进的多通道融合模块嵌入到密集连接模块中。多通道融合稠密连接模块可以被看作为一种宽泛型的复合型卷积层，因为它具有不同卷积核大小的卷积集合。通过设置卷积的填充方式，将初始模块的输出与输入保持相同的大小。其主要目的是使该模块适用于密集连接的模块结构，从而使网络变深变宽的同时避免梯度消失或冗余计算。不同于标准的多通道融合模块，该模块里在每个卷积层之后也使用批处理归一化层。密集连接的主要目的是通过将前面所有的卷积层输出连接起来，作为下一卷积层的输入层，使网络可以直接通过前面所有的输出层作为训练资源，提高了每层卷积层的利用率，使得网络变得更深。同时设置增长率为24来使每一层训练的卷积核个数变小，减少了网络训练的参数量，提升网络训练速度。而在每个多通道融合层之间使用了瓶颈层来减少由于过多的通道数所导致计算量过大。因此，为了将多通道融合模块适用于密集连接的网络结本文档来自技高网...

【技术保护点】
1.一种基于改进的卷积神经网络的医学图像分割方法，其特征在于，包括以下步骤：/nA、基于标准U-Net网络原有框架来设计深度卷积神经网络，以标准的分析路径和合成路径同时包含跳跃连接的原理，设计出卷积神经网络的整体结构框架；/nB、设计改进的多通道融合模块，在原有谷歌网络的多通道融合模块中加入残差连接和批处理归一化层，该模块将代替原网络中所有的标准3*3卷积层；/nC、设计多通道稠密连接模块，将改进的多通道融合模块用密集连接的方式来组合，并在每个模块之间添加瓶颈层，该模块将应用于网络中第4到6个模块层；/nD、设计下采样模块和上采样模块，采用多通道融合的方式来实现池化层与卷积层的融合操作，下采样模块将应用于改进的卷积神经网络中的分析路径；采用多通道融合的方式来实现池化层与卷积层的融合操作，上采样模块将应用于改进的卷积神经网络中的合成路径；/nE、将改进的卷积神经网络整体架构相接，包括分析路径和合成路径，分析路径包括改进的多通道融合模块、多通道稠密连接模块和下采样模块；合成路径包括改进的多通道融合模块、多通道稠密连接模块和上采样模块；在改进的卷积神经网络的中间，使用一个多通道稠密连接模块，该模块包含了48个改进的多通道融合模块层；/nF、准备要训练的数据集，包括训练集、验证集和测试集；在训练网络前首先对训练数据进行预处理操作，对图像进行去噪和增强；/nG、将训练集输送进网络中，通过在验证集上的输出结果来调整学习率和学习率衰减系数，修改训练轮数和批次训练数，防止网络出现过拟合或欠拟合等现象，使网络最终收敛到最好的效果；/nH、将测试集数据输入到网络中，得到输出图像数据，使用医学图像的分割标准来对输出的结果进行验证和评估，最终得出结果。/n...

【技术特征摘要】
1.一种基于改进的卷积神经网络的医学图像分割方法，其特征在于，包括以下步骤：
A、基于标准U-Net网络原有框架来设计深度卷积神经网络，以标准的分析路径和合成路径同时包含跳跃连接的原理，设计出卷积神经网络的整体结构框架；
B、设计改进的多通道融合模块，在原有谷歌网络的多通道融合模块中加入残差连接和批处理归一化层，该模块将代替原网络中所有的标准3*3卷积层；
C、设计多通道稠密连接模块，将改进的多通道融合模块用密集连接的方式来组合，并在每个模块之间添加瓶颈层，该模块将应用于网络中第4到6个模块层；
D、设计下采样模块和上采样模块，采用多通道融合的方式来实现池化层与卷积层的融合操作，下采样模块将应用于改进的卷积神经网络中的分析路径；采用多通道融合的方式来实现池化层与卷积层的融合操作，上采样模块将应用于改进的卷积神经网络中的合成路径；
E、将改进的卷积神经网络整体架构相接，包括分析路径和合成路径，分析路径包括改进的多通道融合模块、多通道稠密连接模块和下采样模块；合成路径包括改进的多通道融合模块、多通道稠密连接模块和上采样模块；在改进的卷积神经网络的中间，使用一个多通道稠密连接模块，该模块包含了48个改进的多通道融合模块层；
F、准备要训练的数据集，包括训练集、验证集和测试集；在训练网络前首先对训练数据进行预处理操作，对图像进行去噪和增强；
G、将训练集输送进网络中，通过在验证集上的输出结果来调整学习率和学习率衰减系数，修改训练轮数和批次训练数，防止网络出现过拟合或欠拟合等现象，使网络最终收敛到最好的效果；
H、将测试集数据输入到网络中，得到输出图像数据，使用医学图像的分割标准来对输出的结果进行验证和评估，最终得出结果。


2.根据权利要求1所述的一种基于改进的卷积神经网络的医学图像分割方法，其特征在于，所述步骤A中，基于原有的标准U-Net网络架构，网络模型分为分析路径和合成路径，整体网络呈现一个U字型，在分析路径中图像逐渐收缩通道数增加，在合成路径中图像逐渐扩张通道数减少。


3.根据权利要求1所述的一种基于改进的卷积神经网络的医学图像分割方法，其特征在于，所述步骤B中，基于谷歌网络的多通道融合原理搭建出改进的多通道融合模块，来用于网络中的分析路径和合成路径；该模块作用是通过各个分支中的不同大小卷积核对特征图进行卷积运算，之后将运算结果进行级联来实现图像特征的；其中，残差连接根据输入的特征图来直接学习图像特征；不同于标准的多通道融合模块结构，除了瓶颈层外，每个卷积层后面都跟着一个批处理归一化层，确保避免梯度消失，同时保留更多的卷积层。


4.根据权利要求1所述的一种基于改进的卷积神经网络的医学图像分割方法，其特征在于，所述步骤C，在多通道融合稠密连接模块中，将步骤B中提出的改进的多通道融合模块嵌入到密集连接模块中；多通道融合稠密连接模块作为一种宽泛型的复合型卷积层，通过设置卷积的填充方式，将初始模块的输出与输入保持相同的大小；目的是使该模块适用于密集连接的模块结构，从而使网络变深变宽的同时避免梯度消失或冗余计算；不同于标准的多通道...

【专利技术属性】
技术研发人员：吴成东，张子昂，迟剑宁，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁;21