一种基于边缘关注策略的肝脏影像语义分割方法技术

本发明专利技术公开了一种基于边缘关注策略的肝脏影像语义分割方法，其特征在于，包括步骤：S1、原始数据集的格式转换；S2、肝脏影像数据的预处理；S3、分析肝脏影像的边缘特征并设计Encoder‑Decoder深度学习框架模型，所述Encoder‑Decoder深度学习框架模型包括编码阶段和解码阶段；S4、在编码阶段，利用ResNet34残差网络和边缘关注策略模块得到边缘注意图；S5、在解码阶段，利用反卷积和边缘关注策略模块进行特征的提取以及分割图像的生成；S6、对语义分割后的图像进行降噪处理。本发明专利技术通过边缘关注策略模块与深度卷积网络训练及其融合，优化损失函数，提取肝脏影像的深度特征并分割，具有提高肝脏影像语义分割效果的特点。

【技术实现步骤摘要】
一种基于边缘关注策略的肝脏影像语义分割方法
本专利技术涉及医学影像语义分割方法，特别是涉及一种基于边缘关注策略的肝脏影像语义分割方法。
技术介绍
肝脏是身体内以代谢功能为主的一个器官，是人体内脏里最大的器官。当前，对于关于肝脏疾病的诊断中，肝脏部位的核磁共振检查是最常见的。而对于疾病的分析的主要判断首先是要对大量连续肝脏部位的准确识别，而这其中会出现一些难以避免的问题，比如受主观经验，认知能力，疲劳等因素的影响。计算机医学图像识别有助于提高识别的准确率和稳定性。最近几年深度学习技术在处理多种计算机视觉任务上取得了巨大的进展，尤其是处理图像分类和目标检测问题的卷积神经网络(ConvolutionNeuralNetwork,CNN)，越来越多的研究者用CNN以及其衍生出来的各种深度神经网络来处理各种图像问题，其中就包括了图像语义分割。图像语义分割(SemanticSegmentation)是一种从预定义的一组类中对图像中的每个像素进行分类的方法，而预定义的一组类就是具有特定语义类别属性的一片区域。对于医学领域的语义分割，最经典是Unet和Vnet，此网络是在FCN(FullyConvolutionalNetworksforSemanticSegmentation)的基础上根据医学映像的特点进行改进，两个网络的特点都是类似U型结构，且都是通过skip-connection将前后对应的stage进行特征的融合；区别是UNet是处理二维数据，VNet是处理三维数据的，后来有学者在此基础上做了改进。例如UNet++是在UNet的基础上，在中间skip-connection结构中添加了短链接，将不同层的特征进行了融合，取得到了更好的分割效果。另外，CE-Net提出了一个上下文编码器网络，获取更多的高层次信息并保留用于2D医学图像分割的空间信息。但这些研究没有在肝脏边缘细节方面做进一步研究，所以对这一方面有待进一步工作。
技术实现思路
本专利技术为了克服以上技术的不足，提供了一种基于边缘关注策略的肝脏影像语义分割方法。术语解释：1、Encoder-Decoder：表示编码器-解码器深度学习框架模型。2、labelme：表示深度学习的标注工具。3、ResNet34：表示深度学习的一种残差网络模型。4、softmax：表示卷积神经网络分类层。本专利技术克服其技术问题所采用的技术方案是：一种基于边缘关注策略的肝脏影像语义分割方法，包括如下步骤：S1、原始数据集的格式转换；S2、肝脏影像数据的预处理；S3、分析肝脏影像的边缘特征并设计Encoder-Decoder深度学习框架模型，所述Encoder-Decoder深度学习框架模型包括编码阶段和解码阶段；S4、在编码阶段，利用ResNet34残差网络和边缘关注策略模块得到边缘注意图；S5、在解码阶段，利用反卷积和边缘关注策略模块进行特征的提取以及分割图像的生成；S6、对语义分割后的图像进行降噪处理。进一步地，步骤S1中，将原始的医学dicom数据通过python转换成可视jpeg图像。进一步地，所述步骤S2具体包括如下：S21、分析肝脏影像中肝脏部位的边缘特征，并采用labelme进行数据标注得到json文件；S22、将得到的json文件通过python进行掩码图的生成；S23、划分训练集和测试集。进一步地，所述步骤S4具体包括如下：S41、设置网络初始参数，所述网络初始参数至少包括批处理大小、学习率、动量、最大迭代次数、权重衰减率和γ参数；S42、加载在ImageNet上预训练好的ResNet34残差网络，并初始化网络权重和偏差参数；S43、将原图像输入到ResNet34残差网络，进行训练得到若干特征信息，并在每一层的输出加上边缘关注策略模块，所述边缘关注策略模块用于进一步获取肝脏边缘特征信息；S44、从边缘关注策略模块中的得到的特征信息图继续传递给下一层，此时图像的大小缩小一倍，通道数增加一倍；S45、按照步骤S44循环，直到图像大小变为16×16，最终得到含有肝脏影像边缘特征信息的边缘注意图。进一步地，所述步骤S5具体包括如下：S51、在解码阶段，将步骤S4得到的边缘注意图进行反卷积，反卷积的变换公式如下：(o+2p-k)％s＝0(1)此时反卷积的输入输出尺寸关系为：o＝s(i-1)-2p+k(2)式(1)和(2)中，o代表输出的尺寸大小，p代表填充的大小，s代表卷积核移动的步长，i代表输入的尺寸大小，k代表卷积核的尺寸大小；S52、利用在编码阶段中每层最后一次卷积得到的结果与步骤S51反卷积的结果，分别作为低层特征和高层特征来通过边缘关注策略模块进行训练；S53、在边缘关注策略模块中，分别有低层特征输入和高层特征输入，所述低层特征输入和高层特征输入的处理操作路径相同，其中，低层特征输入或高层特征输入的处理操作路径包括两条不同的路线，路线一依次包括进行特征图转置变换和进行1×1的卷积操作，路线二依次包括进行全局平均池化操作生成边缘关注向量和进行1×1的卷积操作，然后将路线一和路线二进行同位元素对应相乘；S54、通过矩阵相加将经过步骤S53处理后的低层特征和高层特征进行融合，然后通过softmax函数进行归一化处理，再依次与原始低层特征输入进行同位元素对应相乘、与原始高层特征输入进行矩阵相加，最后输出特征图像；S55、在迭代训练中的反向传播过程，通过网络预测的输出与真实标签比较计算损失，不断迭代更新网络参数，使得输出结果接近真实值；S56、在解码阶段共经过四次反卷积和边缘关注策略模块，将最后一次反卷积得到的特征解析并且输出最后的掩码图。进一步地，步骤S53中，进行全局平均池化操作后，将全局信息压缩成一个边缘关注向量，所述边缘关注向量的产生如下所示：F(x，y)＝δ1[Wαg(x)+bα]+δ1[Wβg(y)+bβ](3)式(3)和(4)中，x代表高层信息特征图，y代表低层信息特征图，g代表全局平均池化操作，δ1代表Relu函数；δ2代表Softmax函数；Wx代表1×1卷积操作的参数；bx代表偏执量；F(x，y)代表包含全局上文信息的特征图，是生成边缘关注向量的中间参数；Ec代表边缘关注向量。进一步地，步骤S53中，1×1的卷积操作公式如下：式(5)中，m代表操作矩阵；c代表常量a＝1，2，......c；W代表操作矩阵的宽；H代表操作矩阵的高；a＝1，2，......H，b＝1，2，......W。进一步地，步骤S55中，计算损失采用交叉熵损失方法，交叉熵公式如下：式(6)中，zi表示为实际标签；表示为预测标签；L表示交叉熵损失公式得到的结果。进一步地，所述步骤S6中的降噪处理包括2D卷积平滑、平均模糊、高斯模糊、中值滤波或双边滤波本文档来自技高网...

【技术保护点】
1.一种基于边缘关注策略的肝脏影像语义分割方法，其特征在于，包括如下步骤：/nS1、原始数据集的格式转换；/nS2、肝脏影像数据的预处理；/nS3、分析肝脏影像的边缘特征并设计Encoder-Decoder深度学习框架模型，所述Encoder-Decoder深度学习框架模型包括编码阶段和解码阶段；/nS4、在编码阶段，利用ResNet34残差网络和边缘关注策略模块得到边缘注意图；/nS5、在解码阶段，利用反卷积和边缘关注策略模块进行特征的提取以及分割图像的生成；/nS6、对语义分割后的图像进行降噪处理。/n

【技术特征摘要】
1.一种基于边缘关注策略的肝脏影像语义分割方法，其特征在于，包括如下步骤：
S1、原始数据集的格式转换；
S2、肝脏影像数据的预处理；
S3、分析肝脏影像的边缘特征并设计Encoder-Decoder深度学习框架模型，所述Encoder-Decoder深度学习框架模型包括编码阶段和解码阶段；
S4、在编码阶段，利用ResNet34残差网络和边缘关注策略模块得到边缘注意图；
S5、在解码阶段，利用反卷积和边缘关注策略模块进行特征的提取以及分割图像的生成；
S6、对语义分割后的图像进行降噪处理。


2.根据权利要求1所述的基于边缘关注策略的肝脏影像语义分割方法，其特征在于，步骤S1中，将原始的医学dicom数据通过python转换成可视jpeg图像。


3.根据权利要求1所述的基于边缘关注策略的肝脏影像语义分割方法，其特征在于，所述步骤S2具体包括如下：
S21、分析肝脏影像中肝脏部位的边缘特征，并采用labelme进行数据标注得到json文件；
S22、将得到的json文件通过python进行掩码图的生成；
S23、划分训练集和测试集。


4.根据权利要求1所述的基于边缘关注策略的肝脏影像语义分割方法，其特征在于，所述步骤S4具体包括如下：
S41、设置网络初始参数，所述网络初始参数至少包括批处理大小、学习率、动量、最大迭代次数、权重衰减率和γ参数；
S42、加载在ImageNet上预训练好的ResNet34残差网络，并初始化网络权重和偏差参数；
S43、将原图像输入到ResNet34残差网络，进行训练得到若干特征信息，并在每一层的输出加上边缘关注策略模块，所述边缘关注策略模块用于进一步获取肝脏边缘特征信息；
S44、从边缘关注策略模块中的得到的特征信息图继续传递给下一层，此时图像的大小缩小一倍，通道数增加一倍；
S45、按照步骤S44循环，直到图像大小变为16×16，最终得到含有肝脏影像边缘特征信息的边缘注意图。


5.根据权利要求4所述的基于边缘关注策略的肝脏影像语义分割方法，其特征在于，所述步骤S5具体包括如下：
S51、在解码阶段，将步骤S4得到的边缘注意图进行反卷积，反卷积的变换公式如下：
(o+2p-k)％s＝0(1)
此时反卷积的输入输出尺寸关系为：
o＝s(i-1)-2p+k(2)
式(1)和(2)中，o代表输出的尺寸大小，p代表填充的大小，s代表卷积核移动的步长，i代表输入的尺寸大小，k代表卷积核的尺寸大小；
S52、利用在编码阶段中每层最后一次卷积得到的结果与步骤S51反卷积的结果，分别作为低层特征和高层特征来通过边缘关注策略模块进行训练；
S53、在边缘关注策略模块中，分别有低层特征输入和高层特征输...

【专利技术属性】
技术研发人员：张晓龙，佘玉龙，邓春华，程若勤，何新宇，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北;42