一种基于改进Unet网络的甲状腺结节分割方法技术

本发明专利技术涉及图像分割技术领域，尤其涉及一种基于改进Unet网络的甲状腺结节分割方法，包括：对公共甲状腺超声图像数据集进行图像大小统一、随机翻转、旋转和增强对比度操作；构建改进Unet网络，首先在Unet网络的前3个下采样卷积中增加自注意力残差连接块；其次在第4个下采样后增加高低频自注意力自适应融合模块；最后在高低频自注意力自适应融合模块之后接入语义增强模块；使用argmax判断像素值属于结节还是背景。本发明专利技术为了帮助医生进行准确的甲状腺结节分割，对结节区域进行精确的定位，同时增强全局上下文与局部信息，降低甲状腺结节分割的误差。割的误差。割的误差。

【技术实现步骤摘要】
一种基于改进Unet网络的甲状腺结节分割方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于改进Unet网络的甲状腺结节分割方法。

技术介绍

[0002]目前，超声成像凭借着廉价、无辐射、实时等优点，成为甲状腺诊断的首选技术；由于超声图像对比度低，存在着大量的噪声，边缘也相对模糊，因此常规的分割方法对于超声甲状腺结节的分割难以达到较高的精确度，不准确的分割容易造成医生的错误诊断与治疗，后果极其严重。
[0003]随着深度学习的火热，计算机医疗技术的发展，人们越来越关注于深度学习相关的医学图像分割技术。CNN因为其强大的处理比例不变性、建模归纳偏向的能力在深度学习领域应用广泛。其中，Ronneberger提出的Unet网络凭借着能够在数据量匮乏的医学图像领域仍然有良好的分割效果。
[0004]由于卷积的作用是局部的，容易出现感受野受限的问题，对于上下文全局信息的捕获具有一定的挑战，即缺少了甲状腺周围组织对于结节分割的辅助作用。同时缺乏语义先验信息，容易出现较小的结节与较大的结节两者边界合并的问题，分割的性能难以达到理想的状况。上述问题可以通过引入自注意力机制进行解决，只是普通的自注意力机制忽略了不同频域的特征，过多地关注低频全局信息，容易丢失边缘等局部细节，使得分割结果不够准确。

技术实现思路

[0005]本专利技术解决的技术问题是：为了帮助医生进行准确的甲状腺结节分割，对结节区域进行精确的定位，同时增强全局上下文与局部信息，降低甲状腺结节分割的误差。
[0006]本专利技术所采用的技术方案是：一种基于改进Unet网络的甲状腺结节分割方法，包括以下步骤：
[0007]步骤一、对公共甲状腺超声图像数据集进行图像大小统一、随机翻转、旋转和增强对比度操作，并按照8：1：1划分成训练集、验证集和测试集；
[0008]步骤二、构建改进Unet网络，首先在Unet网络的前3个下采样卷积块后增加自注意力残差连接块；其次在第4个下采样卷积块后增加高低频自注意力自适应融合模块；最后在高低频自注意力自适应融合模块之后接入语义增强模块；
[0009]在编码阶段加入自注意力残差连接块能在多个尺度上捕获远程依赖与上下文全局信息，同时能够将自注意力初始化为卷积，从而弥补自注意力需要大量的数据学习位置偏差的缺陷；
[0010]高低频自注意力自适应融合模块用于增强语义特征的全局上下文依赖，同时通过高频捕捉局部细节、低频关注全局结构，增强特征提取的准确度；
[0011]步骤三、使用argmax判断像素值属于结节或背景。
[0012]本专利技术的有益效果：
[0013]1、以Unet网络作为本专利技术网络模型的主体架构，能够帮助模型在数据量缺乏的情况下依然达到理想的效果，在编码阶段加入自注意力残差连接块，在多个尺度上捕获远程依赖与上下文全局信息，同时能够将自注意力初始化为卷积，从而弥补自注意力需要大量的数据学习位置偏差的缺陷；
[0014]2、高低频自注意力自适应融合模块赋予自注意力同时在高频捕捉局部边缘细节、在低频捕获全局上下文结构的能力；
[0015]3、语义增强模块通过加入语义先验信息增强特征提取阶段的语义特征，本专利技术方法在甲状腺数据集tn3k上分割性能有了较大的提升，dsc相比Unet提升了2.1％，miou相比Unet提升了1.3％；对于甲状腺结节分割任务中噪声等干扰因素过多、边缘不清晰的问题，得以较好地解决。
附图说明
[0016]图1是本专利技术的基于改进Unet网络的甲状腺结节分割方法流程图；
[0017]图2是本专利技术的图像分割模型图；
[0018]图3是本专利技术的分割模型内部模块的结构图；
[0019]图4是本专利技术的高低频自注意力自适应融合模块；
[0020]图5是本专利技术的语义增强模块；
[0021]图6是本专利技术的训练好的模型进行分割效果图。
具体实施方式
[0022]下面结合附图和实施例对本专利技术作进一步说明，此图为简化的示意图，仅以示意方式说明本专利技术的基本结构，因此其仅显示与本专利技术有关的构成。
[0023]如图1所示，基于改进Unet网络的甲状腺结节分割方法包括以下步骤：
[0024]步骤一、对公共甲状腺超声图像数据集进行图像大小统一、随机翻转、旋转和增强对比度操作，并按照8：1：1划分成训练集、验证集和测试集；
[0025]S1、将公共的超声甲状腺结节数据集tn3k裁剪成256
×
256尺寸的图像，训练、验证的图像一共2879张；
[0026]步骤二、构建改进Unet网络，首先在Unet网络的前3个下采样卷积中增加自注意力残差连接块；其次在第4个下采样后增加高低频自注意力自适应融合模块；最后在高低频自注意力自适应融合模块之后接入语义增强模块；
[0027]在编码阶段加入自注意力残差连接块能在多个尺度上捕获远程依赖与上下文全局信息，同时能够将自注意力初始化为卷积，从而弥补自注意力需要大量的数据学习位置偏差的缺陷；
[0028]高低频自注意力自适应融合模块用于增强语义特征的全局上下文依赖，同时通过高频捕捉局部细节、低频关注全局结构，增强特征提取的准确度；
[0029]S2、搭建基于自注意力残差连接块、高低频自注意力自适应融合模块与语义增强模块的甲状腺结节分割网络，即改进Unet网络，将pytorch读取的甲状腺图像数据送进网络中；
[0030]进一步的，如图2为改进Unet网络图，具体包括：
[0031]S21、Unet主体结构包括一个双卷积块、4个下采样卷积块、4个上采样卷积块，下采样卷积块由最大池化，一个双卷积块组成，其中双卷积块为两组3
×
3卷积、BN归一化层和ReLU激活函数；下采样卷积块由最大池化，一个双卷积块组成，其中双卷积块为两组3
×
3卷积、BN归一化层和ReLU激活函数；上采样卷积块由双线性上采样，一个双卷积块组成，其中，双卷积块为两组3
×
3卷积、BN归一化层和ReLU激活函数；
[0032]一个双卷积块将输入通道数变成64，然后经过4个下采样卷积块，通道数分别变为128、256、512、512，之后经过4个上采样卷积块，通道数变为256、128、64、64，最后1
×
1卷积变成类别个数；
[0033]S22、如图3为自注意力残差连接块结构图，自注意力残差连接块接在前3个下采样卷积块的后面，将自注意力以残差方式连接，将其初始化为卷积，自注意力残差连接块中分两个残差连接块，第一个残差连接块是BN归一化和高效多头自注意力机制(ESA)，其中，高效多头自注意力先将特征经过Linear线性层映射成query(Q)，然后将特征送入最大池化层变成8
×
8尺寸的特征图，再经过Linear线性层计算自注意力中的key(K)和value(V)以减少计算，公式如下：
[0034][0035]其中，Q本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进Unet网络的甲状腺结节分割方法，其特征在于，包括以下步骤：步骤一、对公共甲状腺超声图像数据集进行图像大小统一、随机翻转、旋转和增强对比度操作，并按照8：1：1划分成训练集、验证集和测试集；步骤二、构建改进Unet网络，首先在Unet网络的前3个下采样卷积块后增加自注意力残差连接块；其次在第4个下采样卷积块后增加高低频自注意力自适应融合模块；最后在高低频自注意力自适应融合模块之后接入语义增强模块；步骤三、使用argmax判断像素值属于结节或背景。2.根据权利要求1所述的基于改进Unet网络的甲状腺结节分割方法，其特征在于：Unet网络包括一个双卷积块、4个下采样卷积块、4个上采样卷积块；下采样卷积块由最大池化，一个双卷积块组成，其中，双卷积块为两组3
×
3卷积、BN归一化层和ReLU激活函数；下采样卷积块由最大池化，一个双卷积块组成，其中，双卷积块为两组3
×
3卷积、BN归一化层和ReLU激活函数；上采样卷积块由双线性上采样，一个双卷积块组成，其中，双卷积块为两组3
×
3卷积、BN归一化层和ReLU激活函数；一个双卷积块将输入通道数变成64，然后经过4个下采样卷积块，通道数分别变为128、256、512、512，之后经过4个上采样卷积块，通道数变为256、128、64、64，最后1
×
1卷积变成类别个数。3.根据权利要求2所述的基于改进Unet网络的甲状腺结节分割方法，其特征在于，在Unet网络的前3个下采样卷积块后增加自注意力残差连接块的详细步骤如下：自注意力残差连接块接在前3个下采样卷积块的后面，自注意力残差连接块中分两个残差连接块，第一个残差连接块是BN归一化和高效多头自注意力机制，高效多头自注意力先将特征经过Linear线性层映射成Q，然后经过最大池化层将特征变成8
×
8尺寸的特征图，再经过Linear线性层计算自注意力中的K和V，公式如下：其中，Q为经过Linear层映射到的query，K和V为最大池化后经过Linear层映射得到的key、value，T为转置，D
h
为多头注意力机制一个头的隐藏维度数，Softmax为激活函数；第二个残差连接块由BN归一化、...

【专利技术属性】
技术研发人员：蔡成杰，毕卉，邹凌，吕继东，姜一波，
申请(专利权)人：常州大学，
类型：发明
国别省市：