一种基于特征重排和门控轴向注意力的医学图像分割方法技术

本发明专利技术公开了一种基于特征重排和门控轴向注意力的医学图像分割方法。首先，把所有的原始图像和真实分割图像统一为相同大小的尺寸，再对调整后的训练图像进行随机的水平/垂直翻转，提高了样本的多样性。其次，采用特征重排进行下采样，更好的保留了原始图像的特征，采用逆向特征重排进行上采样，提高的网络的解码能力。然后，协同训练全局分支与局部分支，分别提取图像的全局信息交互与局部信息交互。最后，合并两部分信息来对图像进行分割。同时，通过优化参数设置，利用适当的训练技巧，实现了更精确的医学图像分割效果。更精确的医学图像分割效果。更精确的医学图像分割效果。

【技术实现步骤摘要】
一种基于特征重排和门控轴向注意力的医学图像分割方法


[0001]本专利技术涉及医学图像分割领域，特别是涉及基于端到端的医学图像分割方法。

技术介绍

[0002]随着深度卷积神经网络在计算机视觉中的普及，深度卷积神经网络被用于医学图像分割任务。像U
‑
Net、Res
‑
UNet和U
‑
Net++这样的网络已经被专门提出用于执行各种医学成像模态的图像分割。这些方法在许多困难的数据集上也取得了不错的性能，证明了CNN在学习辨别特征以从医学扫描中分割器官或病变方面的有效性。虽然基于CNN 的方法在医学图像分割领域取得了优异的性能，但由于卷积运算的内在局部性，基于CNN的方法很难学习到确切的全局和远程语义信息交互。其分割精度也不能完全满足医学应用。医学图像分割仍然是医学图像分析中的一个具有挑战性的任务。
[0003]最近，基于Transformer的方法在计算机视觉领域大放异彩。 Transformer成功的主要原因是它们能够学习输入令牌之间的长期依赖关系，可以学习到全局和远程语义信息交互。基于Transformer的变形体轴向注意力块，将2D自我注意力分解为两个1D自我注意力，并引入了位置敏感轴向注意力已经被用于用于全景分割。基于 Transformer的变形体门控轴向注意力，能够使用门控机制控制注意力信息在网络中流通。
[0004]现有的医学图像分割模型大多采用卷积层或者池化层来对原始图像进行下采样。对于上采样，则使用卷积加双次线性插值进行上采样。采用卷积层或者池化的方法来进行下采样的过程中，会丢失一部分的原始图像信息。本专利技术使用特征重排的方式，将原始信息保存在 C通道上。由于双次线性插值依赖于插值公式，对于不同的数据集灵活性较差，本专利技术采用逆向特征重排的方式进行上采样。同时使用具有全局和远程语义信息交互门控轴向注意力块替换卷积块以实现对医学图像更好的分割精度。

技术实现思路

[0005]本专利技术提供了一种基于特征重排和门控轴向注意力的医学图像分割方法。该方法采用特征重排和门控轴向注意力机制，通过端到端的方式协同训练全局分支和局部分支，可以有效的提取到输入原始图像的全局信息交互与局部信息交互特征，并且通过门控机制控制信息在网络中的流通，使得模型在小样本数据集上也能够学习到好的位置偏差信息。实验结果表明，该方法能够更为精确的对医学图像进行分割。
[0006]一种基于特征重排和门控轴向注意力的医学图像分割方法，其步骤如下：
[0007]步骤1.数据集获取；从现有的公开医学图像分割数据集中，选择3种数据集；
[0008]所述的数据获取中的3个数据集分别是腺体分割数据集Glas，包含85张训练图像和80张测试图像。细胞核分割数据集MoNuSeg，包含30张训练图像和14张测试图像。细胞核分割数据集TNBC，包含35张训练图像和15张测试图像。
[0009]步骤2.数据处理；在步骤1所获取的医学图像分割数据集上，把数据集中图像调整为相同的尺寸；再对调整后的训练样本图像进行随机的水平/垂直翻转，从而增加训练样本
的多样性；
[0010]步骤3.定义基于特征重排和门控轴向注意力的医学图像分割模型，该模型包括全局分支和局部分支；以步骤2处理后的训练图像以及训练图像的真实分割图作为输入；
[0011]步骤4.损失函数；损失函数的作用则是用来衡量该预测值与真实样本标记之间的误差；此处采用交叉熵损失函数；
[0012]步骤5.定义Adam优化器，给模型设定一个合理的学习率，初始学习率设定为0.001，模型训练过程中，学习率随批次数增加而减缓，每50个批次学习率调整为原来的0.8，从而有效抑制振荡，找到更优的网络参数；同时采用L2正则化来有效降低过拟合；
[0013]学习率衰减公式为如下式(3):
[0014]l
p
＝l0×
0.8
p//50
ꢀꢀꢀꢀꢀꢀ
(3)
[0015]上述式中，p为训练批次数(epoch)。定义L2正则化项的超参数采用的是0.0005。
[0016]步骤6.网络训练与测试，协同训练步骤3中的全局分支和局部分支，在训练的同时在每个数据集提供的测试集上进行评估，评估采用的是平均IoU以及平均F1 score。
[0017]进一步的，步骤2所述的数据处理，具体实现如下：
[0018]首先，将数据集中的原始图像与真实分割图通过resize成128
ꢀ×
128大小尺寸；
[0019]最后，把经过resize后的训练图像以及对应的分割图像进行概率为50％的随机水平/垂直翻转。
[0020]进一步的，步骤3所述的模型全局分支和局部分支，具体实现如下：
[0021]全局分支编码(enconder)部分：
[0022]3‑
1.把输入的训练样本图像使用7
×
7卷积核，步长为1，Padding 设为3，保留输入的高度H与宽度W，再经过BatchNorm层以及ReLU 激活函数映射得到特征块；
[0023]3‑
2.对特征块进行特征重排，把H和W面片分为2
×
2的面片块，把(B,C,H,W)下采样为(B,4C,H/2,W/2)；其中B是一次输入图片的张数，C为特征块的通道数，H和W分别为特征块的高度与宽度；特征重排能够把相邻元素的特征保留在C通道上，相比采用池化层能更好的保留信息；
[0024]3‑
3.将特征重排后的特征块经过2次不改变高度与宽度的卷积加BatchNorm层以及ReLU激活函数映射得到特征块x，增强局部面片块的信息流通；
[0025]3‑
4.把特征块x输入门控轴向注意力块；一个门控轴向注意力块首先经过一个1
×
1的卷积加BatchNorm层以及ReLU激活函数映射；其次在沿着张量的宽度轴施加门控轴向注意力，公式如下式(1):
[0026][0027]其中，N表示上一次下采样后的宽度，q
ij
＝W
q
′
x,k
ij
＝W
k
′
x,v
ij
＝W
v
′
x 分别为查询、键和值；W为线性变换，x为输入，y为输出；
[0028]q
ij
＝W
q
′
x,表示第i行第j个元素，W
q
′
表示对x线性变换的参数
[0029]k
ij
＝W
k
′
x,表示第i行第j个元素，W
k
′
表示对x线性变换的参数
[0030]v
ij
＝W
v
′
x,表示第i行第j个元素，W
v
′
表示对x线性变换的参数
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征重排和门控轴向注意力的医学图像分割方法，其特征在于包括如下步骤：步骤1.数据集获取；从现有的公开医学图像分割数据集中，选择3种数据集；步骤2.数据处理；在步骤1所获取的医学图像分割数据集上，把数据集中图像调整为相同的尺寸；再对调整后的训练样本图像进行随机的水平/垂直翻转，从而增加训练样本的多样性；步骤3.定义基于特征重排和门控轴向注意力的医学图像分割模型，该模型包括全局分支和局部分支；以步骤2处理后的训练图像以及训练图像的真实分割图作为输入；步骤4.损失函数；损失函数的作用则是用来衡量该预测值与真实样本标记之间的误差；此处采用交叉熵损失函数；步骤5.定义Adam优化器，给模型设定一个合理的学习率，初始学习率设定为0.001，模型训练过程中，学习率随批次数增加而减缓，每50个批次学习率调整为原来的0.8，从而有效抑制振荡，找到更优的网络参数；同时采用L2正则化来有效降低过拟合；步骤6.网络训练与测试，协同训练步骤3中的全局分支和局部分支，在训练的同时在每个数据集提供的测试集上进行评估，评估采用的是平均IoU以及平均F1 score。2.根据权利要求1所述的基于特征重排和门控轴向注意力的医学图像分割方法，其特征在于步骤2所述的数据处理，具体实现如下：首先，将数据集中的原始图像与真实分割图通过resize成128
×
128大小尺寸；最后，把经过resize后的训练图像以及对应的分割图像进行概率为50％的随机水平/垂直翻转。3.根据权利要求2所述的基于特征重排和门控轴向注意力的医学图像分割方法，其特征在于步骤3所述的模型全局分支和局部分支，具体实现如下：全局分支编码(enconder)部分：3
‑
1.把输入的训练样本图像使用7
×
7卷积核，步长为1，Padding设为3，保留输入的高度H与宽度W，再经过BatchNorm层以及ReLU激活函数映射得到特征块；3
‑
2.对特征块进行特征重排，把H和W面片分为2
×
2的面片块，把(B,C,H,W)下采样为(B,4C,H/2,W/2)；其中B是一次输入图片的张数，C为特征块的通道数，H和W分别为特征块的高度与宽度；特征重排能够把相邻元素的特征保留在C通道上，相比采用池化层能更好的保留信息；3
‑
3.将特征重排后的特征块经过2次不改变高度与宽度的卷积加BatchNorm层以及ReLU激活函数映射得到特征块x，增强局部面片块的信息流通；3
‑
4.把特征块x输入门控轴向注意力块；一个门控轴向注意力块首先经过一个1
×
1的卷积加BatchNorm层以及ReLU激活函数映射；其次在沿着张量的宽度轴施加门控轴向注意力，公式如下式(1):其中，N表示上一次下采样后的宽度，q
ij
＝W
q
′
x,k
ij
＝W
k
′
x,v
ij
＝W
v
′
x分别为查询、键和值；W为线性变换，x为输入，y为输出；q
ij
＝W
q
′
x,表示第i行第j个元素，W
q
′
表示对x线性变换的参数
k
ij

【专利技术属性】
技术研发人员：俞俊，于云杰，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：