基于多尺度注意力门控网络的视网膜血管图像分割方法技术

本发明专利技术涉及一种基于多尺度注意力门控网络的视网膜血管图像分割方法，包括：构建视网膜血管图像分割网络模型；视网膜血管图像分割网络模型通过多尺度特征卷积块，使用不同大小的卷积核来进行特征提取，利用不同特征尺度信息，对血管整体和末端细微血管进行有效提取分割，并使用非局部注意力模块，获取更加丰富的全局语义信息；而后在跳跃连接部分采用多尺度注意力门控网络，输入不同维度的特征图，有选择性的学习相互关联的区域；采用训练数据集对视网膜血管图像分割网络模型进行训练，得到训练好的视网膜血管图像分割网络模型；通过训练好的视网膜血管图像分割网络模型对视网膜血管图像进行图像分割。该方法有利于更准确地分割视网膜血管图像。割视网膜血管图像。割视网膜血管图像。

【技术实现步骤摘要】
基于多尺度注意力门控网络的视网膜血管图像分割方法


[0001]本专利技术属于图像处理
，具体涉及一种基于多尺度注意力门控网络的视网膜血管图像分割方法。

技术介绍

[0002]视网膜血管图像的准确分割不仅可以用于评估和检测各种眼科疾病，还可以及时反应糖尿病、血液病等全身疾病。因此，视网膜血管图像分割的研究对于视觉威胁性疾病的诊断具有重要意义，视网膜血管分割的精度对诊断效率有着关键影响。
[0003]由于眼部血管有许多细小的毛细结构，采用手动分割及其复杂且易受主观因素的影响，故对视网膜血管的自动高效分割十分重要。由于视网膜中的血管细小并且图像受光照等因素影响，导致传统算法对其的分割精度不是很理想，有血管末梢缺失和血管边缘分割不清楚等问题。
[0004]Wu等提出多尺度网络结构对视网膜血管进行分割，得到了更加精细的特征。Yan等人通过分析像素损失的局限性,提出了一种新的损失函数,注重细血管在分割中的占比。Alom等将递归残差结构与U
‑
net相结合，构建了R2U
‑
Net，来增大上下文信息的获取程度。ZHUANG基于U
‑
Net网络提出了LadderNet，通过级联，构造了多条从输入到输出的路径。Guo等人提出了随机丢弃卷积块以防止过度拟合，构建了SD
‑
UNet。Jiang等人提出了多尺度信息融合模块来捕获不同厚度的血管特征。
[0005]由于视网膜图像的图像对比度过低，微小血管之间的变化不均匀，对视网膜图像实现更加精确分割已成为研究热点。近些年来，基于有监督的深度学习技术得到了快速的发展。由于深度学习技术在图像处理上的优秀表现，因此许多学者开始使用深度学习技术进行医学图像分割。用U型网络结构对医学图像进行分割，取得了很好的性能，其特有的U型结构很好的传递了提取的特征信息，适合小数据集的医学图像分割。但深度神经网络通过连续卷积、池化操作会降低图像分辨率造成视网膜血管边缘细节丢失，细小血管分割不精确等问题。并且随着网络深度增加，编码器中的背景噪声通过跳跃连接传递到解码器中，会导致像素的错误分割。

技术实现思路

[0006]本专利技术的目的在于提供一种基于多尺度注意力门控网络的视网膜血管图像分割方法，该方法有利于更准确地分割视网膜血管图像。
[0007]为实现上述目的，本专利技术采用的技术方案是：一种基于多尺度注意力门控网络的视网膜血管图像分割方法，包括：
[0008]构建视网膜血管图像分割网络模型；所述视网膜血管图像分割网络模型通过多尺度特征卷积块，使用不同大小的卷积核来进行特征提取，利用不同特征尺度信息，对血管整体和末端细微血管进行有效提取分割，并使用非局部注意力模块，获取更加丰富的全局语义信息；而后在跳跃连接部分采用多尺度注意力门控网络，输入不同维度的特征图，有选择
性的学习相互关联的区域；
[0009]采用训练数据集对所述视网膜血管图像分割网络模型进行训练，得到训练好的视网膜血管图像分割网络模型；
[0010]通过训练好的视网膜血管图像分割网络模型对视网膜血管图像进行图像分割。
[0011]进一步地，在所述视网膜血管图像分割网络模型中，编码器的每一步都包括一个多尺度特征卷积块和一个2
×
2最大池化操作，在每个下采样中，将特征通道的数量加倍；解码器中的每个步都包括一个用于上采样的2
×
2转置卷积操作，并将特征通道的数量减半，与来自编码器的相应特征映射级联；在编码器和解码器之间设置非局部注意力模块。
[0012]进一步地，所述多尺度特征卷积块使用1
×
1、3
×
3、5
×
5三种不同大小的卷积核来提取多尺度特征进行融合，以提高微血管特征提取能力；卷积结果通过concatenate的方式融合为一个组合特征图，再经过一个1
×
1的卷积，保持通道数与输入特征图一致；然后使用DropBlock有效的丢弃多尺度特征图中部分语义信息，防止网络过拟合；输入的特征图通过3
×
3的卷积添加到经过DropBlock的多尺度特征图中，形成残差结构；结构块中加入ReLU激活函数，以避免过拟合。
[0013]进一步地，所述非局部注意力模块通过计算特征中每个位置的加权和，来增加全局特征之间的关联性，在较远距离相关联的特征像素点之间建立依赖联系，以更好的捕获全局的语义信息；所述非局部注意力模块对输入特征图进行线性映射分别生成三个特征图M1、M2、M3，通过reshape和transpose得到M1、M2的乘法矩阵，并通过softmax函数得到全局的空间注意图A；将空间注意力图A应用在M3上并通过transpose和线性卷积得到最终的非局部注意力特征图；在输出端加入残差连接，与输入特征图相加。
[0014]进一步地，所述非局部注意力模块的计算公式为：
[0015][0016]Z
i
＝A
i
y
i
+x
i
ꢀꢀꢀ
(2)
[0017]其中，i与j为输出位置，f函数用于计算i与j位置的相似度；g函数用于计算特征图在j点的表示；响应函数C(x)用于对累加后的结果进行归一化处理；y
i
为生成的非局部特征图；Z
i
为经过残差网络得到的最终的空间注意力特征图。
[0018]进一步地，所述多尺度注意力门控网络用于突出血管部分的特征相应以及抑制图像背景区域的特征响应，所述多尺度注意力门控网络包括多个多尺度注意力门模块，所述多尺度注意力门模块首先将编码特征图x、浅层编码特征图y以及要进行上采样的特征图z的通道数和尺寸调整一致，然后将x、z分别经过最大池化、ReLU激活函数、一个1
×
1卷积和BN归一化，将y经过一个1
×
1卷积；令x与y相加，经过ReLU激活函数以及一个1
×
1卷积和Sigmoid激活操作，再与y相乘，得到的结果与z相加，经过ReLU激活函数以及一个1
×
1卷积和Sigmoid激活操作，再与y相乘；如果y是第一级编码特征图，仅进行y与z的特征图操作，然后通过concatenate的方式进行自身融合再经过ReLU激活函数以及一个1
×
1卷积和BN归一化，得到输出特征图；由于浅层和深层的特征图有不同的类别信息和位置信息，故浅层特征图配合深层特征图可得到丰富的语义信息，减缓无用信息的干扰；将多尺度注意力门模块加到神经网络的跳跃连接部分，以对视网膜特征进行空间增强，减少噪声对视网膜分割的影响。
[0019]进一步地，对所述视网膜血管图像分割网络模型进行训练时，使用的损失函数为交叉熵损失函数，其定义如下：
[0020][0021]式中，i表示类别种类；y
i
表示真实值的概率；p
i
表示模型预测的概率值。
[0022]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度注意力门控网络的视网膜血管图像分割方法，其特征在于，包括：构建视网膜血管图像分割网络模型；所述视网膜血管图像分割网络模型通过多尺度特征卷积块，使用不同大小的卷积核来进行特征提取，利用不同特征尺度信息，对血管整体和末端细微血管进行有效提取分割，并使用非局部注意力模块，获取更加丰富的全局语义信息；而后在跳跃连接部分采用多尺度注意力门控网络，输入不同维度的特征图，有选择性的学习相互关联的区域；采用训练数据集对所述视网膜血管图像分割网络模型进行训练，得到训练好的视网膜血管图像分割网络模型；通过训练好的视网膜血管图像分割网络模型对视网膜血管图像进行图像分割。2.根据权利要求1所述的基于多尺度注意力门控网络的视网膜血管图像分割方法，其特征在于，在所述视网膜血管图像分割网络模型中，编码器的每一步都包括一个多尺度特征卷积块和一个2
×
2最大池化操作，在每个下采样中，将特征通道的数量加倍；解码器中的每个步都包括一个用于上采样的2
×
2转置卷积操作，并将特征通道的数量减半，与来自编码器的相应特征映射级联；在编码器和解码器之间设置非局部注意力模块。3.根据权利要求1所述的基于多尺度注意力门控网络的视网膜血管图像分割方法，其特征在于，所述多尺度特征卷积块使用1
×
1、3
×
3、5
×
5三种不同大小的卷积核来提取多尺度特征进行融合，以提高微血管特征提取能力；卷积结果通过concatenate的方式融合为一个组合特征图，再经过一个1
×
1的卷积，保持通道数与输入特征图一致；然后使用DropBlock有效的丢弃多尺度特征图中部分语义信息，防止网络过拟合；输入的特征图通过1
×
1的卷积添加到经过DropBlock的多尺度特征图中，形成残差结构；结构块中加入ReLU激活函数，以避免过拟合。4.根据权利要求1所述的基于多尺度注意力门控网络的视网膜血管图像分割方法，其特征在于，所述非局部注意力模块通过计算特征中每个位置的加权和，来增加全局特征之间的关联性，在较远距离相关联的特征像素点之间建立依赖联系，以更好的捕获全局的语义信息；所述非局部注意力模块对输入特征图进行线性映射分别生成三个特征图M1、M2、M3，通过reshape和transpose得到M1、M2的乘法矩阵，并通过softmax函数得到全局的空间注意图A；将空间注意力图A应用在M...

【专利技术属性】
技术研发人员：曹新容，朱禹，李佐勇，滕升华，丁诗峰，
申请(专利权)人：闽江学院，
类型：发明
国别省市：