一种注意力机制U型密集连接视网膜血管分割方法技术

本发明专利技术涉及一种注意力机制U型密集连接视网膜(融合DenseNet和Attention U‑net网络的新型视网膜)血管分割方法，包括视网膜血管图像预处理、构建视网膜血管分割模型步骤。本发明专利技术能有效地解决相邻血管易相连、微血管过宽、细小血管易断裂、血管交叉处分割不足以及对图像噪声过于敏感、目标与背景灰度值交叉、视盘与病灶误分割等问题。本发明专利技术在较低复杂度的情况下融合多种网络模型，在DRIVE数据集上取得优异的分割结果，其准确率和灵敏度分别为96.95％和85.94％，比最新文献公布的视网膜分割结果准确率提升约0.59％，灵敏度提升约7.92％。

【技术实现步骤摘要】
一种注意力机制U型密集连接视网膜血管分割方法
本专利技术涉及一种注意力机制U型密集连接视网膜(融合DenseNet和AttentionU-net网络的新型视网膜)血管分割方法，较好地解决了现有算法存在微血管分割不足、微血管分割过宽、血管交叉处分割断裂、病变处血管断裂、病灶与视盘误分割为血管等问题。
技术介绍
人类视网膜是一种覆盖在眼睛内表面的光敏组织，其中视网膜血管是全身血管系统中唯一可以无创伤直接观测到的部分，通过视网膜血管数量、分支、角度、宽度等信息均可作为视网膜血管相关疾病的诊断依据。卷积神经网络方法具有强大的特征提取能力和学习能力，它能在AttentionU-net与DenseNet网络中发挥与传统深度学习相比更高效，且能高精度地捕捉血管特征，可以解决目前眼科专家采取手工提取视网膜血管的繁琐过程，并将其从定性分析转为定量分析，解决不同眼科医生存在主观因素存在的误差，为临床眼科医生对疾病的诊断和治疗提供帮助。最新文献“RetinalbloodvesselsegmentationbasedontheGaussianmatchedfilterandU-net(GaoX,CaiY,QiuC,etal.RetinalbloodvesselsegmentationbasedontheGaussianmatchedfilterandU-net[C]//InternationalCongressonImageandSignalProcessing,BiomedicalEngineeringandInformatics.IEEE,2018)”记载的分割准确率和灵敏度分别在96.36％和78.02％，而在医学图像处理技术中，视网膜血管分割结果准确率即使提升0.1％都需要在算法复杂度与分割性能之间做出优异的权衡，往往高精度代表着算法的高复杂度，达不到实时辅助专家医疗的水平。
技术实现思路
本专利技术的目的是针对视网膜血管特征复杂多样与现有分割算法存在的不足，提出一种注意力机制U型密集连接视网膜血管分割方法。本专利技术的技术方案：一种注意力机制U型密集连接视网膜血管分割方法，包括以下步骤：步骤A01，视网膜血管图像预处理：首先对采集的视网膜图像按比例选取RGB三通道颜色特征信息；然后采取限制对比度直方图均衡化(ContrastLimitedAdaptiveHistgramEqualization，CLAHE)和filter2D滤波提升血管与背景的对比度，并采用局部自适应Gamma矫正视网膜图像较暗的伪影区域，突显血管像素；最后利用新型多尺度形态Hot-top滤波提升视网膜图像微小血管的多尺度亮、暗细节特征，并平滑去噪；步骤A02，构建视网膜血管分割模型：首先在U-net模型的编码部分引入DenseNet网络结构，充分利用前后输出层特征图的结构信息，以降低特征提取时的网络参数复杂度，进一步克服原始U-net网络存在对底层卷积层血管特征信息利用不全的现象；其次，在解码部分引入软注意模型(SoftAttentionModel)，构建注意门(Attentiongates，AGs)模型；注意门模型可以根据金标准图像gi特征信息增加经编码处理后训练图像xi血管的权重特征，粗略提取血管整体“骨架”，过滤背景伪影、硬性渗出物、视盘和黄斑，提升后期血管上采样恢复图像信息与最终分割的鲁棒性，并结合U-net自身具有将高层信息与底层信息相结合的优点，提取更多的视网膜图像细节信息；最后，由Softmax激活函数进行血管与背景像素分类，以实现视网膜血管精分割。所述的视网膜血管图像预处理包括以下四个子步骤：步骤A01.1，考虑到视网膜图像单一颜色通道会丢失部分颜色特征的现象，故采用RGB三通道的线性组合转换成单个强度通道，其定义如下：Ipre＝a1Ig+a2IR+a3Ib(1)式(1)中，Ipre表示三通道转换为单个通道图像；Ig,IR,Ib分别为绿色、红色以及蓝色通道图像；a1,a2,a3分别为绿色、红色以及蓝色通道图像的比例权重；给予绿色通道较大权重，能更多突出血管信息，而且将一定比例分给其他通道解决了部分图像绿色通道图像过暗和黄斑区域过分突出的现象；然后，将Ipre由双边滤波进行降噪得到图像Id；步骤A01.2，将经过去噪的视网膜图像Id首先利用限制对比度直方图均衡化将图像分块进行对比度限幅，提升整体血管的对比度；其次，经过以内核为菱形的filter2D滤波补偿视网膜图像的轮廓信息，增强图像的血管边缘及灰度跳变的部分，进一步降低噪音与图像平滑后边界与轮廓模糊现象；步骤A01.3，用局部自适应Gamma矫正图像伪影提升图像整体亮度，突出血管像素部分，并且降低CLAHE之后图像黄斑像素过分突出的现象；步骤A01.4，将经过步骤A01.2与A01.3处理的图像由新型多尺度形态学Top-Hot变换进行血管图像的整体增强，同时提取视网膜血管的微血管信息；通过控制图像边缘信息控制因子wi，调整相邻血管像素尺度的差值，降低视盘与黄斑特征信息的干扰，提高视网膜图像微小血管的多尺度亮、暗细节特征；新型多尺度形态学Top-Hot模型定义如下：式(2)中，n为视网膜图像像素索引，k是视网膜图像细节增强因子，Ir是经局部自适应Gamma增强的输入视网膜图像，f是新型多尺度形态学Top-Hot增强后的图像，Dopi与Dcli分别为视网膜图像亮细节与暗细节特征；控制因子wi的值由下式给出：式(3)中，Solfplus(·)为激活函数；eimax与eimin分别为ei的最大值与最小值；ei是视网膜图像膨胀与腐蚀之差；wi的变化主要由视网膜图像的梯度信息决定；x，y为图像邻域像素值。所述的构建视网膜血管分割模型包括编码、解码和视网膜血管分割三部分：A02.1编码部分：首先将新型多尺度形态学Top-Hot增强后的图像f进行归一化处理，即式(4)中，μ和σ分别为数据的平均值与标准差，xp为归一化后图像，目的是将图像强制缩放到0到1之间；将U-net解码部分与DenseNet网络相结合，即采用级联特征学习法的密集连接网络结构引入到U-net网络，通过U-net学习促进网络更加容易优化的同时，使得片内特征提取部分遵循DenseNet结构，缩短底层特征图到高层特征图之间的路径，保证层与层之间的最大信息流，进一步强化特征的传播能力；设l层的输出为xl，则该模型第l层的输出定义为：xl＝Hl([x0,x1,…,xl-1])(5)式(5)中，[x0,x1,…,xl-1]表示0,1,…,l-1层输出的特征层合并，Hl(·)表示第l层的非线性映射；这种密集连接结构缩短了前后层的距离，因此可以强化特征传播，鼓励特征的复用；此外，DenseNet网络结构一个重要优势可以设定一个固定的特征图增长率因子K；设第l层提取K0个特征图，则下一层的输出特征图数目为K0+K×(l-1)，因此提取的特征图相比传统网络具有更少的输出维数，避免学习冗余特征，从而增强网络对视网膜血管分割的性能，可以更准确且更多地提取微血管特征信息，保证网络编码部分的特征提取能力，其结构如图1所示；图1中卷积层(Convolutionallayer)，每一个卷积层利用线性修正单元(RectifiedLinearUnit，ReLU)激本文档来自技高网...

【技术保护点】
1.一种注意力机制U型密集连接视网膜血管分割方法，其特征是，包括以下步骤：步骤A01，视网膜血管图像预处理：首先对采集的视网膜图像按比例选取RGB三通道颜色特征信息；然后采取限制对比度直方图均衡化CLAHE和filter2D滤波提升血管与背景的对比度，并采用局部自适应Gamma矫正视网膜图像较暗的伪影区域，突显血管像素；最后利用新型多尺度形态Hot‑top滤波提升视网膜图像微小血管的多尺度亮、暗细节特征，并平滑去噪；步骤A02，构建视网膜血管分割模型：首先在U‑net模型的编码部分引入DenseNet网络结构，充分利用前后输出层特征图的结构信息，以降低特征提取时的网络参数复杂度，进一步克服原始U‑net网络存在对底层卷积层血管特征信息利用不全的现象；其次，在解码部分引入软注意模型，构建注意门模型AGs；注意门模型可以根据金标准图像gi特征信息增加经编码处理后训练图像xi血管的权重特征，粗略提取血管整体“骨架”，过滤背景伪影、硬性渗出物、视盘和黄斑，提升后期血管上采样恢复图像信息与最终分割的鲁棒性，并结合U‑net自身具有将高层信息与底层信息相结合的优点，提取更多的视网膜图像细节信息；最后，由Softmax激活函数进行血管与背景像素分类，以实现视网膜血管精分割。...

【技术特征摘要】
1.一种注意力机制U型密集连接视网膜血管分割方法，其特征是，包括以下步骤：步骤A01，视网膜血管图像预处理：首先对采集的视网膜图像按比例选取RGB三通道颜色特征信息；然后采取限制对比度直方图均衡化CLAHE和filter2D滤波提升血管与背景的对比度，并采用局部自适应Gamma矫正视网膜图像较暗的伪影区域，突显血管像素；最后利用新型多尺度形态Hot-top滤波提升视网膜图像微小血管的多尺度亮、暗细节特征，并平滑去噪；步骤A02，构建视网膜血管分割模型：首先在U-net模型的编码部分引入DenseNet网络结构，充分利用前后输出层特征图的结构信息，以降低特征提取时的网络参数复杂度，进一步克服原始U-net网络存在对底层卷积层血管特征信息利用不全的现象；其次，在解码部分引入软注意模型，构建注意门模型AGs；注意门模型可以根据金标准图像gi特征信息增加经编码处理后训练图像xi血管的权重特征，粗略提取血管整体“骨架”，过滤背景伪影、硬性渗出物、视盘和黄斑，提升后期血管上采样恢复图像信息与最终分割的鲁棒性，并结合U-net自身具有将高层信息与底层信息相结合的优点，提取更多的视网膜图像细节信息；最后，由Softmax激活函数进行血管与背景像素分类，以实现视网膜血管精分割。2.根据权利要求1所述的一种注意力机制U型密集连接视网膜血管分割方法，其特征是，所述的视网膜血管图像预处理包括以下四个子步骤：步骤A01.1，考虑到视网膜图像单一颜色通道会丢失部分颜色特征的现象，故采用RGB三通道的线性组合转换成单个强度通道，其定义如下：Ipre＝a1Ig+a2IR+a3Ib(1)式(1)中，Ipre表示三通道转换为单个通道图像；Ig,IR,Ib分别为绿色、红色以及蓝色通道图像；a1,a2,a3分别为绿色、红色以及蓝色通道图像的比例权重；给予绿色通道较大权重，能更多突出血管信息，而且将一定比例分给其他通道解决了部分图像绿色通道图像过暗和黄斑区域过分突出的现象；然后，将Ipre由双边滤波进行降噪得到图像Id；步骤A01.2，将经过去噪的视网膜图像Id首先利用限制对比度直方图均衡化将图像分块进行对比度限幅，提升整体血管的对比度；其次，经过以内核为菱形的filter2D滤波补偿视网膜图像的轮廓信息，增强图像的血管边缘及灰度跳变的部分，进一步降低噪音与图像平滑后边界与轮廓模糊现象；步骤A01.3，用局部自适应Gamma矫正图像伪影提升图像整体亮度，突出血管像素部分，并且降低CLAHE之后图像黄斑像素过分突出的现象；步骤A01.4，将经过步骤A01.2与A01.3处理的图像由新型多尺度形态学Top-Hot变换进行血管图像的整体增强，同时提取视网膜血管的微血管信息；通过控制图像边缘信息控制因子wi，调整相邻血管像素尺度的差值，降低视盘与黄斑特征信息的干扰，提高视网膜图像微小血管的多尺度亮、暗细节特征；新型多尺度形态学Top-Hot模型定义如下：式(2)中，n为视网膜图像像素索引，k是视网膜图像细节增强因子，Ir是经局部自适应Gamma增强的输入视网膜图像，f是新型多尺度形态学Top-Hot增强后的图像，Dopi与Dcli分别为视网膜图像亮细节与暗细节特征；控制因子wi的值由下式给出：式(3)中，Solfplus(·)为激活函数；eimax与eimin分别为ei的最大值与最小值；ei是视网膜图像膨胀与腐蚀之差；wi的变化主要由视网膜图像的梯度信息决定；x，y为图像邻域像素值。3.根据权利要求1所述的一种注意力机制U型密集连接视网膜血管分割方法，其特征是，所述的构建视网膜血管分割模型包括编码、解码和视网膜血管分割三部分：A02.1编码部分：首先将新型多尺度形态学Top-Hot增强后的图像f进行归一化处理，即式(4)中，μ和σ分别为数据的平均值与标准差，xp为归一化后图像，目的是将图像强制缩放到0到1之间；将U-net解码部分与DenseNet网络相结合，即采用级联特征学习法的密集连接网络结构引入到U-net网络，通过U-net学习促进网络更加容易优化的同时，使得片内特征提取部分遵循DenseNet结构，缩短底层特征图到高层特征图之间的路径，保证层与层之间的最大信息流，进一步强化特征的传播能力；设l层的输出为xl，则该模型第l层的输出定义为：xl＝Hl([x0,x1,…,xl-1])(5)式(5)中，[x0,x1,…,xl-1]表示0,1,…,l-1层输出的特征层合并，Hl(·)表示第l层的非线性映射；这种密集连接结构缩短了前后层的距离，因此可以强化特征传播，鼓励特征的复用；此外，DenseNet网络结构一个重要优势可以设定一个固定的特征图增长率因子K；设第l层提取K0个特征图，则下一层的输出特征图数目为K0+K×(l-1)，因此提取的特征图相比传统网络具有更少的输出维数，避免学习冗余特征，从而增强网络对视网膜血管分割的性能，可以更准确且更多地提取微血管特征信息，保证网络编码部分的特征提取能力；每一个卷积层利用线性修正单元ReLU激活函数进行特征提取；线性修正单元ReLU能有效地减少反向传播过程的梯度消失，降低网络计算复杂度，使得训练数据获得一定的稀疏性；线性修正单元ReLU激活函数定义如下：ReLU(xl)＝max(xl,0)(6)式(6)中，当xl<0时数据出现硬饱和状态，当xl>0时导数值恒为1；批量归一化BN放在网络中间可以不断地对中间输出进行优化调整，用来降低模型训练中的协变转移，防止因视网膜图像存在病理性噪音造成梯度消失，并且具有较好地保持原有模型的表达能力；下采样层用来压缩和提取特征图特征，降低参数复杂度；A02.2解码部分为了捕获足够多的血管特征图信息，在标准的卷积神经网络CNN体系结构中对特征映射网络进行上采样；以此联系空间网络水平模型的位置和全局范围内血管组织的关系，并在此基础上引入AGs模型；AGs模型通过一个“跳过”连接传播特征，即不再经过上采样层，更重要的是AGs模型每跳过连接的选通信号可以聚集来自多个成像尺度的血管信息；AGs模型在不相关的背景区中会逐渐抑制特征响应，而不需要在网络之间裁剪感兴趣区域(ROI)，进而降低算法的计算复杂度，解决传统U-net卷积网络对特征图“注意力分散”的现象，使得血管权重与背景噪音权重具有明显差异，大幅度提高U型网络对背景的抗噪能力，降低假阳性率；定义AGs模型中注意函数为αi，该函数主要用来识别显著图像区域和修剪特征，仅保留与特征任务相关的信息；AGs的输出特征图是输入特征图...

【专利技术属性】
技术研发人员：梁礼明，盛校棋，杨国亮，吴健，冯新刚，
申请(专利权)人：江西理工大学，
类型：发明
国别省市：江西,36