基于多尺度通道融合与空间激活的眼底图像血管分割方法技术

本发明专利技术涉及一种基于多尺度通道融合与空间激活的眼底图像血管分割方法。该方法提出模型由三个模块组成，即混合卷积模块、通道协同注意力融合模块、全局空间激活。首先，使用混合卷积模块提取血管的深层次特征；然后，在通道协同注意力融合模块处交互目标在不同尺度与通道的信息；最后，采用全局空间激活模块聚合特征，实现眼底血管分割。本方法通过构建多尺度通道融合与空间激活网络模型，提高对眼底图像微小血管的关注度，实现眼底图像血管的有效分割，并能对微小血管达到很好的分割效果。本发明专利技术能够高效、准确地完成眼底图像血管分割任务，对微小血管起到很好的分割效果。对微小血管起到很好的分割效果。对微小血管起到很好的分割效果。

【技术实现步骤摘要】
基于多尺度通道融合与空间激活的眼底图像血管分割方法


[0001]本专利技术属于图像处理
，具体涉及一种基于多尺度通道融合与空间激活的眼底图像血管分割方法。

技术介绍

[0002]眼底是全身唯一能用肉眼直接观察到动脉、静脉和毛细血管的部位，这些血管可以反映人体全身血液循环的动态以及健康状况，许多全身疾病都可以从眼底图像上反映出来。血管的形态发生变异是眼底病变的主要特征。因此，分析眼底图像是医生检查和诊断眼部疾病的关键步骤。但眼底图像在获取过程中往往会因为光照差异、设备限制的原因，出现亮度对比度分布不均、噪声、模糊等问题，导致图像中的血管结构不突出，难以进行准确的分析。有经验的专家能对眼底图像中的血管进行初步提取，但由于低对比度和噪声等干扰因素的存在，人工血管分割不仅费时费力而且容易出错。因此获取高质量的眼底图像血管结构是分析和诊断心脑血管疾病和眼科疾病的关键步骤。
[0003]近几十年来，研究者们对眼底图像血管的自动分割进行了许多的研究和尝试。最早，研究者利用基于血管的形态和特征的传统图像处理方法实现对眼底血管的提取。随着人工智能的不断发展，深度学习技术逐渐进入计算机视觉和自然语言处理领域并迅速成为领域内的主力军，在图像分割、语音识别、文本检测等领域发挥了巨大的作用。卷积神经网络凭借着其强大的特征表示能力，在图像分类和分割方面有着举足轻重的地位。全卷积神经网络(FCN)作为语义分割的开山之作，首次实现了端到端的训练。基于FCN的U
‑
net凭借其适合小样本训练，能够实现更好性能的优势在医学图像分割领域成为主流。
[0004]目前，有许多基于U
‑
Net的变体网络应用于眼底图像血管分割任务中，取得了优异的成绩，但大多变体模型不能很好的利用特征实现不同形态血管的检测分割，尤其是微小血管的分割仍然具有挑战性。
[0005]Yue等人提出的一种基于U
‑
net的密集多尺度输入层网络，通过不同尺度的输入图像来丰富网络中信息流。Zhang等人提出的金字塔型U
‑
net网络通过聚合多尺度的输入特征丰富网络中的上下文信息。但采用不同分辨率的输入图像来促成网络的多尺度特征融合使得网络输入更复杂、模型更大。为了提高分割性能，研究者将注意力机制应用到像素级的目标分割中。其与人眼的视觉注意力类似，能够获得需要重点关注的目标区域，而后对目标区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。
[0006]鉴于注意力机制的成功应用，本专利技术改进U
‑
net模型，提出通道协同注意力融合模块和全局空间激活模块，前者能够对多尺度不同通道的特征进行加权，让网络关注更有意义的信息，后者可以对微小血管进行精确的定位和激活，从而实现眼底图像血管，特别是微小血管的有效分割。

技术实现思路

[0007]本专利技术的目的在于提高眼底图像的血管分割精度，提供一种基于多尺度通道融合
与空间激活的眼底图像血管分割方法，首先结合混合卷积与Dropblock建立HC
‑
Drop模块提取血管的深层次特征，并利用渐进式下采样方式获取目标的多尺度特征图。然后，提出通道协同注意力融合模块，利用不同尺度、通道之间的信息交互实现不同形态血管的多尺度处理。最后通过建立的全局空间激活模块聚合全局特征信息，在空间域提高对微小血管的关注度，实现微小血管的有效分割。本专利技术能够高效、准确地完成眼底图像血管分割任务，对微小血管起到很好的分割效果。
[0008]为实现上述目的，本专利技术的技术方案是：一种基于多尺度通道融合与空间激活的眼底图像血管分割方法，首先，使用混合卷积模块提取血管的深层次特征；然后，在通道协同注意力融合模块处交互目标在不同尺度与通道的信息；最后，采用全局空间激活模块聚合特征，实现眼底血管分割。
[0009]在本专利技术一实施例中，所述混合卷积模块即HC
‑
Drop模块由混合卷积与Dropblock组成；所述混合卷积模块，首先对输入进行3*3的标准卷积与扩张率为2的3*3扩张卷积，每个卷积后加入Dropblock；之后将特征图做逐元素相加操作；最后经过归一化和线性修正单元得到感受野更大、特征信息更丰富的输出特征图。Dropblock中的下降参数γ的表达式定义如下：
[0010][0011]其中，1
‑
keep_prob表示神经元被丢弃状态的概率，block_size表示要丢弃的连续区域大小，(w
‑
block_size+1)(h
‑
block_size+1)表示有效的种子区域，w和h分别表示特征图的宽度和高度。
[0012]在本专利技术一实施例中，所述混合卷积是由标准卷积和扩张卷积组成的卷积块。
[0013]在本专利技术一实施例中，所述通道协同注意力融合模块即CCAF模块，首先对每个尺度的特征图进行SE通道注意力处理，得到同一尺度下通道方向的关注度矢量；之后，利用softmax函数对不同深度下的通道关注向量进行重新校准，得到多尺度通道协同的重新校准权重；最后，对重新校准的权重和相应的特征图应用逐元素乘积的运算得到富含多尺度特征信息的精细化特征图作为输出。SE通道注意力的定义如下：
[0014]SE
Channel
＝σ(ρ
M
(F
M
+F
A
)+ρ
A
(F
M
+F
A
))
[0015]其中F
M
和F
A
分别表示对输出特征图进行通道维度的最大池化和平均池化后的特征图，ρ
M
和ρ
A
分别表示经过MLP后得到的两个1*1*C的标量，σ表示sigmoid激活函数；
[0016]通道协同注意力融合模块的输出可表示为：
[0017]F
MCCA
＝(F1；F2；F3)
·
S(SE
Channel
(F1；F2；F3))
[0018]其中F1；F2；F3分别表示三个不同尺度下采样得到的特征图，S表示softmax激活函数。
[0019]在本专利技术一实施例中，所述全局空间激活模块即GSA模块，首先对输入的特征图做通道维度的全局平均池化和最大池化得到两个1*H*W的特征图，通过1*1卷积和sigmoid函数得到1*H*W的全局信息聚合的血管特征概率图；之后在空间域上应用空间激活函数得到自适应的加权概率图；最后与输入特征图做逐元素相乘运算得到激活后的特征图。空间激活函数的公式如下：
[0020][0021]其中p表示输入特征图上的每个像素值，表示1；
[0022]全局空间激活模块的输出可表示为：
[0023]F
S
＝δ(c1×1(F
M
；F
A
))
[0024]F
GSA...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度通道融合与空间激活的眼底图像血管分割方法，其特征在于，首先，使用混合卷积模块提取血管的深层次特征；然后，在通道协同注意力融合模块处交互目标在不同尺度与通道的信息；最后，采用全局空间激活模块聚合特征，实现眼底血管分割。2.根据权利要求1所述的基于多尺度通道融合与空间激活的眼底图像血管分割方法，其特征在于，所述混合卷积模块即HC
‑
Drop模块由混合卷积与Dropblock组成；所述混合卷积模块，首先对输入进行3*3的标准卷积与扩张率为2的3*3扩张卷积，每个卷积后加入Dropblock；之后将特征图做逐元素相加操作；最后经过归一化和线性修正单元得到感受野更大、特征信息更丰富的输出特征图；Dropblock中的下降参数γ的表达式定义如下：其中，1
‑
keep_prob表示神经元被丢弃状态的概率，block_size表示要丢弃的连续区域大小，(w
‑
block_size+1)(h
‑
block_size+1)表示有效的种子区域，w和h分别表示特征图的宽度和高度。3.根据权利要求2所述的基于多尺度通道融合与空间激活的眼底图像血管分割方法，其特征在于，所述混合卷积是由标准卷积和扩张卷积组成的卷积块。4.根据权利要求1所述的基于多尺度通道融合与空间激活的眼底图像血管分割方法，其特征在于，所述通道协同注意力融合模块即CCAF模块，首先对每个尺度的特征图进行SE通道注意力处理，得到同一尺度下通道方向的关注度矢量；之后，利用softmax函数对不同深度下的通道关注向量进行重新校准，得到多尺度通道协同的重新校准权重；最后，对重新校准的权重和相应的特征图应用逐元素乘积的运算得到富含多尺度特征信息的精细化特征图作为输出；SE通道注意力的定义如下：SE
channel
＝σ(ρ
M
(F
M
+F
A
)+ρ
A
(F
M
+F
A
))其中F
M
和F
...

【专利技术属性】
技术研发人员：曹新容，李睿，李佐勇，滕升华，李智龙，
申请(专利权)人：闽江学院，
类型：发明
国别省市：