【技术实现步骤摘要】
本专利技术涉及图像处理，特别是一种基于视觉注意力融合网络的眼底血管图像分割方法。
技术介绍
1、眼底是全身唯一能用肉眼直接观察到动脉、静脉和毛细血管的部位，这些血管可以反映人体全身血液循环的动态以及健康状况，许多全身疾病都可以从眼底图像上反映出来。血管的形态发生变异是眼底病变的主要特征。因此，分析眼底图像是医生检查和诊断眼部疾病的关键步骤。但眼底图像在获取过程中往往会因为光照差异、设备限制的原因，出现亮度对比度分布不均、噪声、模糊等问题，导致图像中的血管结构不突出，难以进行准确的分析。有经验的专家能对眼底图像中的血管进行初步提取，但由于低对比度和噪声等干扰因素的存在，人工血管分割不仅费时费力而且容易出错。因此获取高质量的眼底血管图像结构是分析和诊断心脑血管疾病和眼科疾病的关键步骤。
2、目前多数视网膜血管分割架构均是由卷积神经网络构成，利用cnn的局部特征提取能力来提取血管信息。但是cnn存在一定的缺点，就是其不能够对全局信息进行建模，忽略了当前分割区域与相邻血管特征之间的相关性。因此本章在视网膜血管分割任务中引入具有全局信息感知能力的transformer架构，结合cnn强大的特征提取能力来实现对血管的全局和局部特征融合，从而提高视网膜血管的分割精度。
3、在医学图像处理领域，研究人员曾利用空洞卷积或者增大卷积核尺寸的方式扩大感受野，尝试获取当前区域与相邻像素之间的关系。但仍然无法完全从整个特征图中挖掘全局信息来协助网络提取血管特征。transformer由于其强大的全局信息提取能力和远程序列建模能力在
4、利用cnn可以实现对视网膜血管的局部特征提取，卷积运算的低计算量以及平移不变性的优点被广泛应用于计算机视觉领域，但其固有的感受野使得其无法捕捉远距离信息。transformer提供了一个新的思路，其自注意力机制具有强大的全局信息感知能力，能够从全局角度出发实现特征信息的挖掘。但同样它巨大的计算量，忽略图像的二维空间位置信息等缺点限制了transformer在计算机视觉领域的进一步发挥。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种基于视觉注意力融合网络的眼底血管图像分割方法，提升视网膜血管的分割精度，能够很好地检测和分割血管。
2、为实现上述目的，本专利技术采用如下技术方案：一种基于视觉注意力融合网络的眼底血管图像分割方法，包括卷积注意力transformer编码器，并行特征细化块实现对血管特征全局和局部信息的融合；transformer编码器中的ca-trans block采用计算速度快，参数量少且适用于高分辨率图像的卷积注意力来编码特征；在transformer编码器的最后引入并行特征细化块，强调血管特征的全局信息交互；在解码器阶段加入对微小血管分割友好的全局空间激活模块，并通过逐步解码重建精细的视网膜血管分割图。
3、在一较佳的实施例中，所述transformer编码器包括一个标准卷积层和三个重复的多尺度卷积注意力层组成；标准卷积层由两组步长为1的3×3卷积、dropblock、gn、relu激活函数组成；多尺度卷积注意力层中的ca-transformerblock沿用了vit的经典架构，包含一个归一化层，一个多尺度卷积注意力层和一个前馈层，通过两次残差连接的方式与该层输入拼接，来提取眼底图像中的血管信息；其中多出度视觉注意力的输出可表示为：
4、
5、其中mcatt代表多尺度卷积注意力输出，dwconv表示深度卷积，branchi,i∈{0,1,2,3}，表示第i个分支。
6、在一较佳的实施例中，所述transformer编码器由一个标准卷积层和三个多尺度卷积注意力层构成。
7、在一较佳的实施例中，所述并行特征细化块将自注意力与多尺度卷积注意力进行并行的融合；引入自注意力机制来对特征图的全局信息进行建模，强调全局信息的重要性；在经过归一化之后，对自注意力分支的输入进行reshape，之后送入多头自注意力中，输出与多尺度卷积注意力分支的输出进行拼接，之后经过1×1的逐点卷积整合特征信息，最后与输入做残差连接后送入前馈层；并行特征细化块的输出表示为：
8、
9、其中f表示输入特征图，mha表示多头注意力，dwconv表示深度卷积，branchi,i∈{0,1,2,3}表示第i个分支。
10、在一较佳的实施例中，所述全局空间激活模块即gsa模块，首先对输入的特征图做通道维度的全局平均池化和最大池化得到两个1*h*w的特征图，通过1*1卷积和sigmoid函数得到1*h*w的全局信息聚合的血管特征概率图；之后在空间域上应用空间激活函数得到自适应的加权概率图；最后与输入特征图做逐元素相乘运算得到激活后的特征图；空间激活函数的公式如下：
11、
12、其中p表示输入特征图上的每个像素值；
13、全局空间激活模块的输出可表示为：
14、
15、其中fmax和favg分别表示经过全局最大池化与平均池化后的特征图，c1×1表示1×1的卷积操作，δ表示sigmoid激活函数，f表示输入特征图。
16、在一较佳的实施例中，采用二进制交叉熵损失函数通过对所有样本求每个样本交叉熵的均值来优化模型，定义如下：
17、loss＝-(ylogp+(1-y)log(1-p))
18、其中y表示血管标签，p表示分割为血管的概率。
19、与现有技术相比，本专利技术具有以下有益效果：本专利技术的目的在于提高眼底图像的血管分割精度，提供一种基于视觉注意力融合的眼底血管图像分割方法，该方法引入具有全局信息感知能力的transformer架构，结合卷积神经网络，对血管特征进行多尺度提取以及全局与局部的特征融合来实现对视网膜血管的分割。首先，利用卷积注意力transformer编码器对血管特征编码，在编码器最后利用并行特征细化块对血管信息进行全局与局部特征融合，实现视网膜血管的全局信息交互。最后在解码器中引入了对微小血管分割表现良好的全局空间激活模块，并逐步恢复分割掩码。本专利技术能够高效、准确地完成眼底血管图像分割任务，对微小血管起到很好的分割效果。
本文档来自技高网...【技术保护点】
1.一种基于视觉注意力融合网络的眼底血管图像分割方法，其特征在于，包括卷积注意力Transformer编码器，并行特征细化块实现对血管特征全局和局部信息的融合；Transformer编码器中的CA-Trans block采用计算速度快，参数量少且适用于高分辨率图像的卷积注意力来编码特征；在Transformer编码器的最后引入并行特征细化块，强调血管特征的全局信息交互；在解码器阶段加入对微小血管分割友好的全局空间激活模块，并通过逐步解码重建精细的视网膜血管分割图。
2.根据权利要求1所述的一种基于视觉注意力融合网络的眼底血管图像分割方法，其特征在于，所述Transformer编码器包括一个标准卷积层和三个重复的多尺度卷积注意力层组成；标准卷积层由两组步长为1的3×3卷积、DropBlock、GN、ReLU激活函数组成；多尺度卷积注意力层中的CA-Transformer block沿用了ViT的经典架构，包含一个归一化层，一个多尺度卷积注意力层和一个前馈层，通过两次残差连接的方式与该层输入拼接，来提取眼底图像中的血管信息；其中多出度视觉注意力的输出可表示为：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。