融合测地线模型的双解码器网络的血管分割方法技术

一种融合测地线模型的双解码器网络的血管分割方法，涉及计算机视觉及医学图像处理技术领域，首先，利用网络的编码器对医学图像进行特征提取。其次，对医学图像进行对比度增强，在医学图像的三个通道上分别计算测地线密度，然后将医学图像三个通道的测地线密度进行整合，融入解码器提取到的特征中，最后通过解码器解码完成医学图像血管的分割。其中，网络部分由一个共享编码器，与两个具有相似架构的解码器组成。第一解码器用于分割任务，进行血管结构的提取。第二解码器用于辅助任务，用于血管中心线的提取以辅助第一解码器血管分割任务的完成。使用测地线投票算法与双解码器神经网络在技术上两者实现了优势互补，提高了分割的效率与质量。的效率与质量。的效率与质量。

【技术实现步骤摘要】
融合测地线模型的双解码器网络的血管分割方法


[0001]本专利技术涉及计算机视觉及医学图像处理
，具体涉及一种融合测地线模型的双解码器网络的血管分割方法。

技术介绍

[0002]血管分割是医学图像处理领域的重要任务之一，其在临床诊断、治疗规划和疾病监测等方面具有关键作用。准确地提取血管结构的边界对于识别疾病标志物、分析血流动力学以及辅助医生的决策具有重要意义。
[0003]然而，由于医学图像中的血管结构通常具有复杂的形状、大小变化和强度变化，以及与周围组织的相似性，血管分割一直是一个具有挑战性的任务。传统的基于阈值、边缘检测或区域增长的方法在复杂场景下往往表现不佳，无法准确提取血管的边界。
[0004]近年来，深度学习技术的快速发展为血管分割提供了新的机遇。卷积神经网络(CNN)等深度学习模型能够自动学习图像中的特征表示，具有在复杂背景下提取血管结构的能力。深度学习模型能够自动学习图像中的特征表示，通过多层次的卷积和池化操作，可以逐渐抽取出不同层次的特征，包括边缘、纹理和形状等，从而更好地表征血管结构。另外，深度学习模型能够利用图像中的全局和局部上下文信息，对血管与背景之间的区别进行建模，从而提高分割的精度和鲁棒性。深度学习模型还可以通过端到端的训练方式进行优化，从原始图像到最终的血管分割结果，避免了手动设计特征和阈值等中间步骤，简化算法的流程。Sarhan等人(参考文献：A.Sarhan,J.Rokne,R.Alhajj and A.Crichton,"Transfer Learning Through Weighted Loss Function and Group Normalization for Vessel Segmentation from Retinal Images,"in 2020 25th International Conference on Pattern Recognition(ICPR),Milan,Italy,2021pp.9211
‑
9218.)使用调整过后的U
‑
Net网络，使用加权损失函数，在视网膜图像血管分割上取得了很好的效果。然而，单一的网络模型往往难以充分捕捉图像中不同层次的特征，从而限制了血管分割的准确性。
[0005]传统的血管分割方法通常基于阈值、边缘检测或区域增长等简单的图像处理技术，易于实现和理解。其中，传统方法中的测地线投票算法通过在图像中沿着血管路径进行投票操作，能够识别和连接血管边界点，从而实现较高的分割准确性。测地线投票算法利用局部特征和几何信息，能够应对图像中的噪声、强度变化和伪影等干扰因素，提高分割结果的稳定性。然而，传统的测地线投票算法也存在一些缺点，如对血管分叉和交叉情况的处理较为困难，对于复杂的血管网络结构分割结果可能不够精确。

技术实现思路

[0006]本专利技术为了克服以上技术的不足，提供了一种传统的血管分割方法与深度学习方法相结合，从复杂医学图像中提取出准确血管边界的方法。
[0007]本专利技术克服其技术问题所采用的技术方案是：
[0008]一种融合测地线模型的双解码器网络的血管分割方法，包括如下步骤：
[0009]a)收集n张眼底视网膜图像，得到数据集D
′
，D
′
＝{D
′1,D
′2,...,D
′
i
,...,D
′
n
}，D
′
i
为第i张眼底视网膜图像，i∈{1,2,...,n}；
[0010]b)对数据集D
′
进行数据集增强操作，得到增强后的数据集D，D＝{D1,D2,...,D
i
,...,D
n
}，D
i
为第i张增强后的眼底视网膜图像；
[0011]c)将增强后的数据集D划分为训练集train、测试集test；
[0012]d)建立血管分割网络模型，血管分割网络模型由编码器、中间结构层、测地线投票算法模块、第一解码器、第二解码器构成；
[0013]e)将训练集train中第i张增强后的眼底视网膜图像D
i
输入到血管分割网络模型的编码器中，输出得到特征图
[0014]f)将特征图输入到血管分割网络模型的中间结构层中，输出得到特征图D
c
；
[0015]g)将训练集train中第i张增强后的眼底视网膜图像D
i
输入到血管分割网络模型的测地线投票算法模块中，输出得到测地线密度系数特征图D
s
；
[0016]h)将特征图D
c
和测地线密度系数特征图D
s
输入到血管分割网络模型的第一解码器中，输出得到血管分割图像i)将特征图D
c
和测地线密度系数特征图D
s
输入到血管分割网络模型的第二解码器中，输出得到血管中心线分割图像
[0017]j)利用Adam优化器通过反向传播法，使用损失函数L
total
优化血管分割网络模型，得到训练后的血管分割网络模型；
[0018]k)将测试集test中第i张增强后的眼底视网膜图像D
i
输入到训练后的血管分割网络模型中，输出得到血管分割图像及血管中心线分割图像进一步的，步骤a)中从公开数据集DRIVE与公开数据集IOSTAR中收集n张眼底视网膜图像，得到数据集D
′
，步骤b)中在python中导入transforms工具包，对数据集D
′
中的眼底视网膜图像依次进行剪裁、翻转、旋转操作，得到增强后的数据集D，。
[0019]进一步的，步骤c)将增强后的数据集D按7:3的比例划分为训练集train、测试集test。
[0020]进一步的，步骤e)包括如下步骤：
[0021]e
‑
1)血管分割网络模型的编码器由第一卷积单元、第二卷积单元、第一最大池化层、第三卷积单元、第四卷积单元、第二最大池化层、第五卷积单元、第六卷积单元、第三最大池化层、第七卷积单元、第八卷积单元、第四最大池化层构成；e
‑
2)编码器的第一卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将训练集train中第i张增强后的眼底视网膜图像D
i
输入到第一卷积单元中，输出得到特征图e
‑
3)编码器的第二卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第二卷积单元中，输出得到特征图e
‑
4)将特征图输入到编码器的第一最大池化层中，输出得到特征图e
‑
5)编码器的第三卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特
征图输入到第三卷积单元中，输出得到特征图e
‑
6)编码器的第四卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合测地线模型的双解码器网络的血管分割方法，其特征在于，包括如下步骤：a)收集n张眼底视网膜图像，得到数据集D
′
，D
′
＝{D
′1,D
′2,...,D
′
i
,...,D
′
n
}，D
′
i
为第i张眼底视网膜图像，i∈{1,2,...,n}；b)对数据集D
′
进行数据集增强操作，得到增强后的数据集D，D＝{D1,D2,...,D
i
,...,D
n
}，D
i
为第i张增强后的眼底视网膜图像；c)将增强后的数据集D划分为训练集train、测试集test；d)建立血管分割网络模型，血管分割网络模型由编码器、中间结构层、测地线投票算法模块、第一解码器、第二解码器构成；e)将训练集train中第i张增强后的眼底视网膜图像D
i
输入到血管分割网络模型的编码器中，输出得到特征图f)将特征图输入到血管分割网络模型的中间结构层中，输出得到特征图D
c
；g)将训练集train中第i张增强后的眼底视网膜图像D
i
输入到血管分割网络模型的测地线投票算法模块中，输出得到测地线密度系数特征图D
s
；h)将特征图D
c
和测地线密度系数特征图D
s
输入到血管分割网络模型的第一解码器中，输出得到血管分割图像i)将特征图D
c
和测地线密度系数特征图D
s
输入到血管分割网络模型的第二解码器中，输出得到血管中心线分割图像j)利用Adam优化器通过反向传播法，使用损失函数L
total
优化血管分割网络模型，得到训练后的血管分割网络模型；k)将测试集test中第i张增强后的眼底视网膜图像D
i
输入到训练后的血管分割网络模型中，输出得到血管分割图像及血管中心线分割图像2.根据权利要求1所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于：步骤a)中从公开数据集DRIVE与公开数据集IOSTAR中收集n张眼底视网膜图像，得到数据集D
′
，步骤b)中在python中导入transforms工具包，对数据集D
′
中的眼底视网膜图像依次进行剪裁、翻转、旋转操作，得到增强后的数据集D，。3.根据权利要求1所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于：步骤c)将增强后的数据集D按7:3的比例划分为训练集train、测试集test。4.根据权利要求1所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于，步骤e)包括如下步骤：e
‑
1)血管分割网络模型的编码器由第一卷积单元、第二卷积单元、第一最大池化层、第三卷积单元、第四卷积单元、第二最大池化层、第五卷积单元、第六卷积单元、第三最大池化层、第七卷积单元、第八卷积单元、第四最大池化层构成；e
‑
2)编码器的第一卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将训练集train中第i张增强后的眼底视网膜图像D
i
输入到第一卷积单元中，输出得到特征图e
‑
3)编码器的第二卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征
图输入到第二卷积单元中，输出得到特征图e
‑
4)将特征图输入到编码器的第一最大池化层中，输出得到特征图e
‑
5)编码器的第三卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第三卷积单元中，输出得到特征图e
‑
6)编码器的第四卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第四卷积单元中，输出得到特征图e
‑
7)将特征图输入到编码器的第二最大池化层中，输出得到特征图e
‑
8)编码器的第五卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第五卷积单元中，输出得到特征图e
‑
9)编码器的第六卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第六卷积单元中，输出得到特征图e
‑
10)将特征图输入到编码器的第三最大池化层中，输出得到特征图e
‑
11)编码器的第七卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第七卷积单元中，输出得到特征图e
‑
12)编码器的第八卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第八卷积单元中，输出得到特征图e
‑
13)将特征图输入到编码器的第四最大池化层中，输出得到特征图5.根据权利要求4所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于，步骤f)包括如下步骤：f
‑
1)血管分割网络模型的中间结构层由第一卷积单元、第二卷积单元构成；f
‑
2)中间结构层的第一卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第一卷积单元中，输出得到特征图f
‑
3)中间结构层的第二卷积单元依次由卷积层、BatchNorm层、Dropout层构成，将特征图输入到第二卷积单元中，输出得到特征图D
c
。6.根据权利要求1所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于，步骤g)包括如下步骤：g
‑
1)血管分割网络模型的测地线投票算法模块由对比度增强层、特征点检测层、测地线密度计算层构成；g
‑
2)将训练集train中第i张增强后的眼底视网膜图像D
i
输入到测地线投票算法模块的对比度增强层中利用CLAHE算法对第i张增强后的眼底视网膜图像D
i
的R通道、G通道、B通道
进行图像对比度增强，得到对比度增强的特征图g
‑
3)将对比度增强的特征图输入到测地线投票算法模块的特征点检测层中，将对比度增强的特征图的R通道使用Shi
‑
Tomasi算法进行特征点检测，得到特征点图将对比度增强的特征图的G通道使用Shi
‑
Tomasi算法进行特征点检测，得到特征点图将对比度增强的特征图的B通道使用Shi
‑
Tomasi算法进行特征点检测，得到特征点图g
‑
4)将特征点图输入到测地线投票算法模块的测地线密度计算层中，选取特征点图中的特征点组成源点集S
r
，选取特征点图中边界上的所有的点组成端点集Q
r
，将源点集S
r
与端点集Q
r
利用测地线投票算法计算生成测地线密度特征图g
‑
5)将特征点图输入到测地线投票算法模块的测地线密度计算层中，选取特征点图中的特征点组成源点集S
g
，选取特征点图中边界上的所有的点组成端点集Q
g
，将源点集S
g
与端点集Q
g
利用测地线投票算法计算生成测地线密度特征图g
‑
6)将特征点图输入到测地线投票算法模块的测地线密度计算层中，选取特征点图中的特征点组成源点集S
b
，选取特征点图中边界上的所有的点组成端点集Q
b
，将源点集S
b
与端点集Q
b
利用测地线投票算法计算生成测地线密度特征图g
‑
7)将测地线密度特征图测地线密度特征图测地线密度特征图追像素相加，得到测地线密度特征图将测地线密度特征图输入到Sigmoid函数层中，输出得到测地线密度系数特征图D
s
。7.根据权利要求4所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于，步骤h)包括如下步骤：h
‑
1)血管分割网络模型的第一解码器由第一自注意力模块、第一上采样层、第一特征融合层、第一卷积单元、第二卷积单元、第二自注意力模块、第二上采样层、第二特征融合层、第三卷积单元、第四卷积单元、第三自注意力模块、第三上采样层、第三特征融合层、第五卷积单元、第六卷积单元、第四自注意力模块、第四上采样层、第四特征融合层、第七卷积单元、第八卷积单元、几何特征融合层、第九卷积单元构成；h
‑
2)第一解码器的第一自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图D
c
输入到第一卷积层中，输出得到特征图将特征图输入到第二卷积层中，输出得到特征图将特征图与特征图逐像素相加得到特征图将特征图输入到Relu激活函数层
中，输出得到特征图将特征图输入到第三卷积层中，输出得到特征图将特征图输入到Sigmoid函数层中，输出得到特征图将特征图输入到上采样层中，输出得到特征图将特征图与特征图进行特征融合操作，得到特征图h
‑
3)将特征图D
c
输入到第一解码器的第一上采样层中，输出得到特征图h
‑
4)将特征图与特征图输入到第一解码器的第一特征融合层中，特征图与特征图利用concat方法进行特征融合，得到特征图h
‑
5)第一解码器的第一卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数层构成，将特征图输入到第一卷积单元中，输出得到特征图h
‑
6)第一解码器的第二卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第二卷积单元中，输出得到特征图h
‑
7)第一解码器的第二自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图输入到第一卷积层中，输出得到特征图将特征图输入到第二卷积层中，输出得到特征图将特征图与特征图逐像素相加得到特征图将特征图输入到Relu激活函数层中，输出得到特征图将特征图输入到第三卷积层中，输出得到特征图将特征图输入到Sigmoid函数层中，输出得到特征图将特征图输入到上采样层中，输出得到特征图将特征图与特征图进行特征融合操作，得到特征图h
‑
8)将特征图输入到第一解码器的第二上采样层中，输出得到特征图h
‑
9)将特征图与特征图输入到第一解码器的第二特征融合层中，特征图与特征图利用concat方法进行特征融合，得到特征图h
‑
10)第一解码器的第三卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第三卷积单元中，输出得到特征图h
‑
11)第一解码器的第四卷积单元依次由卷积层、
BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第四卷积单元中，输出得到特征图h
‑
12)第一解码器的第三自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图输入到第一卷积层中，输出得到特征图将特征图输入到第二卷积层中，输出得到特征图将特征图与特征图逐像素相加得到特征图将特征图输入到Relu激活函数层中，输出得到特征图将特征图输入到第三卷积层中，输出得到特征图将特征图输入到Sigmoid函数层中，输出得到特征图将特征图输入到上采样层中，输出得到特征图将特征图与特征图进行特征融合操作，得到特征图h
‑
13)将特征图输入到第一解码器的第三上采样层中，输出得到特征图h
‑
14)将特征图与特征图输入到第一解码器的第三特征融合层中，特征图与特征图利用concat方法进行特征融合，得到特征图h
‑
15)第一解码器的第五卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第五卷积单元中，输出得到特征图h
‑
16)第一解码器的第六卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第六卷积单元中，输出得到特征图h
‑
17)第一解码器的第四自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图输入到第一卷积层中，输出得到特征图将特征图输入到第二卷积层中，输出得到特征图将特征图与特征图逐像素相加得到特征图将特征图输入到Relu激活函数层中，输出得到特征图将特征图输入到第三卷积层中，输出得到特征图将特征图输入到Sigmoid函数层中，输出得到特征图将特征图输入到上采样层中，输出得到特征图将特征图与特征图进行特征融合操作，得到特征图
h
‑
18)将特征图输入到第一解码器的第四上采样层中，输出得到特征图h
‑
19)将特征图与特征图输入到第一解码器的第四特征融合层中，特征图与特征图利用concat方法进行特征融合，得到特征图h
‑
20)第一解码器的第七卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第七卷积单元中，输出得到特征图h
‑
21)第一解码器的第八卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第八卷积单元中，输出得到特征图h
‑
22)将特征图与测地线密度系数特征图D
s
输入到第一解码器的几何特征融合层中，特征图与测地线密度系数特征图D
s
利用逐像素值对应相乘的方式进行特征融合，得到特征图h
‑
23)第一解码器的第九卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第九卷积单元中，输出得到血管分割图像8.根据权利要求7所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于，步骤i)包括如下步骤：i
‑
1)血管分割网络模型的第二解码器由第一上采样层、第一特征融合层、第一卷积单元、第二卷积单元、第二上采样层、第二特征融合层、第三卷积单元、第四卷积单元、第三上采样层、第三特征融合层、第五卷积单元、第六卷积单元、第四上采样层、第四特征融合层、第七卷积单元、第八卷积单元、几何特征融合层、第九卷积单元构成；i
‑
2)将特征图D
c
输入到第二解码器的第一上采样层中，输出得到特征图i
‑
3)将特征图与特征图输入到第二解码器的第一特征融合层中，特征图与特征图利用concat方法进行特征融合，得到特征图i
‑
4)第二解码器的第一卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数层构成，将特征图输入到第一卷积单元中，输出得到特征图i
‑

【专利技术属性】
技术研发人员：陈达，韩孝兴，舒明雷，刘丽，李焕春，郭学丽，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：