一种基于深度学习的视网膜OCT图像积液分割方法技术

本发明专利技术涉及一种基于深度学习的视网膜OCT图像积液分割方法，包括以下步骤：获取视网膜OCT图像；将所述视网膜OCT图像送入训练好的积液分割模型得到积液分割结果，其中，积液分割模型包括：特征提取网络，用于对视网膜OCT图像进行下采样操作得到高等级的全局语义特征图；注意力模块，用于生成通道以及空间等级的全局注意力特征图，并从全局注意力特征图中捕捉每种视网膜液体病变的不同特征，得到特征图；多尺度Transformer模块，用于探索具有长范围依赖关系的多尺度非局部特征；特征融合网络，用于将多尺度非局部特征进行上采样操作并逐级恢复，得到自动分割的结果。本发明专利技术能够提升视网膜OCT图像中积液的分割精度。网膜OCT图像中积液的分割精度。网膜OCT图像中积液的分割精度。

【技术实现步骤摘要】
一种基于深度学习的视网膜OCT图像积液分割方法


[0001]本专利技术涉及图像处理
，特别是涉及一种基于深度学习的视网膜OCT图像积液分割方法。

技术介绍

[0002]黄斑水肿(ME)作为各类眼部疾病的并发症，例如年龄相关性黄斑变性(AMD)、糖尿病性黄斑水肿(DME)或视网膜静脉阻塞(RVO)，会导致患者视力受损，严重的会导致不可逆的失明。它通常以黄斑中不同类型的充满液体的病理为特征，表现为视网膜内积液(IRF)、视网膜下积液(SRF)和视网膜色素上皮脱离(PED)。传统的诊断方式是眼科医生利用光学相干断层扫描(OCT)图像对这些视网膜病理性液体进行分割和分析，以对ME进行诊断及对治疗效果进行评估。然而，手动分割是一项耗时、费力且主观的任务，既使是熟练的眼科医生也容易出错。因此，迫切需要开发自动的方法实现对OCT图像中的多种类型的视网膜液体的准确分割和定量分析。
[0003]各种基于OCT图像的视网膜积液自动分割算法，大致可分为图像处理方法、传统机器学习方法和深度学习方法。然而，基于图像处理的方法需要高质量的图像且不能自适应的应用于图像质量差异较大的数据集。传统的基于机器学习的分割方法过分依赖于人工制作的特征，对专业知识要求较高并且其泛化能力较弱。基于深度学习的方法可以自动从带有标注的视网膜OCT图像中学习病变特征表示，而无需人工制作病变特征。然而，使用传统的卷积神经网络(CNN)很难识别与视网膜病变液体相对应的更细微的具有判别性的特征，并且这些基于深度学习的分割模型会在数据分布不平衡时更多地关注于具有更多样本的视网膜液体类型。此外，由于CNN固有的局部感受野，使得这些方法在建模视网膜液体病变的多尺度长范围依赖关系时存在局限性，导致对纹理、形状和大小变化较大的视网膜液体区域的分割性能相对较弱。

技术实现思路

[0004]本专利技术所要解决的技术问题是提供一种基于深度学习的视网膜OCT图像积液分割方法，能够提升视网膜OCT图像中积液的分割精度。
[0005]本专利技术解决其技术问题所采用的技术方案是：提供一种基于深度学习的视网膜OCT图像积液分割方法，包括以下步骤：
[0006]获取视网膜OCT图像；
[0007]将所述视网膜OCT图像送入训练好的积液分割模型得到积液分割结果，其中，
[0008]所述积液分割模型包括：
[0009]特征提取网络，用于对所述视网膜OCT图像进行下采样操作得到高等级的全局语义特征图；
[0010]注意力模块，用于基于所述高等级的全局语义特征图生成通道以及空间等级的全局注意力特征图，并从全局注意力特征图中捕捉每种视网膜液体病变的不同特征，得到特
征图；
[0011]多尺度Transformer模块，用于基于所述高等级的全局语义特征图和特征图探索具有长范围依赖关系的多尺度非局部特征；
[0012]特征融合网络，用于将多尺度非局部特征进行上采样操作并逐级恢复到与所述视网膜OCT图像相同分辨率的特征图，得到自动分割的结果。
[0013]所述特征提取网络包括四个VGG块，每个VGG块均包含若干个3x3卷积层和一个最大池化层；其中，第一个VGG块有两个3x3卷积层，第二个VGG块有两个3x3卷积层；第三个VGG块有四个3x3卷积层；第四个VGG块有四个3x3卷积层。
[0014]所述注意力模块包括级联的全局注意力子模块和类注意力子模块；所述全局注意力子模块用于学习与积液类型无关的全局注意力特征，并在所述视网膜OCT图像中保留与视网膜病变液体相关的细节，同时抑制噪声信息；所述类注意力子模块用于学习特定视网膜积液类型的病变特征，并扩大不同类型积液之间的病变差异。
[0015]所述全局注意力子模块通过计算出通道和空间等级的注意力特征图，其中，F
c_attention
表示通道等级的全局注意力特征图，F
s_attention
表示空间等级的全局注意力特征图，F
GAM_IN
表示高等级的全局语义特征图，σ(
·
)表示Sigmoid函数，GAP(
·
)表示全局平均池化操作，Conv2(
·
)表示两次卷积操作，C_GAP(
·
)表示跨通道平均池化操作，表示元素等级乘法运算。
[0016]所述类注意力子模块将输入的特征图F
TAM_IN
通过核大小1x1的卷积层产生特征图F
′
∈R
H
×
W
×
nL
，其中，H，W和C分别表示特征图的高度、宽度和通道的数量，R表示实数集，n表示识别每一种视网膜液体病变类型所需要的通道数量；在训练的过程中随机移除一半的特征，得到特征图F
″
∈R
H
×
W
×
nL
；在进行推理的过程中，所有的n个特征图都被采用，并通过计算每种视网膜液体病变类型的得分，其中，S
i
表示每种视网膜液体病变类型的得分，GMP(
·
)表示全局最大池化操作，f
″
i,j
表示特征图F
″
∈R
H
×
W
×
nL
中第i种视网膜液体病变类型的第j个特征图；通过对特征图F
′
∈R
H
×
W
×
nL
进行类等级的跨通道平均池化操作得到每种病变等级的特征图F
′
i_avg
，通过计算类注意力权重矩阵ATT
TAM
，通过计算类注意力子模块输出的特征图F
TAM_OUT
。
[0017]所述多尺度Transformer模块将所述特征提取网络的各层的特征图依次输入下采样模块和3
×
3卷积层得到多个下采样图，并使用元素等级的求和操作将多个下采样图合并得到多尺度特征图F
Agg
，将多尺度特征图F
Agg
和所述注意力模块的输出的特征图F
GL_OUT
送入多头自注意力块；在多头自注意力块中采用多尺度特征图F
Agg
作为查询分支的输入，利用特征图F
GL_OUT
作为键和值分支的输入，在特征图F
GL_OUT
的引导下，从多尺度特征图F
Agg
中得到多尺度的非局部特征图F
MS_NL_EM
；将多尺度的非局部特征图F
MS_NL_EM
输入至Transformer块中提取全局上下文信息，生成具有长距离交互的多尺度非局部特征。
[0018]所述多头自注意力块采用1
×
1卷积运算来计算查询Q、键K和值V分支的权重，以将多尺度特征图F
Agg
编码为Q、将特征图F
GL_OUT
编码为K本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的视网膜OCT图像积液分割方法，其特征在于，包括以下步骤：获取视网膜OCT图像；将所述视网膜OCT图像送入训练好的积液分割模型得到积液分割结果，其中，所述积液分割模型包括：特征提取网络，用于对所述视网膜OCT图像进行下采样操作得到高等级的全局语义特征图；注意力模块，用于基于所述高等级的全局语义特征图生成通道以及空间等级的全局注意力特征图，并从全局注意力特征图中捕捉每种视网膜液体病变的不同特征，得到特征图；多尺度Transformer模块，用于基于所述高等级的全局语义特征图和特征图探索具有长范围依赖关系的多尺度非局部特征；特征融合网络，用于将多尺度非局部特征进行上采样操作并逐级恢复到与所述视网膜OCT图像相同分辨率的特征图，得到自动分割的结果。2.根据权利要求1所述的基于深度学习的视网膜OCT图像积液分割方法，其特征在于，所述特征提取网络包括四个VGG块，每个VGG块均包含若干个3x3卷积层和一个最大池化层；其中，第一个VGG块有两个3x3卷积层，第二个VGG块有两个3x3卷积层；第三个VGG块有四个3x3卷积层；第四个VGG块有四个3x3卷积层。3.根据权利要求1所述的基于深度学习的视网膜OCT图像积液分割方法，其特征在于，所述注意力模块包括级联的全局注意力子模块和类注意力子模块；所述全局注意力子模块用于学习与积液类型无关的全局注意力特征，并在所述视网膜OCT图像中保留与视网膜病变液体相关的细节，同时抑制噪声信息；所述类注意力子模块用于学习特定视网膜积液类型的病变特征，并扩大不同类型积液之间的病变差异。4.根据权利要求3所述的基于深度学习的视网膜OCT图像积液分割方法，其特征在于，所述全局注意力子模块通过计算出通道和空间等级的注意力特征图，其中，F
c_attention
表示通道等级的全局注意力特征图，F
s_attention
表示空间等级的全局注意力特征图，F
GAM_IN
表示高等级的全局语义特征图，σ(
·
)表示Sigmoid函数，GAP(
·
)表示全局平均池化操作，Conv2(
·
)表示两次卷积操作，C_GAP(
·
)表示跨通道平均池化操作，表示元素等级乘法运算。5.根据权利要求3所述的基于深度学习的视网膜OCT图像积液分割方法，其特征在于，所述类注意力子模块将输入的特征图F
TAM_IN
通过核大小1x1的卷积层产生特征图F
′
∈R
H
×
W
×
nL
，其中，H，W和C分别表示特征图的高度、宽度和通道的数量，R表示实数集，n表示识别每一种视网膜液体病变类型所需要的通道数量；在训练的过程中随机移除一半的特征，得到特征图F
″
∈R
H
×
W
×
nL
；在进行推理的过程中，所有的n个特征图都被采用，并通过计算每种视网膜液体病变类型的得分，其中，S
i
表示每种视网膜液体病变类型的得分，GMP(
·
)表示全局最大池化操作，f
″
i,j
表示特征图F
″
∈R
H
×
W
×
nL
中第i种视网膜液体病变类型的第j个特征图...

【专利技术属性】
技术研发人员：李峰，陈宇洋，周军，唐仕清，张学典，刘碧珊，王昶茹，
申请(专利权)人：上海机器人产业技术研究院有限公司，
类型：发明
国别省市：