一种基于弱监督学习的UWF眼底图像病灶区域定位方法技术

本发明专利技术提供一种基于弱监督学习的UWF眼底图像病灶区域定位方法，包括：获得UWF眼底图像；构建ResNet卷积神经网络模型；获取多尺度特征数据；获取全局注意力特征数据；将多尺度特征数据以及全局注意力特征数据相加获得特征显著数据；过滤；对病灶区域进行定位；对每张定位后的数据进行标记；对带标记的数据进行概率映射；构建分类器，对映射后数据以及带标记的数据进行训练；通过训练后的分类器对测试图像集中的病灶区域进行定位与预测；本发明专利技术只需要进行简单的分类标签来对模型进行标记，形成弱监督学习，且能在最后有效定位病灶区域，也不需要在眼底图像像素级的尺度上进行人工标记，人工成本大大降低。人工成本大大降低。人工成本大大降低。

【技术实现步骤摘要】
一种基于弱监督学习的UWF眼底图像病灶区域定位方法


[0001]本专利技术涉及眼科医学领域，具体而言，涉及一种基于弱监督学习的UWF眼底图像病灶区域定位方法。

技术介绍

[0002]视力损伤的发生和糖尿病视网膜病变、年龄相关性黄斑病变、视网膜脱离等眼底疾病存在极大的关联性，患者可能会出现突发性且无痛的视力模糊、单眼视力丧失、视野中的闪光和飞蚊症等。相关研究表明，糖尿病视网膜病变，是糖尿病引起的微血管并发症，已成为世界上导致失明和视力损害的主要原因。年龄相关性黄斑变性是一种严重的、不可逆的损害视力的眼部疾病，其早期和中期，几乎没有或仅有微妙的视觉变化，最终患者会发生中心视力损伤。视网膜脱离会导致视网膜与眼底分离，如果不及时治疗，可能导致永久性视力损失。因此对这几类眼科疾病进行病变区域的定位，可以帮助医生更好地了解患者的眼底病变程度和范围，从而有针对性地制定治疗方案。
[0003]临床上主要通过眼底彩照对疾病进行诊断，其主要分为传统眼底图像和超广角(UWF)眼底图像。传统眼底图像只能观察到眼底30
°‑
60
°...

【技术保护点】

【技术特征摘要】
1.一种基于弱监督学习的UWF眼底图像病灶区域定位方法，其特征在于，包括以下步骤：S1、获得UWF眼底图像,将所述UWF眼底图像分为训练图像集和测试图像集；S2、构建ResNet卷积神经网络模型，将所述训练图像集输入所述ResNet卷积神经网络模型；根据所述ResNet卷积神经网络模型的层数预设第一路径与第二路径，所述第一路径与第二路径均用于输出所述训练图像集中各图像的特征数据；S3、构建基于所述ResNet卷积神经网络模型的特征融合模块，用于接收所述第一路径中的特征数据，并将所述第一路径中的特征数据处理为多尺度特征数据；构建基于所述ResNet卷积神经网络模型的全局注意力模块，用于接收所述第二路径中的特征数据，并将所述第二路径中的特征数据处理为全局注意力特征数据；S4、将所述多尺度特征数据与所述全局注意力特征数据相加，获得所述训练图像集中各图像的特征显著数据；S5、对所述特征显著数据依次进行卷积以及激活操作，获得特征显著过滤数据；S6、构建基于ResNet卷积神经网络模型的病灶定位模块，用于对所述特征显著过滤数据中的病灶区域进行定位，获得所述训练图像集中各图像的定位后的特征显著过滤数据；根据不同病灶类型，对每张定位后的特征显著过滤数据进行标记，标记的类型与病灶的类型一一对应，获得所述训练图像集中各图像的带标记的特征显著过滤数据；S7、构建聚合函数，通过所述聚合函数对所述带标记的特征显著过滤数据进行概率映射，获得所述训练图像集中各图像的映射后的特征显著过滤数据；S8、构建基于ResNet卷积神经网络模型的分类器，对所述映射后的特征显著过滤数据以及带标记的特征显著过滤数据进行训练，得到训练后的所述分类器；S9、通过训练后的所述分类器对所述测试图像集中的病灶区域进行定位，得到定位结果。2.根据权利要求1所述的一种基于弱监督学习的UWF眼底图像病灶区域定位方法，其特征在于，所述步骤S2中，所述ResNet卷积神经网络模型的层数能够通过浅层至深层依次获取到所述UWF眼底图像的不同特征。3.根据权利要求1或2所述的一种基于弱监督学习的UWF眼底图像病灶区域定位方法，其特征在于，所述步骤S2中，所述特征数据输出具体为：根据所述训练图像集中各图像的不同分辨率，通过所述ResNet卷积神经网络模型的四层ResBlocks生成四组特征数据F，分别为A1、A2、A3以及A4，其中，F∈R
C
×
H
×
W
，C为通道数量，H
×
W为A1、A2、A3或A4图像的大小。4.根据权利要求3所述的一种基于弱监督学习的UWF眼底图像病灶区域定位方法，其特征在于，所述步骤S3中，将所述第一路径中的特征数据处理为多尺度特征数据具体包括以下步骤：S31、将A3的下采样步长设为1；S32、通过1
×
1卷积核的卷积操作和池化操作对A1，A2，A3，A4进行变换，并将变换后的A1、A2、A3以及A4标记为和其中，N＝H
×
W，H
×
W为A1、A2、A3或A4图像的大小；i＝1,2,3，j＝4；小写c为变换标记；大写C表示通道数量；
S33、将与以及分别进行矩阵乘积运算，T代表矩阵转置，得到三个对应的乘积矩阵；S34、根据三个所述乘积矩阵，通过softmax函数计算出关系矩阵M∈R
N
×
N
；S35、将以及与M分别进行矩阵乘积运算输出为A
f
∈R
Cn
×
Hn
，公式如下：，公式如下：其中，φ表示使用1
×
1的卷积核进行卷积操作；F
soft
表示softmax激活函数，G表示拼接操作，A为多尺度特征数据，CFFM表示特征融合操作。5.根据权利要求3所述的一种基于弱...

【专利技术属性】
技术研发人员：陈方胜，张炯，郝晋奎，岳星宇，阎岐峰，顾愿愿，赵一天，
申请(专利权)人：中国科学院宁波材料技术与工程研究所宁波慈溪生物医学工程研究所，
类型：发明
国别省市：