基于病变关注金字塔卷积神经网络的视网膜病变检测系统技术方案

基于病变关注金字塔卷积神经网络的视网膜病变检测系统，本发明专利技术涉及视网膜病变检测系统。本发明专利技术的目的是为了解决现有视网膜病变检测准确率低的问题。系统包括：图像处理主模块用于采集原始视网膜病变图像，对采集的原始视网膜病变图像进行预处理，获得预处理后的原始视网膜病变图像；神经网络主模块用于搭建病变关注金字塔卷积神经网络模型；训练主模块利用预处理后的原始视网膜病变图像对搭建好的病变关注金字塔卷积神经网络模型进行训练，获得训练好的病变关注金字塔卷积神经网络模型；检测主模块用于加载训练好的病变关注金字塔卷积神经网络模型，对待测试视网膜病变图像进行分类。本发明专利技术用于医学图像处理领域。本发明专利技术用于医学图像处理领域。本发明专利技术用于医学图像处理领域。

【技术实现步骤摘要】
基于病变关注金字塔卷积神经网络的视网膜病变检测系统


[0001]本专利技术属于医学图像处理领域，具体涉及视网膜病变检测系统。

技术介绍

[0002]糖尿病视网膜病变是一种由糖尿病并发症引起的眼病。它可以引起视网膜损伤、视力丧失和失明，是目前造成视力障碍的主要原因。糖尿病视网膜病变作为公共卫生领域最具挑战性的疾病之一，其诊断和分类对临床治疗过程具有重要意义。早期的准确分类可以导致更有效和有针对性的治疗，以避免视力损害和进一步的后果。在临床过程中，医生主要通过眼底图像进行分类，眼底图像含有丰富的病理信息和病理标志物。用于分类的病理生物标志物主要包括微动脉瘤、硬渗出物、软渗出物和出血等。眼科医生根据这些生物标记物的数量和严重程度进行疾病分类，但这是一个耗时耗力的过程。因此设计自动化的视网膜病变分类方法具有重要的临床应用价值。
[0003]随着深度学习技术的快速发展和计算机硬件设备计算能力的显著提高，基于卷积神经网络的方法在视网膜疾病诊断中展示了较高的精度。现有的基于卷积神经网络的方法的流程主要包括两部分，首先使用卷积层提取眼底图像特征，然后将特征映射为具体的疾病等级。现有的技术仍旧存在许多问题：
[0004](1)眼科医生在临床诊断过程中主要根据微动脉瘤等病变生物标志物进行诊断。而现有的卷积神经网络模型输入图像后直接输出分类结果，不能提供病变标志物等诊断依据。因此，现有方法不能和实际临床过程很好的结合，对医生的实际使用造成困惑。
[0005](2)低分辨率图像能够更快速定位病变位置，但缺乏病变区域的详细信息。高分辨率图像中病变的详细信息更清晰，而非病变区域也会反向产生更多的干扰。现有的方法没有考虑图像分辨率的影响，直接使用单一分辨率图像进行病变分类。

技术实现思路

[0006]本专利技术的目的是为了解决现有基于卷积神经网络的眼底图像视网膜病变检测中可解释性较弱，不能利用多分辨率图像信息，导致视网膜病变检测准确率低的问题，而提出基于病变关注金字塔卷积神经网络的视网膜病变检测系统。
[0007]基于病变关注金字塔卷积神经网络的视网膜病变检测系统包括：
[0008]图像处理主模块、神经网络主模块、训练主模块、检测主模块；
[0009]所述图像处理主模块用于采集原始视网膜病变图像，对采集的原始视网膜病变图像进行预处理，获得预处理后的原始视网膜病变图像；
[0010]所述神经网络主模块用于搭建病变关注金字塔卷积神经网络模型；
[0011]所述训练主模块利用预处理后的原始视网膜病变图像对搭建好的病变关注金字塔卷积神经网络模型进行训练，获得训练好的病变关注金字塔卷积神经网络模型；
[0012]所述检测主模块用于加载训练好的病变关注金字塔卷积神经网络模型，对待测试视网膜病变图像进行分类。
[0013]本专利技术的有益效果为：
[0014]1、本专利技术首次提出了一种基于病变关注金字塔卷积神经网络的视网膜病变分类方法，该方法整合了不同分辨率的图像信息，其中由低分辨率网络逐级引导高分辨率网络聚焦于病变区域，最终利用高分辨率网络中对于病变部位更清晰的特征进行诊断。
[0015]2、为所提出的基于病变关注金字塔卷积神经网络的视网膜病变分类方法设计了弱监督定位模块，解决了现有基于卷积神经网络的眼底图像视网膜病变检测中可解释性较弱的问题，弱监督定位模块只利用图像级别的标注就可以提供像素级别的病变定位，并且通过热度图的形式展示出来，提高了视网膜病变检测准确率。
[0016]3、由实验得知，本专利技术有着良好的视网膜病变诊断性能，其中正确率可以达到93.2％，灵敏度可以达到88.2％，特异性可以达到95.4％，具有先进水平。
附图说明
[0017]图1为本专利技术方法流程图；
[0018]图2为病变关注金字塔卷积神经网络构架示意图；
[0019]图3a为原始图像1图；
[0020]图3b为针对原始图像1图检测出的病变激活图病变位置展示图；
[0021]图4a为原始图像2图；
[0022]图4b为针对原始图像2图检测出的病变激活图病变位置展示图；
[0023]图5a为原始图像3图；
[0024]图5b为针对原始图像3图检测出的病变激活图病变位置展示图；
[0025]图6a为原始图像4图；
[0026]图6b为针对原始图像4图检测出的病变激活图病变位置展示图。
具体实施方式
[0027]具体实施方式一：本实施方式基于病变关注金字塔卷积神经网络的视网膜病变检测系统包括：
[0028]图像处理主模块、神经网络主模块、训练主模块、检测主模块；
[0029]所述图像处理主模块用于采集原始视网膜病变图像，对采集的原始视网膜病变图像进行预处理，获得预处理后的原始视网膜病变图像；
[0030]所述神经网络主模块用于搭建病变关注金字塔卷积神经网络模型；
[0031]所述训练主模块利用预处理后的原始视网膜病变图像对搭建好的病变关注金字塔卷积神经网络模型进行训练，获得训练好的病变关注金字塔卷积神经网络模型；
[0032]所述检测主模块用于加载训练好的病变关注金字塔卷积神经网络模型，对待测试视网膜病变图像进行分类。
[0033]具体实施方式二：本实施方式与具体实施方式一不同的是，所述图像处理主模块用于采集原始视网膜病变图像，对采集的原始视网膜病变图像进行预处理，获得预处理后的原始视网膜病变图像；具体过程为：
[0034]步骤A1、对原始视网膜病变图像进行预处理，构造多分辨率图像；具体过程为：
[0035]获取原始视网膜病变图像集，将每张图像的分辨率大小调整为一组1024
×
1024，
512
×
512和256
×
256的多分辨率图像；
[0036]视网膜图像周围有一些背景区域并不影响分类结果，所以将每组1024
×
1024，512
×
512和256
×
256的多分辨率图像以图像中心裁剪为896
×
896，448
×
448和224
×
224的多分辨率图像(1024
×
1024裁剪为896
×
896，512
×
512裁剪为448
×
448，256
×
256裁剪为224
×
224)，每组图像作为金字塔网络的一个输入；
[0037]步骤A2、对多分辨率图像进行归一化操作，对归一化操作后图像进行数据增强，获得预处理后的原始视网膜病变图像；
[0038]为了提高所训练网络的鲁棒性，首先对裁剪为896
×
896，448
×
448和224
×
224的多分辨率图像进行归一化操作，归一化的结果X
norm
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于病变关注金字塔卷积神经网络的视网膜病变检测系统，其特征在于：所述系统包括：图像处理主模块、神经网络主模块、训练主模块、检测主模块；所述图像处理主模块用于采集原始视网膜病变图像，对采集的原始视网膜病变图像进行预处理，获得预处理后的原始视网膜病变图像；所述神经网络主模块用于搭建病变关注金字塔卷积神经网络模型；所述训练主模块利用预处理后的原始视网膜病变图像对搭建好的病变关注金字塔卷积神经网络模型进行训练，获得训练好的病变关注金字塔卷积神经网络模型；所述检测主模块用于加载训练好的病变关注金字塔卷积神经网络模型，对待测试视网膜病变图像进行分类。2.根据权利要求1所述基于病变关注金字塔卷积神经网络的视网膜病变检测系统，其特征在于：所述图像处理主模块用于采集原始视网膜病变图像，对采集的原始视网膜病变图像进行预处理，获得预处理后的原始视网膜病变图像；具体过程为：步骤A1、对原始视网膜病变图像进行预处理，构造多分辨率图像；具体过程为：获取原始视网膜病变图像集，将每张图像的分辨率大小调整为一组1024
×
1024，512
×
512和256
×
256的多分辨率图像；将每组1024
×
1024，512
×
512和256
×
256的多分辨率图像以图像中心裁剪为896
×
896，448
×
448和224
×
224的多分辨率图像；步骤A2、对多分辨率图像进行归一化操作，对归一化操作后图像进行数据增强，获得预处理后的原始视网膜病变图像；对裁剪为896
×
896，448
×
448和224
×
224的多分辨率图像进行归一化操作，归一化的结果X
norm
：其中，X是图像，X
min
是图像中最小的像素点，X
max
是图像中最大像素点；以概率p1对归一化后图像进行随机水平翻转，以概率p2对归一化后图像进行垂直翻转，获得预处理后的原始视网膜病变图像。3.根据权利要求2所述基于病变关注金字塔卷积神经网络的视网膜病变检测系统，其特征在于：所述神经网络主模块用于搭建病变关注金字塔卷积神经网络模型；具体过程为：病变关注金字塔卷积神经网络模型包括低分辨率网络，中分辨率网络、高分辨率网络和弱监督定位模块；B1、所述低分辨率网络依次包括基本模块1、基本模块3、基本模块4、基本模块5、基本模块6和基本模块7；所述中分辨率网络依次包括基本模块1、基本模块3和基本模块4；所述高分辨率网络依次包括基本模块1、基本模块2、基本模块3、基本模块4、基本模块5、基本模块6和基本模块7；所述基本模块1依次包括第一卷积层、BN层、ReLU激活层、最大池化层；所述基本模块2包括第二卷积层、BN层、ReLU激活层；所述基本模块3依次包括第三卷积层、BN层、ReLU激活层、第四卷积层、BN层、ReLU激活
层、第五卷积层、BN层、ReLU激活层；所述基本模块4依次包括第六卷积层、BN层、ReLU激活层、第七卷积层、BN层、ReLU激活层、第八卷积层、BN层、ReLU激活层；所述基本模块5依次包括第九卷积层、BN层、ReLU激活层、第十卷积层、BN层、ReLU激活层、第十一卷积层、BN层、ReLU激活层；所述基本模块6依次包括第十二卷积层、BN层、ReLU激活层、第十三卷积层、BN层、ReLU激活层、第十四卷积层、BN层、ReLU激活层；所述基本模块7包括全连接层FC；B2、基于低分辨率网络构造弱监督定位模块。4.根据权利要求3所述基于病变关注金字塔卷积神经网络的视网膜病变检测系统，其特征在于：所述B2中基于低分辨率网络构造弱监督定位模块；具体过程为：低分辨率网络输入分辨率为224
×
224大小的图像，输出为低分辨率图像的分类结果；弱监督定位模块的构造过程为：根据低分辨率网络输出的低分辨率图像的分类结果和低分辨率网络中间层特征计算病变激活图，具体过程为：首先，将分辨率为224
×
224的图像输入低分辨率网络中，获取分类结果和中间层特征图，即[y
low
，f]＝Lownet(I
224
)其中I
224
是分辨率为224
×
224的图像，Lownet是低分辨率网络，y
low
是低分辨率网络对于分辨率为224
×
224的图像的分类结果，f是低分辨率网络中间层特征，来自低分辨网络中的基本模块5的输出；然后计算分类结果y
low
对于中间层特征f的梯度，将梯度经过一个全局平均池化层，得到分类结果y
low
对于低分辨网络中的基本模块5中第十一卷积层中所有通道的权重：其中α
i
是y
low
对于低分辨率网络中的基本模块5中第十一卷积层中第i个通道的权重，GAP代表全局平均池化层；最后将低分辨网络中的基本模块5输出特征图和权重进行线性组合并且使用ReLU激活函数获取病变位置激活图：其中L
CAM
是病变位置激活图。5.根据权利要求4所述基于病变关注金字塔卷积神经网络的视网膜病变检测系统，...

【专利技术属性】
技术研发人员：李翔，罗浩，王豪，张九思，乔新宇，蒋宇辰，尹珅，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：