一种基于多尺度级联的糖尿病视网膜病变分级方法技术

本发明专利技术公开了一种基于多尺度级联的糖尿病视网膜病变分级方法，包括：提取输入图像多尺度信息的Res2Net基础网络、提取首层特征图的注意力模块、整合更具有鉴别性特征表示的感受野模块、多尺度级联网络；通过提取多尺度信息的方式减少浅层信息的丢失，并通过级联的方式对浅层信息和高层信息进行信息之间的融合，利用不同尺度信息之间的互补性来增强对信息的获取，结合多尺度和级联能有效提高DR的分级效果，具有一定的临床意义及算法意义。具有一定的临床意义及算法意义。具有一定的临床意义及算法意义。

【技术实现步骤摘要】
一种基于多尺度级联的糖尿病视网膜病变分级方法


[0001]本专利技术涉及计算机视觉领域以及医疗领域，特别是涉及一种基于多尺度级联的糖尿病视网膜病变分级方法。

技术介绍

[0002]糖尿病视网膜病变(diabetic retinopathy，DR)是一种由糖尿病微血管恶化导致的一种眼底并发症，并且最终会造成视觉缺陷或出现不可逆失明。糖尿病视网膜病变的病理特征主要包括以下几类：微动脉瘤、出血、硬渗出物和软渗出物。根据其类型和眼底图像出现的病变数量，国际临床糖尿病视网膜病变分级标准将糖尿病视网膜病变分五个阶段：无明显糖尿病视网膜病变、轻度非增值性糖尿病视网膜病变、中度非增值性糖尿病视网膜病变、重度非增值性糖尿病视网膜病变、增值性糖尿病视网膜病变。在目前临床诊断中，DR分级主要依靠眼科医生检查眼底彩色图像。由于DR患者数量庞大，经验丰富的眼科医生较少，给数量有限的眼科医生带来了巨大的负担；并且随着糖尿病患者数量的增加，眼底图像的数量越来越多，越来越难以人工实时分析。因此，有必要使用计算机辅助诊断，以减轻眼科医生的负担和检查时间，使患者及时了解自己的病情。
[0003]卷积神经网络(Convolutional Neural Networks，CNN)将特征提取与分类端到端相结合，在图像分类、目标检测、语义分割等任务上取得了重大突破。由于CNN具有强大的高水平特征提取能力和表征能力，它也被广泛应用于视网膜血管分割等医学图像分析任务中。但是五个DR等级在颜色和纹理上非常相似，因此在分级任务中很容易出现混淆，这对不同级别间的多样性产生了不利影响。其次，眼底图像中有些病变非常小，只有几个像素，如图3所示。这些小病变在卷积过程中很容易被忽略，会对最终的DR分级结果造成影响。
[0004]因此，亟需一种针对颜色和纹理非常相似的糖尿病视网膜病变分级方法来有效提高其分级效果成为研究人员热门的话题。

技术实现思路

[0005]本专利技术的目的是提供一种基于多尺度级联的糖尿病视网膜病变分级方法，通过提取多尺度信息的方式减少浅层信息的丢失，并通过级联的方式对浅层信息和高层信息进行信息之间的融合，利用不同尺度信息之间的互补性来增强对信息的获取，结合多尺度和级联能有效提高DR的分级效果，具有一定的临床意义及算法意义。
[0006]为实现上述目的，本专利技术提供一种基于多尺度级联的糖尿病视网膜病变分级方法，具体包括以下步骤：
[0007]S1、将采集带有标签的糖尿病视网膜病变眼底图像作为原始数据集；并将所述原始数据集按照比例划分为训练集和测试集；
[0008]S2、构建Res2Net网络模型，并设置所述Res2Net网络模型的输入批量大小参数；
[0009]S3、根据所述输入批量大小参数，将所述训练集输入到所述Res2Net网络模型中进行训练，并采用SGD优化器进行优化，得到训练完成的Res2Net网络模型；
[0010]S4、将所述测试集输入到所述训练完成的Res2Net网络模型中进行预测，将输出的预测结果与真实标签作比对，得到尺度级联网络糖尿病视网膜病变分级模型；
[0011]S5、利用所述尺度级联网络糖尿病视网膜病变分级模型对糖尿病视网膜病变进行分级，并利用图像分类度量指标对分级效果进行综合评价。
[0012]优选的，所述原始数据集采用的是kaggle上的APTOS 2019Blindness Detection公开数据集。
[0013]优选的，所述原始数据集是按照8：2比例随机抽样组合的方式划分为训练集和测试集。
[0014]优选的，所述输入批量大小参数为20；所述输入批量大小参数是按照随机抽取方式对所述训练集进行抽取。
[0015]优选的，所述Res2Net网络模型是采用多尺度训练策略来训练网络，以进行信息互补。
[0016]优选的，所述多尺度训练策略具体为：
[0017]步骤1：对所述Res2Net网络进行预训练；
[0018]步骤2：采用ImageNet对预训练后的Res2Net网络进行特征提取；
[0019]步骤3：在所述预训练后的Res2Net网络中添加注意力模块和感受野模块，获得多尺度特征；
[0020]步骤4：基于多尺度训练策略，将所述多尺度特征通过聚合模块进行信息融合，得到训练完成的Res2Net网络。
[0021]优选的，所述步骤2具体为：
[0022]采用ImageNet对预训练后的Res2Net网络的前五层提取两组低层特征F0、F1和三组高层特征F2、F3、F4。
[0023]优选的，所述步骤3具体为：
[0024]在所述预训练后的Res2Net网络第一层中添加该注意力模块，所述F0通过所述注意力模块得到增强的特征图A0；在所述预训练后的Res2Net网络中第二、三、四、五层分别添加感受野模块，所述F1、F2、F3、F4均通过所述感受野模块依次获得多尺度特征图F'1、F'2、F'3、F'4。
[0025]优选的，所述步骤4具体为：
[0026]所述A0依次与所述F'1、F'2、F'3、F'4通过聚合模块得到特征图a1、a2、a3、a4；然后再将所述A0依次与所述a1、a2、a3、a4进行相加，分别得到A1、A2、A3、A4，得到训练完成Res2Net网络。
[0027]优选的，所述S4中，对所述训练完成的Res2Net网络模型中进行预测方法具体为：
[0028]将所述A1、A2、A3、A4进行通道相加操作来进行信息融合；然后对融合后的特征进行全局平均池化输出一个结果，把一个W*H*C的张量变成1*1*C的张量；最后通过全连接层将输出结果映射到真实标签空间中来对分类结果进行预测。
[0029]与现有技术相比，本专利技术具有以下技术效果：
[0030]本专利技术使用多尺度级联的方式来对DR图像进行的分类，一方面利用提取多尺度特征来多保留更多的细节信息，防止信息在传播的过程中出现丢失，另一方面使用级联的方式将底层空间信息和高层语义信息进行融合，实现网络中的信息互补，提高网络的性能。
附图说明
[0031]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0032]图1为本专利技术方法流程图；
[0033]图2为本专利技术多尺度级联网络糖尿病视网膜病变分级模型示意图；
[0034]图3为本专利技术糖尿病视网膜病变眼底图像的小病变示例图；其中，(a)为眼底图像的小病变原始图；(b)为眼底图像的小病变标注图；
[0035]图4为本专利技术聚合模块网络示意图。
具体实施方式
[0036]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度级联的糖尿病视网膜病变分级方法，其特征在于，具体包括以下步骤：S1、将采集带有标签的糖尿病视网膜病变眼底图像作为原始数据集；并将所述原始数据集按照比例划分为训练集和测试集；S2、构建Res2Net网络模型，并设置所述Res2Net网络模型的输入批量大小参数；S3、根据所述输入批量大小参数，将所述训练集输入到所述Res2Net网络模型中进行训练，并采用SGD优化器进行优化，得到训练完成的Res2Net网络模型；S4、将所述测试集输入到所述训练完成的Res2Net网络模型中进行预测，将输出的预测结果与真实标签作比对，得到尺度级联网络糖尿病视网膜病变分级模型；S5、利用所述尺度级联网络糖尿病视网膜病变分级模型对糖尿病视网膜病变进行分级，并利用图像分类度量指标对分级效果进行综合评价。2.根据权利要求1所述的基于多尺度级联的糖尿病视网膜病变分级方法，其特征在于，所述原始数据集采用的是kaggle上的APTOS 2019Blindness Detection公开数据集。3.根据权利要求1所述的基于多尺度级联的糖尿病视网膜病变分级方法，其特征在于，所述原始数据集是按照8：2比例随机抽样组合的方式划分为训练集和测试集。4.根据权利要求1所述的基于多尺度级联的糖尿病视网膜病变分级方法，其特征在于，所述输入批量大小参数为20；所述输入批量大小参数是按照随机抽取方式对所述训练集进行抽取。5.根据权利要求1所述的基于多尺度级联的糖尿病视网膜病变分级方法，其特征在于，所述Res2Net网络模型是采用多尺度训练策略来训练网络，以进行信息互补。6.根据权利要求5所述的基于多尺度级联的糖尿病视网膜病变分级方法，其特征在于，所述多尺度训练策略具体为：步骤1：对所述Res2Net网络进行预训练；步骤2：采用ImageNet对...

【专利技术属性】
技术研发人员：岳广辉，李苑，汪天富，林嘉琪，李洁玉，周天薇，
申请(专利权)人：深圳大学，
类型：发明
国别省市：