一种基于深度学习的DR眼底图像黄斑水肿分级方法技术

本发明专利技术针对提高DR眼底图像黄斑中心定位准确率和硬性渗出物分割精度的问题，提出了一种基于深度学习的DR眼底图像黄斑水肿分级方法。该方法实现过程是：先在Faster R‑CNN网络中设计2种不同大小的锚点框；之后，将黄斑中央凹周围特定区域内的毛细血管加入到标注范围中；然后结合空洞卷积与多级特征融合策略改进得到MD‑ResNet网络并应用于硬性渗出物的分割中；最后通过建立眼底极坐标系并判断硬性渗出物出现在眼底极坐标系中的位置，将DR眼底图像分为正常、轻度黄斑水肿、中度黄斑水肿和重度黄斑水肿四个等级。采用本方法对HEI‑MED、e‑ophtha EX和医院数据集进行测试，结果表明黄斑定位准确率和硬性渗出物分割精度均达到临床要求，最终实现黄斑水肿的准确分级。

【技术实现步骤摘要】
一种基于深度学习的DR眼底图像黄斑水肿分级方法
本专利技术涉及一种基于深度学习的DR眼底图像黄斑水肿分级方法，该方法实现了一种通过深度卷积神经网络定位黄斑中心并分割硬性渗出物的黄斑水肿分级功能。
技术介绍
糖尿病性视网膜病变DiabeticRetinopathy是导致继发性失明最常见的原因之一，因此被认为是所有糖尿病并发症中最危险的因素之一。人眼中第一个可检测的异常是微动脉瘤，它代表视网膜毛细血管的局部扩大。破裂的微动脉瘤可引起出血，血浆内的脂类物质会从血管中流出并沉积在视网膜中形成硬性渗出物HardExudate。如果HE出现在黄斑区附近会严重导致中央视力下降，引起糖尿病性黄斑水肿，这种病症是导致视力损伤的主要原因。由于黄斑水肿可能在没有任何外部症状的情况下出现，所以尽早发现黄斑水肿至关重要。通过DR眼底图像分析的方法是目前国际上评估黄斑水肿的标准方法。近年来涌现出许多黄斑水肿自动分级方法，这些方法主要的不同之处在于黄斑中心定位和HE分割的方法不同。虽然数字图像处理技术已在DR眼底图像领域中取得突破进展，但面对像黄斑和HE这种受颜色、形态、病变干扰严重的结构，传统医学图像处理方法的准确性和稳定性都难以得到保障，这对于临床医学诊断来说也是一大挑战，而黄斑中心定位和HE分割的准确率将直接决定黄斑水肿分级的准确率，因此基于这两项任务的DR眼底图像黄斑水肿分级仍是急需解决的难题。深度学习技术近几年得到了研究者们广泛关注，特别是在医学图像研究领域取得了显著成就，为医疗诊断提供了极大的帮助。深度学习通过神经网络去学习图像中最具描述性、最突出的特征，无需手动决定采用哪种传统机器视觉技术来描述特征。这样不但可以节省人工寻找特征的时间，而且网络能够找到更多人为发现不了的特征，因此可以适应复杂的图像背景，得到准确的识别效果。综合以上因素，本专利技术提出一种基于深度学习的黄斑中心定位和HE分割方法，进而可对DR眼底图像进行黄斑水肿分级。
技术实现思路
本专利技术提出一种基于深度学习的DR眼底图像黄斑水肿分级方法，根据黄斑大小在FasterR-CNN网络中设计2种大小的锚点框以得到适合于黄斑的目标参照框，并采用MD-ResNet网络对HE进行分割，最后可将DR眼底图像分为正常、轻度黄斑水肿、中度黄斑水肿和重度黄斑水肿四个等级。本专利技术的技术方案，包括下列步骤：步骤1：改进FasterR-CNN网络，在该网络中设计2种不同大小的锚点框以得到适合于黄斑的目标参照框；步骤2：在训练样本数据中加入黄斑中央凹周围特定区域内的毛细血管，与黄斑中央凹一起作为整个黄斑的真实样本；步骤3：在ResNet基础上结合空洞卷积和多级特征融合策略得到MD-ResNet网络，将其应用于HE的分割；步骤4：通过建立眼底极坐标系对DR眼底图像进行黄斑水肿分级。与现有技术相比，本专利技术的有益效果是：本专利技术能够在黄斑被病变遮挡过多的情况下，准确定位黄斑中心，且能对大小差异明显、形状和亮度均有变化的HE进行准确分割。本专利技术避免了复杂的图像预处理过程，整体提升糖尿病视网膜病变的检测准确率，并缩短了检测时间。附图说明图1：总体框图；图2：黄斑中央凹周围血管走向图；图3：改进型FasterR-CNN网络结构；图4：MD-ResNet网络结构；图5：眼底极坐标系。具体实施方式下面结合具体实施方式对本专利技术作进一步详细地描述。本专利技术的总体流程如图1所示，首先，对黄斑中心进行定位，主要步骤包括数据集的准备、改进FasterR-CNN以及计算黄斑中心的坐标；同时，针对HE的分割，先准备HE数据集，然后引进空洞卷积与多级特征融合改进得到MD-ResNet；最后基于前两项的测试结果进行黄斑水肿分级。下面结合附图，对本专利技术技术方案的具体实施过程加以说明。1.黄斑中心定位1.1准备数据集由于黄斑数据集中的图像大小不一，为方便制作网络训练样本，首先统一对数据集图像进行尺寸归一化处理。然后，对裁剪后的图像按照原图比例做相应的缩放处理以便后续适应网络输入的大小。由于原图大小和黄斑的整体目标偏大，所以缩放后的图像仍然很清晰，不会影响后续训练过程中网络对黄斑特征的识别。黄斑多位于视网膜中央，在黄斑区中间有一凹陷处称为黄斑中央凹，直径约为一个视盘直径ODD。黄斑中央凹在眼底图像中近似圆形且边缘不清晰，尤其对于黄斑区存在病变的DR眼底图像来说，黄斑中央凹的边缘肉眼几乎辨别不出。此外，有些DR眼底图像中不仅存在着基本的组织结构，还存在着许多病变结构，其外观、颜色与黄斑中央凹非常相似，其中以大块状出血点最为相似，这都会对黄斑中心定位产生影响。然而，黄斑中央凹独有的特点是：它所在的区域为中央无血管区，四周被毛细血管弓包绕，这一特点可以从OCT模拟图和彩色眼底图像中清晰可见，如图2所示。因此，为减小DR眼底图像中类似于出血点这样的干扰物对黄斑中心定位产生的影响，本方法将以黄斑中心为基点，2ODD范围内的黄斑中央凹作为数据样本，此样本加入了中央凹周围特定区域的毛细血管。1.2改进型FasterR-CNN改进型FasterR-CNN的网络结构如图3所示，其中红色选区为改动部分。FasterR-CNN主要由两个模块组成：一是FasterR-CNN的前身FastR-CNN网络，二是提取建议窗口的RPN网络。在FasterR-CNN中，RPN会为特征图上的每一个位置提供9种锚点框，它们是一组分别对应三种大小128、256和512以及三种长宽比1∶1、1∶2和2∶1的矩形框。但是这9种锚点框是针对原始VOC数据集中的目标大小设定的，对于眼底数据集来说，有些大小的锚点框可能会对检测结果造成偏差，甚至多余的锚点框会影响检测速度，所以本专利技术对锚点框进行了重新设定：将原来的三种大小和三种长宽比改为两种大小80和160以及一种长宽比1∶1共2种锚点框，从而适合于黄斑中心定位的任务。改进型FasterR-CNN最终有两个同级输出的全连接层即边框分类层和边框回归层，统称为多任务输出层。边框分类层使用评估分类损失函数，由真实分类u对应的概率决定：Lcls(p，u)＝-logpu其中p为每个ROI输出的概率，通常它由两类全连接层利用Softmax函数计算得出。边框回归层使用评估检测框定位的损失函数，用来比较真实分类所对应的预测平移缩放参数和真正平移缩放参数v＝(vx，vy，vw，vh)之间的差别，计算如下：其中，SmoothL1损失函数为：最后，总损失和为：其中μ＝1。于是遵循多任务损失的定义，改进型FasterR-CNN中对一幅图像的损失函数可定义为：其中pi为锚点框预测为目标的概率，前景为1，背景为0；ti＝(tx，ty，tw，th)是一个向量，表示预测的锚点框的四个参数化坐标；是与正样本对应的真实目标区域框的坐标向量；为目标与非目标之间的对数损失：是回归损失，这项意味着只有正样本才有回归损失，其他情况则没有。2.HE分割首先，根据HE在DR眼底图像中具有明显的类内差异和类间相似性问题，设计了一种结合空洞卷积与多级特征融合的MD-ResNet网络分割HE。MD-ResNet网络结构如图4所示，主要使用ResNet作为HE分割网络的主体结构，再结合下采样模块、空洞卷积残差模块和多级特征融合模块。2.1ResNet结构ResNet主要由一系本文档来自技高网...

【技术保护点】
1.一种基于深度学习的DR眼底图像黄斑水肿分级方法，所述方法包括下列步骤：步骤1：改进Faster R‑CNN网络，在该网络中设计2种不同大小的锚点框以得到适合于黄斑的目标参照框；步骤2：在训练样本数据中加入黄斑中央凹周围特定区域内的毛细血管，与黄斑中央凹一起作为整个黄斑的真实样本；步骤3：在ResNet基础上结合空洞卷积和多级特征融合策略得到MD‑ResNet网络，将其应用于硬性渗出物的分割；步骤4：通过建立眼底极坐标系对DR眼底图像进行黄斑水肿分级。

【技术特征摘要】
1.一种基于深度学习的DR眼底图像黄斑水肿分级方法，所述方法包括下列步骤：步骤1：改进FasterR-CNN网络，在该网络中设计2种不同大小的锚点框以得到适合于黄斑的目标参照框；步骤2：在训练样本数据中加入黄斑中央凹周围特定区域内的毛细血管，与黄斑中央凹一起作为整个黄斑的真实样本；步骤3：在ResNet基础上结合空洞卷积和多级特征融合策略得到MD-ResNet网络，将其应用于硬性渗出物的分割；步骤4：通过建立眼底极坐标系对DR眼底图像进行黄斑水肿分级。2.根据权利要求1所述的一种基于深度学习的DR眼底图像黄斑水肿分级方法，其特征在于，步骤1中，针对黄斑中心定位现存在的问题，提出一种适用于黄斑检测的改进型FasterR-CNN网络，通过对不同数据集中标注的黄斑大小进行统计然后重新设定适合于黄斑尺寸的锚点框。3.根据权利要求1所述的一种基于深度学习的DR眼底图像黄斑水肿分级方法，其特征在于，步骤2中，制作黄斑训练样本数据时，加入黄斑中央凹周围特...

【专利技术属性】
技术研发人员：吴骏，李迪，刘梦佳，肖志涛，张芳，耿磊，刘彦北，王雯，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津,12