基于眼底造影图像深度学习的糖网病变无灌注区识别方法技术

本发明专利技术公开了一种基于眼底造影图像深度学习的糖网病变无灌注区识别方法。本发明专利技术针对医生标注的含无灌注区、不含无灌注区和含激光斑三类眼底造影图像，建立多层卷积神经网络，基于眼底造影图像对卷积神经网络的训练，使卷积神经网络的最终输出值符合医生标注的结果，从而可以利用训练好的卷积神经网络对糖尿病视网膜病变进行自动检测识别眼底无灌注区。本发明专利技术通过训练诊断标记的眼底造影图像，采用深度学习实现自动从训练范例眼底造影图像库中学习所需特征并进行分类判别，在训练过程中不断优化用于判断的数据特征以及卷积神经网络的参数，从而能够大幅提高临床运用中的糖尿病视网膜病变无灌注区智能识别的敏感性和特异性，精准地辅助眼底激光。

Recognition of non-perfusion area of sugar reticulum lesions based on depth learning of fundus angiography images

The invention discloses a method for identifying non-perfusion area of sugar reticulum lesions based on depth learning of fundus angiographic images. The present invention aims at three types of fundus angiographic images labeled by doctors, including no perfusion area, no perfusion area and laser spot, establishes a multi-layer convolution neural network, and trains the convolution neural network based on fundus angiographic image, so that the final output value of the convolution neural network conforms to the result of the doctor's labeling, thus the trained convolution neural network can be used for diabetic retinopathy. Automatic detection and identification of non-perfusion area of fundus. The method realizes automatic learning and classification of the required features from the training example fundus angiography image database by training diagnostic markers, optimizes the data features used for judgment and parameters of convolution neural network in the training process, thereby greatly improving the intelligence of the non-perfusion area of diabetic retinopathy in clinical application. Special sensitivity and specificity, precisely assisted fundus laser.

【技术实现步骤摘要】
基于眼底造影图像深度学习的糖网病变无灌注区识别方法
本专利技术属于图像识别技术邻域，具体涉及一种基于眼底造影图像深度学习的糖网病变无灌注区识别方法。
技术介绍
糖尿病视网膜病变(DR)是最常见的糖尿病并发症，目前全世界有超过6千万DR患者，患病初期并无明显异常症状，但最终会导致视力丧失，已经成为四大致盲眼病之一。DR若发现于早期，尚属可治盲；若待到晚期才发现，即使手术成功，视力预后也很差，且治疗费用高昂，已属难治盲。因此，DR的早发现、早治疗非常重要。眼底激光光凝是DR的重要治疗手段之一，但目前在眼底激光治疗时，需要有经验的眼底病医生参照眼底荧光造影(FFA)来定位病灶和设定激光的能量，实时精准地识别眼底无灌注区存在一定困难，无法使用FFA图像上无灌注区精确辅助眼底激光。眼底激光光凝的准确性非常重要，与DR治疗的预后密切相关，特别是在黄斑区域和视网膜血管性疾病的无灌注区。只有根据FFA图像上有无大面积无灌注区，才能判断视网膜有无缺血。传统的计算机辅助诊断，通过机器学习医生对病灶的分割标注，应用于眼底图像中DR渗出和出血病灶的识别已有系列研究成果，但诊断的准确性依赖于医生的经验，对于大数据的标注需要耗费医生大量时间和精力。深度学习技术能直接从图像中学习到最具预测性的特征，对数据进行分类，而不是由医生来指定特征。随着大数据和精准医学时代的到来，基于深度学习能够准确地识别大样本FFA图像中的无灌注区，是通过眼底激光光凝精准治疗DR的前提条件。
技术实现思路
为了解决
技术介绍
中的问题，本专利技术提供了一种基于FFA图像深度学习的糖尿病视网膜病变无灌注区智能识别方法，该方法能够充分利用FFA图像中的信息，从而提高识别糖尿病视网膜病变的无灌注区准确性。本专利技术采用的技术方案如下：本专利技术包括以下步骤：步骤1：收集和标注眼底造影图像，将眼底造影图像标记为含无灌注区、不含无灌注区和含激光斑三类图像。步骤2：将标记为含无灌注区、不含无灌注区和含激光斑的眼底造影图像进行预处理后得到训练范例眼底造影图像，由训练范例眼底造影图像构成训练数据库的数据；所述预处理为对眼底造影图像依次进行图像去噪平滑、图像对比度增强和像素归一化处理。步骤3：扩增所述步骤2中的训练数据库数据：采用图像翻转和随机加入高斯噪声的方法对训练数据库数据进行扩增，得到扩增后的训练数据库。步骤4：建立卷积神经网络，具体步骤如下：步骤4.1：建立一个包括一个卷积层、四个稠密块，三个过渡块，一个全局均值池化层和一个全连接层的卷积神经网络。步骤4.2：卷积神经网络具体主要由输入层、输入卷积层、四个稠密块，三个过渡块、全局均值池化层、全连接层和输出层依次连接构成，四个稠密块依次连接，且相邻两个稠密块之间连接有一个过渡块，输入层经输入卷积层与第一个稠密块相连，第四个稠密块经全局均值池化层与全连接层相连，全连接层输出连接至输出层；每个稠密块主要由依次相连的十六个结构相同的稠密层组成，每个稠密层的输入为同稠密块内该稠密层之前所有稠密层的输入拼接总和；每个稠密层依次由批次归一化层、修正线性单元层、1*1二维卷积层、批次归一化层、修正线性单元层、3*3二维卷积层和抛弃层组成；每个稠密层包含两个尺寸增加且通道数减少的卷积层；每个过渡块依次由批次归一化层、修正线性单元层、1*1二维卷积层和均值池化层组成；均值池化层(AveragePooling)对第四个稠密块的输出在固定大小的滑动窗口中取平均值再输出，提取关键特征并对其进行降维处理；全局均值池化(GlobalAveragePooling)将最后一个稠密块输出的特征图尺寸减少至1*1的处理，从而将特征压缩为一维向量并输入全连接层。步骤5：采用所述步骤3中的训练数据库的数据多次训练所述步骤4的卷积神经网络，训练时使用交叉熵函数作为模型损失函数，使用随机梯度下降算法作为优化算法，按照设定的学习率调整卷积神经网络的参数，从而得到识别无灌注区的多次训练后的卷积神经网络。步骤6：将待识别的眼底造影图像输入步骤5中训练后的卷积神经网络，全连接层通过回归的方式将全局均值池化层的输出转化为三维向量，并经过softmax函数计算含无灌注区、不含无灌注区和含激光斑三类的置信度，对待识别的眼底造影图像是否为无灌注区图像进行判别。所述步骤1中，眼底造影图像主要由含激光斑和不含激光斑两类图像组成，其中不含激光斑的图像分为含无灌注区的图像和不含无灌注区的图像。所述步骤4.2中每个稠密层的两个卷积层使用尺寸依次为1*1、通道数为48的卷积核及尺寸为3*3、通道数为12的卷积核。所述步骤3的扩增后的训练数据库数据中，含灌注区、不含无灌注区和含激光斑三类图像的数量比例平均。所述步骤5中设定的学习率为0.1，训练轮次为500轮，并在250轮、400轮时减半学习率；每次训练的学习率小于或等于前一次训练的学习率。本专利技术的有益效果：本专利技术可以运用于数据量相对较小的数据库，数据扩增后，通过深度学习实现自动从训练数据库中学习所需特征并进行分类判别，在训练过程中不断纠正用于判断的数据特征以及调整卷积神经网络参数，从而提高临床运用中的敏感性和特异性，随着训练范例FFA图像的数量递增，分类的准确性和可靠性还将进一步提高。附图说明图1是本专利技术的无灌注区智能识别算法流程图。图2是本专利技术的FFA图像预处理步骤。图3是本专利技术的卷积神经网络模型结构。图4是本专利技术的稠密块结构示意图，(a)为稠密块结构图，(b)为稠密层结构图。图5是本专利技术的过渡块结构示意图。具体实施方式：下面结合附图和实施例对本专利技术做进一步说明。本专利技术无灌注区智能识别算法流程如图1所示，该分类方法的核心在于：针对医生标注的含无灌注区，不含无灌注区和含激光斑三类FFA(眼底荧光造影)图像，建立多层卷积神经网络，基于FFA图像对卷积神经网络的训练，使卷积神经网络的最终输出值符合医生标注的结果，从而可以利用训练好的卷积神经网络对无灌注区进行自动识别。具体实施例：本专利技术基于眼底造影图像深度学习的糖网病变无灌注区识别方法包括以下步骤：步骤1：采集和标注FFA图像采集的FFA图像来自浙江大学医学院附属第二医院眼科中心，在2016年8月至2018年9月的25个月内，来自67位患者的74眼，年龄在28岁到84岁，通过海德堡共焦眼底血管造影仪(Heidelbergretinaangiograph,HRA)实施眼底荧光素血管造影(fundusfluoreseeinangiography,FFA)。由两位眼科医生进行拍摄，眼底图像分辨率为768×768像素。拍摄眼底造影前，使用散瞳剂和荧光素钠造影剂，有严重的屈光介质问题不能拍摄到眼底图像，则将患者排除在本研究之外。无灌注区由五位经验丰富的眼科医生，依据糖尿病视网膜病变临床指南(DiabeticRetinopathyPPP-updated2016)的指南来标注。对专家诊断小组采用盲法，他们无法获得深度学习预测的数据。步骤2：如图2所示，对步骤1的FFA图像进行预处理首先使用函数核大小为3*3的高斯滤波器对图像进行降噪，然后使用直方图均衡增强图像对比度，最后增加随机高斯噪声并随机翻转图像，抑制模型过拟合。从而得到训练范例FFA图像，由训练范例FFA图像构成训练数据库的数据。步骤3：对训练数据库进行扩增采用本文档来自技高网...

【技术保护点】
1.一种基于眼底造影图像深度学习的糖网病变无灌注区识别方法，其特征在于，包括以下步骤：步骤1：收集和标注眼底造影图像，将眼底造影图像标记为含无灌注区、不含无灌注区和含激光斑三类图像；步骤2：将标记为含无灌注区、不含无灌注区和含激光斑的眼底造影图像进行预处理后得到训练范例眼底造影图像，由训练范例眼底造影图像构成训练数据库的数据；所述预处理为对眼底造影图像依次进行图像去噪平滑、图像对比度增强和像素归一化处理；步骤3：扩增所述步骤2中的训练数据库数据：采用图像翻转和随机加入高斯噪声的方法对训练数据库数据进行扩增，得到扩增后的训练数据库；步骤4：建立卷积神经网络，具体步骤如下：步骤4.1：建立一个包括一个卷积层、四个稠密块，三个过渡块，一个全局均值池化层和一个全连接层的卷积神经网络；步骤4.2：卷积神经网络具体主要由输入层、输入卷积层、四个稠密块，三个过渡块、全局均值池化层、全连接层和输出层依次连接构成，四个稠密块依次连接，且相邻两个稠密块之间连接有一个过渡块，输入层经输入卷积层与第一个稠密块相连，第四个稠密块经全局均值池化层与全连接层相连，全连接层输出连接至输出层；每个稠密块主要由依次相连的十六个结构相同的稠密层组成，每个稠密层的输入为同稠密块内该稠密层之前所有稠密层的输入拼接总和；每个稠密层依次由批次归一化层、修正线性单元层、1*1二维卷积层、批次归一化层、修正线性单元层、3*3二维卷积层和抛弃层组成；每个稠密层包含两个尺寸增加且通道数减少的卷积层；全局均值池化将最后一个稠密块输出的特征图尺寸减少至1*1的处理，从而将特征压缩为一维向量并输入全连接层；每个过渡块依次由批次归一化层、修正线性单元层、1*1二维卷积层和均值池化层组成；均值池化层对第四个稠密块的输出在固定大小的滑动窗口中取平均值再输出，提取关键特征并对其进行降维处理；步骤5：采用所述步骤3中的训练数据库的数据多次训练所述步骤4的卷积神经网络，训练时使用交叉熵函数作为模型损失函数，使用随机梯度下降算法作为优化算法，按照设定的学习率调整卷积神经网络的参数，从而得到识别无灌注区的多次训练后的卷积神经网络；步骤6：将待识别的眼底造影图像输入步骤5中训练后的卷积神经网络，全连接层通过回归的方式将全局均值池化层的输出转化为三维向量，并经过softmax函数计算含无灌注区、不含无灌注区和含激光斑三类的置信度，对待识别的眼底造影图像是否为无灌注区图像进行判别。...

【技术特征摘要】
1.一种基于眼底造影图像深度学习的糖网病变无灌注区识别方法，其特征在于，包括以下步骤：步骤1：收集和标注眼底造影图像，将眼底造影图像标记为含无灌注区、不含无灌注区和含激光斑三类图像；步骤2：将标记为含无灌注区、不含无灌注区和含激光斑的眼底造影图像进行预处理后得到训练范例眼底造影图像，由训练范例眼底造影图像构成训练数据库的数据；所述预处理为对眼底造影图像依次进行图像去噪平滑、图像对比度增强和像素归一化处理；步骤3：扩增所述步骤2中的训练数据库数据：采用图像翻转和随机加入高斯噪声的方法对训练数据库数据进行扩增，得到扩增后的训练数据库；步骤4：建立卷积神经网络，具体步骤如下：步骤4.1：建立一个包括一个卷积层、四个稠密块，三个过渡块，一个全局均值池化层和一个全连接层的卷积神经网络；步骤4.2：卷积神经网络具体主要由输入层、输入卷积层、四个稠密块，三个过渡块、全局均值池化层、全连接层和输出层依次连接构成，四个稠密块依次连接，且相邻两个稠密块之间连接有一个过渡块，输入层经输入卷积层与第一个稠密块相连，第四个稠密块经全局均值池化层与全连接层相连，全连接层输出连接至输出层；每个稠密块主要由依次相连的十六个结构相同的稠密层组成，每个稠密层的输入为同稠密块内该稠密层之前所有稠密层的输入拼接总和；每个稠密层依次由批次归一化层、修正线性单元层、1*1二维卷积层、批次归一化层、修正线性单元层、3*3二维卷积层和抛弃层组成；每个稠密层包含两个尺寸增加且通道数减少的卷积层；全局均值池化将最后一个稠密块输出的特征图尺寸减少至1*1的处理，从而将特征压缩为一维向量并输入全连接层；每个过渡块依次由批次归一化层、修正线性单元层、1*1二维卷积层和均值池...

【专利技术属性】
技术研发人员：叶娟，吴健，金凯，陆逸飞，尤堃，刘志芳，潘相吉，徐宇峰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33