基于深度学习的眼底荧光造影图像无灌注区自动分割方法技术

本发明专利技术公开了一种基于深度学习的眼底荧光造影图像无灌注区自动分割方法。本发明专利技术针对医生手动分割标注的无灌注区眼底造影图像眼底造影图像对构建的卷积神经网络进行训练，使卷积神经网络的最终输出值符合医生标注的结果，从而可以利用训练好的卷积神经网络对糖尿病视网膜病变进行自动分割识别眼底无灌注区。本发明专利技术的方法通过具备无灌注区位置标记的眼底造影图像，采用深度学习实现自动从训练范例眼底造影图像库中学习所需特征并进行语义分割。在训练过程中不断优化卷积神经网络的参数，提取数据特征，从而辅助临床运用中的对糖尿病视网膜病变进行眼底激光治疗时，识别需要治疗的无灌注区，精准地辅助眼底激光。

Automatic segmentation of non-perfusion area in fundus fluorescein angiography image based on depth learning

【技术实现步骤摘要】
基于深度学习的眼底荧光造影图像无灌注区自动分割方法
本专利技术属于图像处理技术邻域，具体涉及一种基于深度学习的眼底荧光造影图像无灌注区自动分割方法。
技术介绍
糖尿病视网膜病变(DR)是胰岛素代谢异常，引起眼组织、神经及血管微循环改变，造成眼的营养和视功能的损坏，是最常见的糖尿病并发症。目前全世界有超过6千万DR患者，患病初期并无明显异常症状，但最终会导致视力丧失，已经成为四大致盲眼病之一。因此，DR的早发现、早治疗非常重要，与患者预后的视力密切相关。眼底激光是目前DR最重要的治疗手段。但目前在眼底激光治疗时，需要有经验的眼底病医生参照眼底荧光造影(FFA)来定位病灶和设定激光的能量，实时精准地识别多处需要治疗的DR眼底病灶存在一定困难，无法使用FFA图像上无灌注区精确辅助眼底激光。DR的计算机辅助诊断(CADx)系统大大减轻了医生的阅片压力、提高了工作效率，最重要的是可以减小医生诊断时个人主观因素的影响，提高临床诊断的准确性。目前DR的CADx系统还无法智能识别需要激光治疗的病灶，还未能将辅助诊断与治疗紧密结合，尚有很大的提升空间。要实现智能识别需要眼底激光治疗的DR病灶，必须由眼科医生精准标注FFA图像中需要治疗的无灌注区，然后通过构建卷积神经网络(CNN)对标注的FFA图像进行训练和学习。构建基于FFA图像深度学习的无灌注区识别系统，精准地识别需要激光治疗的DR病灶，是实现DR智能眼底激光导航系统的关键技术，在DR诊疗中具有迫切的临床需求。
技术实现思路
为了解决
技术介绍
中的问题，本专利技术提供了一种基于深度学习的眼底荧光造影图像无灌注区自动分割方法，该方法能够充分利用FFA图像中的信息，从而实现语义分割识别DR的无灌注区。本专利技术采用的技术方案如下：本专利技术包括以下步骤：步骤1：收集和分割标注眼底荧光造影图像，将眼底荧光造影图像标记为含无灌注区、不含无灌注区和含激光斑三类图像，将含无灌注区图像放入数据集中；步骤2：将步骤1数据集中的含无灌注区图像进行预处理，由经过预处理的含无灌注区图像构成训练数据库的数据；所述预处理为对含无灌注区图像依次进行图像去噪平滑、图像对比度增强、图像降采样和像素归一化处理；步骤3：对步骤2中的训练数据库数据进行扩增后得到扩增后的训练数据集，扩增方法采用图像翻转和随机加入高斯噪声的方法；步骤4：对扩增后训练数据集中的含无灌注区图像进行无灌注区轮廓线标注，使用水漫填充将标注轮廓线后的含无灌注区图像转换为二值分割图像；步骤5：构建卷积神经网络；步骤6：采用步骤4处理后的训练数据集训练步骤5的卷积神经网络，训练时按照设定的学习率调整卷积神经网络的参数，从而得到多次训练后的用于无灌注区语义分割的卷积神经网络；步骤7：将待分割图像输入步骤6中训练后的卷积神经网络，卷积神经网络中最后一层的输出值经过softmax函数计算得到待分割图像中每个像素点的分类概率，进而实现待分割图像灌注区的语义分割。所述步骤1中，眼底荧光造影图像主要由含激光斑和不含激光斑两类图像组成，其中含激光斑的图像分为含无灌注区图像和不含无灌注区图像。所述步骤5的卷积神经网络构建过程如下：卷积神经网络主要由输入层、四个上采样模块、四个下采样模块、输出卷积模块、输出卷积层以数据传递顺序依次连接组成，输入层输入第一个上采样模块，四个上采样模块依次连接，第四个上采样模块输入第一个下采样模块，四个下采样模块依次连接，第四个下采样模块经输出卷积模块输出连接至输出卷积层；上采样模块包括两个卷积模块和最大池化层，两个卷积模块依次相连输出至最大池化层；下采样模块包括两个卷积模块和下采样层，两个卷积模块依次相连输出至下采样层；其中，第一个上采样模块的第二个卷积模块与第四个下采样模块的第二个卷积模块之间融合有注意机制，第二个上采样模块的第二个卷积模块与第三个下采样模块的第二个卷积模块之间融合有注意机制，第三个上采样模块的第二个卷积模块与第二个下采样模块的第二个卷积模块之间融合有注意机制，第四个上采样模块的第二个卷积模块与第一个下采样模块的第二个卷积模块之间融合有注意机制；每个所述的注意机制包括依次连接的输入层、整流线性单元层、1*1卷积层、Sigmoid函数分类层和重采样层，输入层由两个1*1卷积层组成，输入层的两个1*1卷积层的输入分别为对应的上采样模块中第二个卷积模块的输出与对应的下采样模块中第二个卷积模块的输出，输入层的两个1*1卷积层相加后经ReLU激活函数层输出至一维卷积层，一维卷积层经Sigmoid激活函数层输出至重采样层，重采样层的输出与对应的下采样模块中第二个卷积模块的输出相乘作为注意机制的输出，每个注意机制的输出与对应的下采样模块中下采样层的输出拼接后作为对应的下采样模块的输出。所述的卷积模块和输出卷积模块均由卷积层、批次归一化层和整流线性单元层依次连接组成。所述步骤5训练时设定的学习率为0.1，训练轮次为500轮，学习率分别在250轮和400轮处衰减，衰减率为0.1；每次训练的学习率小于或等于前一次训练的学习率。本专利技术的有益效果本专利技术可以运用于数据量相对较小的数据库，数据扩增后，通过深度学习实现自动从训练数据库中学习所需特征并进行分类判别，在训练过程中不断纠正用于判断的数据特征以及调整卷积神经网络参数，从而提高临床运用中的敏感性和特异性，随着训练范例FFA图像的数量递增，语义分割的准确性和可靠性还将进一步提高。附图说明图1是本专利技术的全卷积神经网络模型结构。图2是本专利技术的注意机制。具体实施方式：下面结合附图和实施例对本专利技术做进一步说明。本专利技术语义分割方法的核心在于：针对包含医生分割标注的含无灌注区FFA图像，建立多层卷积神经网络，基于FFA图像对卷积神经网络的训练，使卷积神经网络的最终输出语义分割结果符合医生标注的结果，从而可以利用训练好的卷积神经网络对无灌注区进行自动分割识别。具体实施例：基于深度学习的DR无灌注区智能识别方法包括以下步骤：步骤1：采集和分割标注眼底荧光造影图像采集的FFA图像来自浙江大学医学院附属第二医院眼科中心，采集的FFA图像来自浙江大学医学院附属第二医院眼科中心，在2016年8月至2018年9月的25个月内，来自67位患者的74眼，年龄在28岁到84岁，通过海德堡共焦眼底血管造影仪(Heidelbergretinaangiograph,HRA)实施眼底荧光素血管造影(fundusfluoreseeinangiography,FFA)。由两位眼科医生进行拍摄，眼底图像分辨率为768×768像素。拍摄眼底造影前，使用散瞳剂和荧光素钠造影剂，有严重的屈光介质问题不能拍摄到眼底图像，则将患者排除在本研究之外。无灌注区由五位经验丰富的眼科医生，依据糖尿病视网膜病变临床指南(DiabeticRetinopathyPPP-updated2016)的指南来标注。对专家诊断小组采用盲法，他们无法获得深度学习预测的数据。步骤2：对含无灌注区图像进行预处理：将步骤1数据集中的含无灌注区图像进行依次进行图像去噪平滑、图像对比度增强、图像降采样和像素归一化的预处理，由经过预处理的含无灌注区图像构成训练数据库的数据。步骤3：采用翻转和随机加入高斯噪声的方法对对步骤2中的训练数据库数据进行扩增。步骤4：对扩增后训练数据集中的本文档来自技高网...

【技术保护点】
1.基于深度学习的眼底荧光造影图像无灌注区自动分割方法，其特征在于，包括以下步骤：步骤1：收集和分割标注眼底荧光造影图像，将眼底荧光造影图像标记为含无灌注区、不含无灌注区和含激光斑三类图像，将含无灌注区图像放入数据集中；步骤2：将步骤1数据集中的含无灌注区图像进行预处理，由经过预处理的含无灌注区图像构成训练数据库的数据；所述预处理为对含无灌注区图像依次进行图像去噪平滑、图像对比度增强、图像降采样和像素归一化处理；步骤3：对步骤2中的训练数据库数据进行扩增后得到扩增后的训练数据集，扩增方法采用图像翻转和随机加入高斯噪声的方法；步骤4：对扩增后训练数据集中的含无灌注区图像进行无灌注区轮廓线标注，使用水漫填充将标注轮廓线后的含无灌注区图像转换为二值分割图像；步骤5：构建卷积神经网络；步骤6：采用步骤4处理后的训练数据集训练步骤5的卷积神经网络，训练时按照设定的学习率调整卷积神经网络的参数，从而得到多次训练后的用于无灌注区语义分割的卷积神经网络；步骤7：将待分割图像输入步骤6中训练后的卷积神经网络，卷积神经网络中最后一层的输出值经过softmax函数计算得到待分割图像中每个像素点的分类概率，进而实现待分割图像灌注区的语义分割。...

【技术特征摘要】
1.基于深度学习的眼底荧光造影图像无灌注区自动分割方法，其特征在于，包括以下步骤：步骤1：收集和分割标注眼底荧光造影图像，将眼底荧光造影图像标记为含无灌注区、不含无灌注区和含激光斑三类图像，将含无灌注区图像放入数据集中；步骤2：将步骤1数据集中的含无灌注区图像进行预处理，由经过预处理的含无灌注区图像构成训练数据库的数据；所述预处理为对含无灌注区图像依次进行图像去噪平滑、图像对比度增强、图像降采样和像素归一化处理；步骤3：对步骤2中的训练数据库数据进行扩增后得到扩增后的训练数据集，扩增方法采用图像翻转和随机加入高斯噪声的方法；步骤4：对扩增后训练数据集中的含无灌注区图像进行无灌注区轮廓线标注，使用水漫填充将标注轮廓线后的含无灌注区图像转换为二值分割图像；步骤5：构建卷积神经网络；步骤6：采用步骤4处理后的训练数据集训练步骤5的卷积神经网络，训练时按照设定的学习率调整卷积神经网络的参数，从而得到多次训练后的用于无灌注区语义分割的卷积神经网络；步骤7：将待分割图像输入步骤6中训练后的卷积神经网络，卷积神经网络中最后一层的输出值经过softmax函数计算得到待分割图像中每个像素点的分类概率，进而实现待分割图像灌注区的语义分割。2.根据权利要求1所述的一种基于深度学习的眼底荧光造影图像无灌注区自动分割方法，其特征在于，所述步骤1中，眼底荧光造影图像主要由含激光斑和不含激光斑两类图像组成，其中含激光斑的图像分为含无灌注区图像和不含无灌注区图像。3.根据权利要求1所述的一种基于深度学习的眼底荧光造影图像无灌注区自动分割方法，其特征在于，所述步骤5的卷积神经网络构建过程如下：卷积神经网络主要由输入层、四个上采样模块、四个下采样模块、输出卷积模块、输出卷积层以数据传递顺序依次连接组成，输入层输入第一个上采样模块，四个上采样模块依次连接，第四个上采样模块...

【专利技术属性】
技术研发人员：叶娟，吴健，金凯，尤堃，潘相吉，陆逸飞，刘志芳，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33