基于深度学习的眼底荧光造影图像渗漏点检测方法技术

本发明专利技术公开了一种基于深度学习的眼底荧光造影图像渗漏点检测方法。采集眼底荧光造影图像，构建数据集并预处理，进行盘区域和渗漏点轮廓线标注，使用水漫填充法二值转换；对二值分割图像进行遍历处理，分割成子图，组成特征集；构建两个U型神经网络；采用特征集和渗漏点轮廓线输入第一U型神经网络训练；采用原始图像和视盘区域、黄斑区域输入第二U型神经网络训练；针对待测的眼底荧光造影图像处理预测，取分类概率大于预设渗漏阈值的像素点组成作为渗漏点，并输出视盘区域和黄斑区域；时序前后造影图配准，判断假渗漏点剔除。本发明专利技术使用深度卷积神经网络对渗漏点进行语义分割，排除错误的渗漏点，具有更高的准确率和可靠度。

【技术实现步骤摘要】
基于深度学习的眼底荧光造影图像渗漏点检测方法
本专利技术属于医学图像处理和深度学习
的一种眼底图像处理方法，具体涉及了一种基于深度学习的眼底荧光造影图像渗漏点检测方法。
技术介绍
眼底荧光造影(FFA)图像是不可缺少的影像学工具。根据FFA结果判读渗漏点分布，手动匹配眼底相应位置，从而通过激光封闭渗漏点。但人眼观察准确判读眼底的渗漏位点并非易事。另一方面，手动配准激光费时费力，易受影响。眼底荧光造影检查具有时序性，判读时往往通过前后对比确定，尤其针对眼底的“墨渍样”或“烟囱状”典型渗漏点，人眼单独对静态FFA图像进行观察判断，很可能导致误判、误读。现有眼底造影图像的渗漏点检测方法仅针对于单张造影图进行渗漏点识别，未进行时序前后的多幅造影图的对比，忽略了眼底造影图像的时序性在渗漏点识别中的作用。时序前后的多幅造影图的视野并不相同，前后对比的实现依赖于造影图的配准。
技术实现思路
为解决现有技术的上述不足，本专利技术提出了一种基于深度学习的眼底荧光造影图像渗漏点检测方法，目的是在识别静态造影图像渗漏点的基础上，充分利用FFA造影图像的时序信息，排除假的渗漏点，从而达到渗漏点的准确检测，为眼底激光导航系统的实现打下关键的技术基础。本专利技术是通过以下技术方案实现的，包括如下步骤：步骤1：采集含有“墨渍样”或“烟囱状”典型渗漏点的眼底荧光造影图像报告，眼底荧光造影图像报告包括时序前后的多幅荧光造影图像，将荧光造影图像(FFA)标记为含渗漏点和不含渗漏点两类，仅将含渗漏点的图像作为数据集；步骤2：将数据集中含渗漏点的图像进行预处理，步骤3：对步骤2预处理后的数据集图像分别进行视盘区域、黄斑区域、渗漏点轮廓线标注，使用水漫填充法分别将标注视盘区域、黄斑区域、渗漏点轮廓线后的图像转换为二值分割图像；步骤4：用256*256像素单位的滑动窗以128像素单位的步幅对步骤3获得的渗漏点轮廓线标注后的二值分割图像进行遍历处理，以每个滑动窗作为一个子图，从而将二值分割图像分割成子图，由所有子图组成特征集；步骤5：构建用于分割渗漏点的第一U型神经网络以及用于同时分割黄斑区域和视盘区域的第二U型神经网络；所述的第一U型神经网络为门控模块注意机制U型神经网络。第一U型神经网络和第二U型神经网络均为卷积神经网络。步骤6：采用步骤4获得的特征集和已标注的渗漏点轮廓线一起输入到第一U型神经网络进行训练，以步骤4获得的训练集作为第一U型神经网络的输入，以是否含渗漏点作为第一U型神经网络的输出标签，使用一个门控注意力网络(attention-gatednetwork)监督，根据设定的学习率训练调整第一U型神经网络的参数，获得训练后的第一U型神经网络；采用原始的眼底荧光造影图像和已标注的视盘区域、黄斑区域一起输入到第二U型神经网络进行训练，以原始的眼底荧光造影图像作为第二U型神经网络的输入，以视盘区域、黄斑区域作为第二U型神经网络的输出标签，根据设定的学习率训练调整第二U型神经网络的参数，获得训练后的第二U型神经网络；步骤7：针对待测的眼底荧光造影图像，重复上述步骤2-步骤4处理获得特征集，并将特征集输入训练后的第一U型神经网络，输出图像中每个像素点的是否为渗漏点的分类概率，取分类概率大于预设渗漏阈值的像素点组成作为渗漏点，实现眼底造影图像的渗漏点分割的初步结果；同时将待测的眼底荧光造影图像，输入训练后的第二U型神经网络，输出图像中视盘区域和黄斑区域；步骤8：根据步骤7获得的渗漏点与视盘区域、黄斑区域之间的相对位置，赋予渗漏点相对位置信息，通过相对位置信息对眼底荧光造影图像中的时序前后造影图进行配准，对时序前后造影图中面积不变的渗漏点判断为假渗漏点，为假阳的渗漏点，进行剔除，剩余保留的渗漏点作为最终渗漏点。所述步骤2的预处理包括依次进行的自适应直方图均衡化增强图像和双边滤波降噪处理步骤。所述步骤3中黄斑的标注是利用已经标注的黄斑中心采用高斯核函数平滑处理建立平滑的黄斑区域标注。所述步骤5中，第一U型神经网络包括依次连接的一个第一输入层、连续的四个下采样模块、连续的四个上采样模块、一个输出卷积模块和一个输出卷积层；输入数据通过第一输入层，依次通过四个下采样模块和四个上采样模块，最后经输出卷积模块进入输出卷积层。每个下采样模块均由连续的两个卷积模块和最大池化层依次连接构成，每个上采样模块均由连续的两个卷积模块和上采样层依次连接构成；卷积模块指的是一个3*3卷积-批次归一化-整流线性单元，图1中的“c”就是指“连续的两个卷积模块”。第一U型神经网络融合有四处注意机制模块，分别：第一个下采样模块的第二个卷积模块与第四个上采样模块的第二个卷积模块之间通过注意机制模块连接；第二个下采样模块的第二个卷积模块与第三个上采样模块的第二个卷积模块之间通过注意机制模块连接；第三个下采样模块的第二个卷积模块与第二个上采样模块的第二个卷积模块之间通过注意机制模块连接；第四个下采样模块的第二个卷积模块与第一个上采样模块的第二个卷积模块之间通过注意机制模块连接；每个注意机制模块均包括由两个1×1卷积层组成的卷积输入层、整流线性单元层、一维卷积层、Sigmoid函数分类层和重采样层；卷积输入层的两个1*1卷积层的输入分别对应连接到下采样模块的第二个卷积模块的输出和上采样模块的第二个卷积模块的输出，经卷积输入层的两个1*1卷积层相加后再经过整流线性单元层输出至一维卷积层，再经过Sigmoid函数分类层输出至重采样层，重采样层的输出与上采样模块的第二个卷积模块的输出相乘后作为注意机制模块的输出，每个注意机制模块的输出与上采样模块中上采样层的输出拼接后作为上采样模块的最终输出。所述步骤5中，第二U型神经网络包括依次连接的一个第二输入层、连续的四个下采样模块、连续的四个上采样模块和一个卷积输出层；四个下采样模块构成第二U型神经网络的收缩路径，每个下采样模块是由连续的两个卷积模块和一个2*2最大池化层依次连接构成，两个卷积模块依次相连输出至2*2最大池化层；四个上采样模块构成第二U型神经网络的扩张路径，每个上采样模块是由连续的两个卷积模块和一个2*2上卷积层依次连接构成，两个卷积模块依次相连输出至2*2上卷积层；卷积模块具体为3*3卷积—整流线性单元(rectifiedlinearunit,ReLU)；经过每个下采样模块将特征通道数量加倍，特征图长宽分别减半；经过每个上采样模块将特征通道的数量减半，特征图长宽分别加倍，每个上采样模块的输出再与收缩路径中下采样模块输出的同样大小的图像进行拼接，所得拼接结果作为下一个上采样模块的输入；经过四次上采样模块的上采样操作后得到最终特征，输入卷积核为1*1的卷积输出层，输出得到二分类语义分割结果。所述步骤6的训练中，使用随机梯度下降法(StochasticGradientDescent,SGD)优化器训练第一U型神经网络用于渗漏点分割，初始学习率为0.01，60轮次后学习率衰减为0.001，以交叉熵本文档来自技高网...

【技术保护点】
1.一种基于深度学习的眼底荧光造影图像渗漏点检测方法，其特征在于，包括以下步骤：/n步骤1：采集含有“墨渍样”或“烟囱状”典型渗漏点的眼底荧光造影图像报告，眼底荧光造影图像报告包括时序前后的多幅荧光造影图像，将荧光造影图像(FFA)标记为含渗漏点和不含渗漏点两类，仅将含渗漏点的图像作为数据集；/n步骤2：将数据集中含渗漏点的图像进行预处理，/n步骤3：对步骤2预处理后的数据集图像分别进行视盘区域、黄斑区域、渗漏点轮廓线标注，使用水漫填充法分别将标注视盘区域、黄斑区域、渗漏点轮廓线后的图像转换为二值分割图像；/n步骤4：用滑动窗对步骤3获得的渗漏点轮廓线标注后的二值分割图像进行遍历处理，以每个滑动窗作为一个子图，从而将二值分割图像分割成子图，由所有子图组成特征集；/n步骤5：构建用于分割渗漏点的第一U型神经网络以及用于同时分割黄斑区域和视盘区域的第二U型神经网络；/n步骤6：/n采用步骤4获得的特征集和已标注的渗漏点轮廓线一起输入到第一U型神经网络进行训练，使用一个门控注意力网络(attention-gated network)监督，根据设定的学习率训练调整第一U型神经网络的参数，获得训练后的第一U型神经网络；/n采用原始的眼底荧光造影图像和已标注的视盘区域、黄斑区域一起输入到第二U型神经网络进行训练，根据设定的学习率训练调整第二U型神经网络的参数，获得训练后的第二U型神经网络；/n步骤7：针对待测的眼底荧光造影图像，重复上述步骤2-步骤4处理获得特征集，并将特征集输入训练后的第一U型神经网络，输出图像中每个像素点的是否为渗漏点的分类概率，取分类概率大于预设渗漏阈值的像素点组成作为渗漏点，实现眼底造影图像的渗漏点分割的初步结果；/n同时将待测的眼底荧光造影图像，输入训练后的第二U型神经网络，输出图像中视盘区域和黄斑区域；/n步骤8：根据步骤7获得的渗漏点与视盘区域、黄斑区域之间的相对位置，赋予渗漏点相对位置信息，通过相对位置信息对眼底荧光造影图像中的时序前后造影图进行配准，对时序前后造影图中面积不变的渗漏点判断为假渗漏点，进行剔除，剩余保留的渗漏点作为最终渗漏点。/n...

【技术特征摘要】
1.一种基于深度学习的眼底荧光造影图像渗漏点检测方法，其特征在于，包括以下步骤：
步骤1：采集含有“墨渍样”或“烟囱状”典型渗漏点的眼底荧光造影图像报告，眼底荧光造影图像报告包括时序前后的多幅荧光造影图像，将荧光造影图像(FFA)标记为含渗漏点和不含渗漏点两类，仅将含渗漏点的图像作为数据集；
步骤2：将数据集中含渗漏点的图像进行预处理，
步骤3：对步骤2预处理后的数据集图像分别进行视盘区域、黄斑区域、渗漏点轮廓线标注，使用水漫填充法分别将标注视盘区域、黄斑区域、渗漏点轮廓线后的图像转换为二值分割图像；
步骤4：用滑动窗对步骤3获得的渗漏点轮廓线标注后的二值分割图像进行遍历处理，以每个滑动窗作为一个子图，从而将二值分割图像分割成子图，由所有子图组成特征集；
步骤5：构建用于分割渗漏点的第一U型神经网络以及用于同时分割黄斑区域和视盘区域的第二U型神经网络；
步骤6：
采用步骤4获得的特征集和已标注的渗漏点轮廓线一起输入到第一U型神经网络进行训练，使用一个门控注意力网络(attention-gatednetwork)监督，根据设定的学习率训练调整第一U型神经网络的参数，获得训练后的第一U型神经网络；
采用原始的眼底荧光造影图像和已标注的视盘区域、黄斑区域一起输入到第二U型神经网络进行训练，根据设定的学习率训练调整第二U型神经网络的参数，获得训练后的第二U型神经网络；
步骤7：针对待测的眼底荧光造影图像，重复上述步骤2-步骤4处理获得特征集，并将特征集输入训练后的第一U型神经网络，输出图像中每个像素点的是否为渗漏点的分类概率，取分类概率大于预设渗漏阈值的像素点组成作为渗漏点，实现眼底造影图像的渗漏点分割的初步结果；
同时将待测的眼底荧光造影图像，输入训练后的第二U型神经网络，输出图像中视盘区域和黄斑区域；
步骤8：根据步骤7获得的渗漏点与视盘区域、黄斑区域之间的相对位置，赋予渗漏点相对位置信息，通过相对位置信息对眼底荧光造影图像中的时序前后造影图进行配准，对时序前后造影图中面积不变的渗漏点判断为假渗漏点，进行剔除，剩余保留的渗漏点作为最终渗漏点。


2.根据权利要求1所述的基于深度学习的眼底荧光造影图像渗漏点检测方法，其特征在于：
所述步骤2的预处理包括依次进行的自适应直方图均衡化增强图像和双边滤波降噪处理步骤。


3.根据权利要求1所述的基于深度学习的眼底荧光造影图像渗漏点检测方法，其特征在于：
所述步骤3中黄斑的标注是利用已经标注的黄斑中心采用高斯核函数平滑处理建立平滑的黄斑区域标注。


4.根据权利要求1所述的基于深度学习的眼底荧光造影图像渗漏点检测方法，其特征在于：所述步骤5中，第一U型神经网络包括依次连接的一个第一输入层、连续的四个下采样模块、连续的四个上采样模块、一个输出卷积模块和一个输出卷积层；每个下采样模块均由连续的两个卷积模块和最大池化层依次连接构成，每个上采样模块均由连续的两个卷积模块和上采样层依次连接构成；第一U型神经网络融合有四处注意机制模块，分别：第一个下...

【专利技术属性】
技术研发人员：叶娟，金凯，陈梦露，吴健，尤堃，徐宇峰，陆逸飞，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33