基于深度全卷积神经网络的视网膜眼底图像分割方法技术

本发明专利技术公开一种基于深度全卷积神经网络的视网膜眼底图像分割方法，包括：选取训练集和测试集，对视网膜眼底图像提取得到视盘定位区域图像并进行血管去除操作；构建深度全卷积神经网络，将视盘定位区域图像作为其输入，基于已经训练好的权重参数为初始值在训练集上进行视盘分割模型的训练以微调模型参数，在此基础上进行视杯分割模型的参数微调；用训练好的视杯分割模型在测试集上进行视杯和视盘的分割，对最终分割的结果进行椭圆拟合，依据视杯和视盘的分割边界计算垂直杯盘比，并将杯盘比结果作为青光眼辅助诊断的重要依据。本发明专利技术实现视网膜眼底图像的视盘与视杯的自动分割，精度高，速度快。

Retinal fundus image segmentation method based on deep total convolution neural network

The invention discloses a retinal fundus image segmentation method based on a depth full convolution neural network, which comprises: selecting a training set and a test set, extracting the retinal fundus image to obtain the image of the optic disc location area and removing the blood vessel; constructing a depth full convolution neural network, and taking the image of the optic disc location area as its transmission. In addition, the training of the disc segmentation model is carried out on the training set based on the trained weight parameters as the initial values to fine-tune the model parameters, and then the parameters of the cup segmentation model are fine-tuned; the cup and disc are segmented on the test set by the trained cup segmentation model, and the final segmentation result is ellipsed. Circle fitting is used to calculate the vertical cup-disc ratio according to the segmentation boundary of cup and disc, and the cup-disc ratio is used as an important basis for glaucoma diagnosis. The invention realizes automatic segmentation of the optic disc and the visual cup of the retinal fundus image, and has high precision and fast speed.

【技术实现步骤摘要】
基于深度全卷积神经网络的视网膜眼底图像分割方法
本专利技术涉及一种基于深度全卷积神经网络的视网膜眼底图像分割方法，属于医学图像处理领域。
技术介绍
青光眼是一种慢性眼疾病，它是由于视神经的逐渐损伤导致的视觉功能缺失。目前青光眼已经成为导致失明的第二大原因。尽管青光眼是一种不可治愈的不可逆眼部视觉损伤，但通过有效且及时的治疗可以减缓疾病的恶化。因此，对于青光眼的及时诊断显得至关重要。视杯视盘垂直比是一种被广泛使用的青光眼诊断的重要依据，在目前的临床实践中，杯盘比大多通过医生人工测量和计算，但是人工测量不仅耗时费力，而且不同医生的测量结果存在一定的主观性，因而不适于进行大规模的疾病筛查。因此自动的视杯视盘分割的杯盘比计算越发受到人们的关注。视网膜眼底图像的视杯视盘分割方法大致可以分成三大类：基于模板的方法、基于形变模型的方法和基于像素点分类的方法，前两种方法主要基于视杯视盘的边缘特征，算法功能的实现好坏极大依赖于视杯视盘边缘和其他结构区域的边缘差异，当出现易混淆的病变时分割算法效果不佳，并且基于形变模型的方法对于初始点的选择相对敏感，对于好的初始化点的选择相对困难。基于像素点分类的方法极大受限于高分辨率图像的较高像素点数量，要实现在像素级别的模型优化十分困难。同时上述分割方法处理过程相对复杂，在图像分割时所需时间也相对较长。
技术实现思路
专利技术目的：本专利技术目的在于针对现有技术的不足，提供一种基于深度全卷积神经网络的视网膜眼底图像分割方法，实现视网膜眼底图像的视盘与视杯的自动分割，精度高，速度快。技术方案：本专利技术所述基于深度全卷积神经网络的视网膜眼底图像分割方法，包括如下步骤：(1)选取视网膜眼底图像数据集作为训练集和测试集，对视网膜眼底图像的视盘区域进行定位和提取得到视盘定位区域图像；(2)对提取的视盘定位区域图像进行血管去除操作；(3)在深度学习工具Caffe库中构建用于图像分割的深度全卷积神经网络，所述深度全卷积神经网络分为视盘分割和视杯分割；(4)将血管去除后的视盘定位区域图像作为深度全卷积神经网络的输入，输入时对视盘定位区域图像进行各个通道的减均值预处理操作，以在视盘分割数据集DRIONS-DB上预训练好的权重参数为训练初始值，在训练集上进行视盘分割模型的训练以微调模型参数；预处理操作采用现有方法，数据集DRIONS-DB为公开的数据集；(5)在训练好的视盘分割模型参数上进行视杯分割模型的参数微调；(6)用训练好的视杯分割模型在测试集上进行视杯和视盘的分割，对最终分割的结果进行椭圆拟合以获得光滑的椭圆分割边缘，依据视杯和视盘的分割边界计算垂直杯盘比，并将杯盘比结果作为青光眼辅助诊断的重要依据。进一步完善上述技术方案，所述步骤(2)中的血管去除操作为血管分割和基于掩膜的图像修复操作。进一步地，所述深度全卷积神经网络包括卷积层、激活层、池化层、反卷积层和损失函数；所述卷积层是在图像上使用滑动卷积窗口，采用尺寸大小为3×3像素的卷积核与输入数据内一个窗口内的局部数据进行加权求和运算，直到卷积完所有的输入数据；所述激活层采用ReLu修正线性单元，将线性函数转化为非线性，通过激活函数max{0,x}对输入数据进行处理；所述池化层采用最大池化法；所述反卷积层是通过卷积方法将经过池化层后缩减的输入数据的尺寸扩大为原输入图像大小；所述损失函数是根据图像中视盘与视杯区域所占像素和背景区域像素的数量比例，调整其在损失函数中相应的系数以平衡像素数量的差异。进一步地，所述步骤(6)中采用训练好的视盘分割模型、视杯分割模型在测试集上进行视杯和视盘的分割，对最终分割的结果进行椭圆拟合以获得光滑的椭圆分割边缘。进一步地，所述深度全卷积神经网络共46层，除最后的线性卷积层为1×1大小的卷积核外，剩余卷积层均为3*3的卷积核大小。有益效果：本专利技术公开了一种基于深度全卷积神经网络的眼底图像视盘与视杯分割方法，对输入图像设计并训练了一个端到端的从图像到图像的基于像素点分类的深度学习分割网络结构模型，整个模型流程由两个主要部分组成：视盘分割部分和视杯分割部分，在图像输入端，对输入图像进行血管去除以减少对深度分割网络的干扰，并且在训练视杯分割模型时，是在与视盘分割网络相同的模型上以之前训练好的视盘网络参数进行微调，最后根据分割出的视杯视盘图像进行杯盘比的计算，并为青光眼的疾病诊断提供辅助依据。与传统视盘视杯分割方法相比，本专利技术仅需通过一次前向运算即可完成对一幅完整图像的分割，处理效果高于目前技术水平，能够广泛地应用在青光眼疾病等视网膜诊断领域，为视网膜眼底图像的病理诊断提供了强大的辅助诊断技术支持。根据眼底图像中视盘与视杯的结构特征，将医学理论知识与深度全卷积神经网络相结合，在进行分割时只需将待分割图像输入网络就可一次性获得与原图相对应视盘和视杯分割结果图，在保证了图像的分割精度的同时，也具有较快的分割速度。附图说明图1是本专利技术方法的流程示意图。图2是视盘分割深度网络的结构示意图。图3是视杯分割深度网络的结构示意图。图4是分割前去除血管的输入图像。图5是标准视盘与视杯分割示意图。图6是本专利技术中视盘与视杯分割效果图。具体实施方式下面通过附图对本专利技术技术方案进行详细说明，但是本专利技术的保护范围不局限于所述实施例。实施例1：本专利技术提供的基于深度全卷积神经网络的视网膜眼底图像分割方法，首先基于已有算法对眼底图的视盘区域进行定位和提取，之后将视盘定位区域图像作为深度全卷积神经网络的输入，然后采用深度全卷积神经网络对输入图像中的像素进行预测，最后通过得到的视盘和视杯分割结果计算相应的杯盘比作为青光眼疾病诊断的辅助依据，如图1所示。下面通过具体实例对本专利技术方法及技术效果进行说明。步骤一：以公开青光眼疾病眼底图数据集ORIGA作为训练和测试视网膜眼底图像集，该数据总共有650张不同对象的左右眼图像。其中325幅图像作为训练样本，剩余325幅作为测试图像。基于已有的视盘定位方法提取出相应区域作为深度分割网络的输入。步骤二：对输入视盘定位区域图像进行血管去除操作以减少血管结构对视盘和视杯分割过程的干扰，具体血管去除流程为血管分割和基于掩膜的图像修复操作。步骤三：在深度学习工具Caffe库中构建用于图像分割的深度全卷积神经网络，所述深度分割网络分为视盘分割和视杯分割部分，将血管去除后的视盘定位区域图像作为深度全卷积神经网络的输入，在输入图像时对图像进行各个通道的减均值预处理操作，把在公开的视盘分割数据集DRIONS-DB上预训练好的模型参数作为训练的初始值，预训练时采用同样的分割模型与损失函数，然后在训练样本上进行视盘分割网络的训练以微调模型参数。步骤四：在训练好的视盘分割模型参数上进行视杯分割模型的参数微调，深度全卷积网络的输出结果是图像中每个像素属于视盘或视杯的概率图，最后对深度网络的分割图进行椭圆拟合得到最终的视盘和视杯分割结果，并计算相应的杯盘比作为青光眼辅助诊断的依据。实验硬件：中央处理器为2.8GHZIntelXeonE5-1603，图形处理器为英伟达GTX1080，显存为8GB。实验软件：操作系统为Ubuntu14.04LTS，深度学习工具Caffe。本专利技术的深度全卷积神经网络主要由视盘分割和视杯分割两部分组成，所述深度全卷积神经网络包括卷积本文档来自技高网...

【技术保护点】
1.基于深度全卷积神经网络的视网膜眼底图像分割方法，其特征在于，包括如下步骤：(1)选取视网膜眼底图像数据集作为训练集和测试集，对视网膜眼底图像的视盘区域进行定位和提取得到视盘定位区域图像；(2)对提取的视盘定位区域图像进行血管去除操作；(3)在深度学习工具Caffe库中构建用于图像分割的深度全卷积神经网络，所述深度全卷积神经网络分为视盘分割和视杯分割；(4)将血管去除后的视盘定位区域图像作为深度全卷积神经网络的输入，输入时对视盘定位区域图像进行各个通道的减均值预处理操作，以在视盘分割数据集DRIONS‑DB上预训练好的模型参数作为训练的初始值，在训练集上进行视盘分割模型的训练以微调模型参数；(5)在训练好的视盘分割模型参数上进行视杯分割模型的参数微调；(6)用训练好的视杯分割模型在测试集上进行视杯和视盘的分割，对最终分割的结果进行椭圆拟合以获得光滑的椭圆分割边缘，依据视杯和视盘的分割边界计算垂直杯盘比，并将杯盘比结果作为青光眼辅助诊断的重要依据。

【技术特征摘要】
1.基于深度全卷积神经网络的视网膜眼底图像分割方法，其特征在于，包括如下步骤：(1)选取视网膜眼底图像数据集作为训练集和测试集，对视网膜眼底图像的视盘区域进行定位和提取得到视盘定位区域图像；(2)对提取的视盘定位区域图像进行血管去除操作；(3)在深度学习工具Caffe库中构建用于图像分割的深度全卷积神经网络，所述深度全卷积神经网络分为视盘分割和视杯分割；(4)将血管去除后的视盘定位区域图像作为深度全卷积神经网络的输入，输入时对视盘定位区域图像进行各个通道的减均值预处理操作，以在视盘分割数据集DRIONS-DB上预训练好的模型参数作为训练的初始值，在训练集上进行视盘分割模型的训练以微调模型参数；(5)在训练好的视盘分割模型参数上进行视杯分割模型的参数微调；(6)用训练好的视杯分割模型在测试集上进行视杯和视盘的分割，对最终分割的结果进行椭圆拟合以获得光滑的椭圆分割边缘，依据视杯和视盘的分割边界计算垂直杯盘比，并将杯盘比结果作为青光眼辅助诊断的重要依据。2.根据权利要求1所述的基于深度全卷积神经网络的视网膜眼底图像分割方法，其特征在于：所述步骤(2)中的血管去除操作为血管分割和基于掩膜的图像修复操作。3.根据权利要求1所述...

【专利技术属性】
技术研发人员：万程，牛笛，周鹏，刘江，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32