基于深度学习与传统方法相结合的视网膜血管分割方法技术

基于深度学习与传统方法相结合的视网膜血管分割方法，涉及计算机视觉以及模式识别领域。本发明专利技术将两种灰度图像都作为网络的训练样本，针对视网膜图像数据少的问题做了相应的数据扩增包括弹性形变，平滑滤波等等，扩大了该发明专利技术的广泛适用性。本发明专利技术通过构建FCN‑HNED的视网膜血管分割深度网络，该网络极大程度的实现了自主学习的过程，不仅可以分享整个图像的卷积特征，减少特征冗余，又可以从抽象的特征中恢复出多个像素的所属类别，分别将视网膜血管图像的CLAHE图和高斯匹配滤波图分别输入网络使其得到的血管分割图进行加权平均从而得到更好更完整的视网膜血管分割概率图，该种处理方式极大程度的提高了血管分割的鲁棒性与准确性。

Retinal vascular segmentation method based on depth learning and traditional method

The method of retinal vascular segmentation based on depth learning combined with traditional methods involves computer vision and pattern recognition. The two kinds of gray image as the samples of the network, according to the data of retinal images is less of a problem to do the corresponding amplification data including elastic deformation, filtering and so on, to expand the applicability of the invention. The depth of the network through segmentation of retinal blood vessels to construct FCN HNED, the network greatly realized the process of autonomous learning, can not only share the convolution feature of the whole image, reduce redundancy, and can be a category of a plurality of pixels to recover from the abstract features, respectively, the retinal blood vessel image. CLAHE and Gauss matched filtering were the vascular network input segmentation by weighted average to get better and more complete segmentation probability map, this method greatly improves the robustness and accuracy of segmentation of vessels.

【技术实现步骤摘要】
基于深度学习与传统方法相结合的视网膜血管分割方法
本专利技术涉及计算机视觉以及模式识别领域，是一种基于深度学习与传统方法相结合的视网膜血管分割方法。
技术介绍
眼底成像可以通过视网膜成像来判断是否存在异常，其中对于视网膜血管的观察相当重要。青光眼、白内障以及糖尿病等疾病都会造成视网膜眼底血管的病变。视网膜病变患者逐年增加，如果不能及时治疗，通常会导致长期患有这些疾病的患者承受巨大痛苦甚至失明。然而，目前视网膜病是由专科医生进行人工诊断，专科医生首先对患者的眼底图像进行手工血管的标记，然后，再测量所需的血管口径、分叉角度等相关参数。其中，手工标记血管的过程大概需要两个小时左右，诊断过程花费大量时间，为了节约人力物力，自动化提取血管的方法显得尤为重要。不但可以减轻专科医生的负担，也可以有效解决偏远地区缺乏专科医生的问题。鉴于视网膜血管分割的重要性，国内外学者做了许多研究，大致分非监督和监督方法。非监督方法是通过某种规则来提取血管目标，包括匹配滤波，形态学处理，血管追踪，多尺度分析等算法。监督学习也叫作像素特征分类方法或者机器学习技术。通过训练将每个像素分类判断为血管或者非血管。主要分为两个过程：特征提取和分类。特征提取阶段通常包括Gabor滤波，高斯匹配滤波，形态学增强等方法。分类阶段通常包括的分类器有Bayesian(朴素贝叶斯)，SVM等分类器。但是，该种对于像素的判断不能很好的考虑每个像素与其周围领域像素之间的联系。因而出现了CNN，它可以根据图像块的特征来判断中心像素为血管或者非血管，通过进行多层结构的自动学习特征，使这些抽象的特征有利于中心像素点的分类判断。但是，对每个像素进行分类很少涉及全局信息，使得在局部有病变的情况下，分类失败；其次，每幅图像至少有几十万个像素，如果一一判断，使得存储开销大，计算效率很低。
技术实现思路
针对现有算法的不足，本专利技术提出了一种基于深度学习与传统方法相结合的视网膜血管分割方法。首先，根据视网膜血管的特点做其针对性的预处理，包括进行CLAHE(限制性对比度自适应直方图均衡)处理使得视网膜血管和背景能够具有较高的对比度，进行高斯匹配滤波的传统方法使得视网膜的细小血管得到很好的增强，本专利技术提出将两种灰度图像都作为网络的训练样本。在此基础上，我们针对视网膜图像数据少的问题做了相应的数据扩增包括弹性形变，平滑滤波等等，不仅使得数据量增大有利于深度学习网络的学习和训练，更重要的是模拟了具有各种各样情况下的视网膜图像，都能够通过本专利技术的处理得到很好的视网膜血管分割图，扩大了该专利技术的广泛适用性。其次，本专利技术通过构建FCN-HNED的视网膜血管分割深度网络，将FCN(FullyConvolutionalNetwork)网络末端得到血管概率图与浅层信息HNED(HolisticallyNestedEdgeDetection)的血管概率图进行了很好的融合，得到我们所需的视网膜血管分割图，该网络极大程度的实现了自主学习的过程，不仅可以分享整个图像的卷积特征，减少特征冗余，又可以从抽象的特征中恢复出多个像素的所属类别，实现一种端到端，像素到像素的视网膜血管分割方法，这种全局输入和全局输出的方法既简单又有效。在视网膜血管检测当中本专利技术分别将视网膜血管图像的CLAHE图和高斯匹配滤波图分别输入网络使其得到的血管分割图进行加权平均从而得到更好更完整的视网膜血管分割概率图，该种处理方式极大程度的提高了血管分割的鲁棒性与准确性。本文采用如下技术方案：1、预处理1)对彩色的视网膜图像的RGB三个通道中对比度比较高的绿色通道进行提取。其次，由于拍摄角度等的问题，采集到的视网膜眼底图像的亮度往往是不均匀的，或者病变区域由于过亮或者过暗在图像中呈现出对比度不高等问题很难与背景区分，所以，我们进行归一化处理。然后，对归一化后的视网膜图像进行CLAHE处理提高视网膜眼底图像质量，均衡眼底图像的亮度，使其更适合后续血管提取。CLAHE处理之后的视网膜血管在增强血管与背景对比度的同时，能够极大程度的保持视网膜血管的本身特性，然而，由于其中细小血管与背景很相似，在后续的深度学习当中不能够很好的分割出来，针对于此，本专利技术利用血管的横截面灰度图呈高斯走向的特点，将CLAHE处理之后的视网膜血管进行高斯匹配滤波处理，使得细小血管能够极大程度的表现出来。由于血管的方向是任意的，因此，本文采用12个不同方向的高斯核模板来对视网膜图像进行匹配滤波，将其最大响应作为该像素的响应值。二维高斯匹配滤波核函数k(x,y)可表示为：其中σ表示高斯曲线的方差,L表示y轴被截断的视网膜血管长度，滤波窗口的宽度选择[-3σ,3σ]即核函数x的取值范围，选择较小的σ数值设置为0.5，使得细小血管能够极大程度的得到增强。为了充分考虑到视网膜图像的整体特性以及其中细小血管的特性，我们将CLAHE处理之后的视网膜血管图和高斯匹配滤波图都作为训练的样本，可以极大地提升网络分割的性能。2、数据扩增和构建训练样本由于训练深度网络需要大量的数据，仅现有的视网膜图像用于训练远远不够。于是需要对训练数据进行不同方式的扩张，加大数据量，提高训练和检测效果。数据扩增方式：1)将预处理后的图像进行左右上下等平移分别为20个像素，实现网络学习的平移不变性。2)将1)处理后的图像分别进行45°,90°,125°,180°的旋转，截取其中的最大矩形，这种变换不仅增强了训练数据的旋转鲁棒性，又将数据扩大为原来的5倍。3)在一般的数据扩增当中，从未考虑视网膜图像可能出现的模糊现象，然而，本专利技术考虑到在各种情况下，譬如相机的抖动或者病人的不小心移动，都会造视网膜图像在一定程度上的部分模糊，所以，本专利技术将2)处理后的图像集选取其中25％分别进行3×3和5×5的中值滤波模糊操作，使得网络能对于各种模糊程度的视网膜图像具有广泛适用性。4)在以往的视网膜图像数据扩增当中常用的只是平移，缩放，旋转等等，远远达不到对视网膜图像的各种情况的考虑，鉴于此，本专利技术考虑视网膜的血管方向形状等的各异性，我们对3)处理后的图像集取25％进行随机的弹性变形，该项数据扩增方式对于视网膜血管的分割有很重要的意义，它可以帮助网络学习到各种方向错综复杂的视网膜血管，有利于实际应用中视网膜血管分割准确率的提升。5)由于FCN适用于任何大小的图像，我们对4)处理后的图像进行50％和75％的缩放处理，从而扩增数据。当然，我们对于视网膜血管分割的专家标准图(groundtruth)进行同样的处理，从而与样本一一对应。将构件好的训练样本数据的3/4作为训练集，1/4作为验证集。3、FCN-HNED网络构建FCN网络：一般的FCN网络层主要由5部分组成，输入层，卷积层，降采样层，上采样层(反卷积层)和输出层。本专利技术中构建的网络为：输入层，两个卷积层(C1，C2)，第一降采样层(pool1)，两个卷积层(C3，C4)，第二降采样层(pool2)，两个卷积层(C5，C6)，第三降采样层(pool3)，两个卷积层(C7，C8)，第四降采样层(pool4)，两个卷积层(C9，C10),第一上采样层(U1)，两个卷积层(C11，C12)，第二上采样层(U2)，两个卷积层(C13，C14)，第三上采样层(U3)，两个卷积层(C15本文档来自技高网...

【技术保护点】
基于深度学习与传统方法相结合的视网膜血管分割方法，其特征在于，包括以下步骤：(1)、预处理对彩色的视网膜图像的RGB三个通道中绿色通道进行提取，进行归一化处理，对归一化后的视网膜图像进行CLAHE处理，将CLAHE处理之后的视网膜血管进行高斯匹配滤波处理，将CLAHE处理之后的视网膜血管图和高斯匹配滤波图都作为训练的样本；(2)、数据扩增和构建训练样本数据扩增方式：1)将预处理后的图像进行左右上下等平移分别为20个像素，实现网络学习的平移不变性；2)将1)处理后的图像分别进行45°,90°,125°,180°的旋转，截取其中的最大矩形；3)将2)处理后的图像集选取其中25％分别进行3×3和5×5的中值滤波模糊操作；4)将3)处理后的图像集取25％进行随机的弹性变形；5)将4)处理后的图像进行50％和75％的缩放处理，从而扩增数据；对于视网膜血管分割的专家标准图ground truth进行同样的处理，从而与样本一一对应；(3)、FCN‑HNED网络构建构建的网络为：输入层，两个卷积层(C1，C2)，第一降采样层(pool1)，两个卷积层(C3，C4)，第二降采样层(pool2)，两个卷积层(C5，C6)，第三降采样层(pool3)，两个卷积层(C7，C8)，第四降采样层(pool4)，两个卷积层(C9，C10)，第一上采样层(U1)，两个卷积层(C11，C12)，第二上采样层(U2)，两个卷积层(C13，C14)，第三上采样层(U3)，两个卷积层(C15，C16)，第四上采样层(U4)，两个卷积层(C17，C18)，目标层(输出层)；形成一个前后对称的U型深度网络构架；将C2，C4，C6，C8层之后分别添加一个softmax分类器，从而将隐藏层的信息在将ground truth为标签的情况下学习得到视网膜血管概率图，分别称为侧输出1、侧输出2、侧输出3、侧输出4；将四个侧输出与最后的输出层进行融合，从而形成FCN‑HNED的网络结构；训练：FCN‑HNED网络构建好之后可以进行网络的训练来进行对图像的自动特征提取和学习过程，每代输入128个图像，直到网络收敛之后停止；测试：将每张视网膜图像绿色通道图的CLAHE图和高斯匹配滤波图分别输入到已训练好的网络进行测试，分别得到融合的视网膜血管分割图称为...

【技术特征摘要】
1.基于深度学习与传统方法相结合的视网膜血管分割方法，其特征在于，包括以下步骤：(1)、预处理对彩色的视网膜图像的RGB三个通道中绿色通道进行提取，进行归一化处理，对归一化后的视网膜图像进行CLAHE处理，将CLAHE处理之后的视网膜血管进行高斯匹配滤波处理，将CLAHE处理之后的视网膜血管图和高斯匹配滤波图都作为训练的样本；(2)、数据扩增和构建训练样本数据扩增方式：1)将预处理后的图像进行左右上下等平移分别为20个像素，实现网络学习的平移不变性；2)将1)处理后的图像分别进行45°,90°,125°,180°的旋转，截取其中的最大矩形；3)将2)处理后的图像集选取其中25％分别进行3×3和5×5的中值滤波模糊操作；4)将3)处理后的图像集取25％进行随机的弹性变形；5)将4)处理后的图像进行50％和75％的缩放处理，从而扩增数据；对于视网膜血管分割的专家标准图groundtruth进行同样的处理，从而与样本一一对应；(3)、FCN-HNED网络构建构建的网络为：输入层，两个卷积层(C1，C2)，第一降采样层(pool1)，两个卷积层(C3，C4)，第二降采样层(pool2)，两个卷积层(C5，C6)...

【专利技术属性】
技术研发人员：蔡轶珩，高旭蓉，邱长炎，崔益泽，王雪艳，孔欣然，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11