结合多尺度特征卷积神经网络视网膜血管图像分割方法技术

本发明专利技术属于图像处理技术领域，为实现视网膜血管的自动提取与分割，提高对血管阴影与组织形变等因素的抗干扰能力，使血管分割结果的平均准确率更高。本发明专利技术，结合多尺度特征卷积神经网络视网膜血管图像分割方法。首先，对视网膜图像进行适当地预处理，包括进行限制性对比度自适应直方图均衡处理和伽马亮度调整；同时，针对视网膜图像数据较少的问题进行数据扩增，对实验图像进行裁剪分块，其次，通过构建结合多尺度特征的视网膜血管分割网络，将空间金字塔空洞池化引入编码—解码器结构卷积神经网络，通过多次迭代，自主进行模型参数的优化，实现像素级视网膜血管自动分割过程，得到视网膜血管分割图。本发明专利技术主要应用于医疗器械的设计制造场合。

【技术实现步骤摘要】
结合多尺度特征卷积神经网络视网膜血管图像分割方法
本专利技术属于人工智能领域与医学图像处理领域相结合，涉及一种基于结合多尺度特征的卷积神经网络的视网膜血管分割方法，能够实现自动地提取和分割血管树图像。
技术介绍
在众多眼底疾病中，白内障、青光眼、老年黄斑变性及糖尿病视网膜病变是四大致盲诱因，发病率高且危害严重。由于眼底是人体唯一能够直接观察到血管的部位，因此对眼底图像的分析和处理成为预防和诊断眼底疾病的主要方式。其中，眼底图像血管分割是重要的疾病定量分析手段，许多研究针对眼底图像的血管分割展开。然而目前视网膜血管的分割主要依靠专家进行手工标记，诊断过程耗费大量时间，因此研究一种自动化提取血管的方法尤为重要。目前，眼底图像的血管分割方法主要分为无监督与监督的方法。无监督的方法利用图像特征之间的关系设计某种规则来提取目标血管，主要包括匹配滤波法、形态学分析、血管追踪、均值聚类算法等。有监督的方法通过提取特征，引入监督信息构造像素分类器，能够获得更好的分割效果。特征提取通常包括Gabor滤波、高斯匹配滤波等方法。像素分类方法一般包括朴素贝叶斯、SVM、随机森林等分类器。然而，传统的监督方法需要手工设计相关特征，在参数优化上需要耗费大量精力和时间，同时此方式受设计者主观经验影响较大。近年来，深度学习尤其是卷积神经网络理论的快速发展，在工业界和学术界掀起了一股研究热潮，图像分割可以看作是一种像素分类问题，基于深度学习的像素级图像分割方法的主要思想是利用卷积神经网络自动提取图像特征，并从反馈网络学习到监督信息，再利用反卷积操作扩大图像分辨率，恢复原始图像尺寸，得到分割后的结果。
技术实现思路
为克服现有技术的不足，本专利技术旨在实现视网膜血管的自动提取与分割，提高对血管阴影与组织形变等因素的抗干扰能力，使血管分割结果的平均准确率更高。为此，本专利技术采用的技术方案是，结合多尺度特征卷积神经网络视网膜血管图像分割方法。首先，对视网膜图像进行适当地预处理，包括进行限制性对比度自适应直方图均衡处理和伽马亮度调整；同时，针对视网膜图像数据较少的问题进行数据扩增，对实验图像进行裁剪分块，其次，通过构建结合多尺度特征的视网膜血管分割网络，将空间金字塔空洞池化引入编码—解码器结构卷积神经网络，通过多次迭代，自主进行模型参数的优化，实现像素级视网膜血管自动分割过程，得到视网膜血管分割图。具体细化步骤如下：步骤1：对视网膜血管图像进行预处理1)将彩色眼底图像转化为灰度图像；2)图像归一化处理；3)进行对比度受限的自适应直方图均衡化处理；4)进行伽马调整，调整图像亮度范围；5)将图像像素值进行归一化，由[0,255]的范围转化为[0,1]；步骤2：图像分块和构建训练样本，原始图像的尺寸为W×H，图像块的尺寸为p×p，在原始图像中选取一个区域提取图像块，其中横坐标范围为纵坐标范围为在上述区域内随机选取n个点作为图像块的中心，再裁剪出n个尺寸为p×p的图像块作为训练样本，其中，选定的图像块中心需确保在血管图像有效区域内，同时，对视网膜血管分割的标准图也进行同样的预处理，与训练数据一一对应，选取训练图像分块的1/10作为验证集，其余的样本作为训练集；步骤3：结合多尺度特征的卷积神经网络构建与训练过程；首先，构造一个编码—解码器结构的U型网络，用于血管图像的特征提取和分辨率恢复，该网络包括五个部分：输入层，卷积层，池化层，上采样层和输出层，构建的网络为：编码部分：输入层、两个卷积层、第一池化层、两个卷积层、第二池化层、解码部分：第一上采样层、两个卷积层、第二上采样层、两个卷积层、输出层，编码和解码部分构成了一个U型的分割网络；步骤4：构建测试样本；步骤5：测试过程，将测试图像块进行同样的预处理，再输入到已经训练好的网络进行测试，得到视网膜血管分割概率图；将分割后的图像块进行拼接，合成原图尺寸，经过二值化后输出得到视网膜血管分割图。空间金子塔型空洞池化结构：U型网络的第二池化层后面结合一个空间金字塔型的池化结构，该结构由四个不同尺寸的卷积层进行级联：一个1×1的卷积层和三个空洞卷积层，三个空洞卷积的空洞比率rate分别是1、2、4，卷积核都采用3×3的尺寸，随着空洞率增大，卷积操作能够进一步扩大感受野，通过将不同尺寸的空洞卷积层融合，能够将局部细节信息与高级语义信息结合，从而使网络模型学习多层丰富的信息表达；接着将四个并行卷积层的输出特征层进行合并，后面添加一个1×1的卷积层进行批量归一化操作和一个3×3的卷积层，再连接上述U型网络的解码部分；通过梯度下降法对反向传播过程中的参数进行优化，当误差逐渐下降趋于稳定时，网络可以认为已经收敛，输出血管图像对应的标签概率图，得到网络的最优权重和偏移量，保存为该数据库的训练模型。输入图像为I(x,y)，归一化处理过程如下所示：式中I(x,y)表示(x,y)中的像素值，μ(x,y)表示图像区域像素的均值，σ(x,y)表示图像区域的标准差，Ω表示计算均值和方差的图像区域，i,j区域内坐标点移动的步长，表示归一化后的像素值，m×n代表图像区域像素总数；经过归一化处理，原始图像转化为均值为0，方差为1的图像，表示将归一化图像进行灰度拉伸后的像素值。构建测试样本时，为了能够完全将图像分成若干相同尺寸的图像块，在图像周围进行零填充，测试图像的尺寸为W×H，图像块尺寸为p×p，其中图像分块的移动步长s×s，具体填充规则如下：mod＝(H-p)％s，mod＝(W-p)％s(6)式中和分别表示填充后的高度和宽度，上述分块得到的图像块的数量m表示为：本专利技术的特点及有益效果是：本专利技术通过构建基于深度学习的U型网络，能够将底层的局部细节信息与顶层全局特征相结合，学习视网膜图像中各个像素与周围像素的关系，利用血管与非血管的内部特征，实现像素级的血管分割。本专利技术结合了空间金字塔型池化结构，扩大了感受野，将多尺度图像特征进行融合，同时空洞卷积大大减少训练参数，极大程度地提高了血管分割的鲁棒性和准确性。相比基于边缘的分割法、支持向量机、极限学习机和全卷积神经网络等先进的算法，本专利技术提出的结合多尺度特征的卷积神经网络方法能够实现对图像特征的自动提取，对视网膜血管分割效果更好，识别准确性更高。在相关数据库中，血管分割的各项评价指标都达到了世界先进水平。附图说明：图1为本专利技术的整体流程图；图2是训练图像分块的样本效果图：(a)是原始图像的分块图；(b)是对应的专家分割标准图；图3是结合多尺度特征的卷积神经网络的网络结构；图4为视网膜血管分割结果：(a)原始图像；(b)预处理后的图像；(c)视网膜血管分割图；(d)第一专家的手动分割图；图5为分割效果的评估：(a)本专利技术方法与第二专家分割标准图对比评估指标；(b)ROC曲线示意图。具体实施方式本专利技术提出了一种基于结合多尺度特征的卷积神经网络的视网膜血管分割方法。首先，对视网膜图像进行适当地预处理，包括进行限制性对比度自适应直方图均衡处理和伽马亮度调整。同时，我们针对视网膜图像数据较少的问题进行了数据扩增，对实验图像进行裁剪分块，扩大了本专利技术的广泛适用性。其次，本专利技术通过构建结合多尺度特征的视网膜血管分割网络，将空间金字塔空洞池化引入编码—解码器结构卷积神经网络，通过多次迭代自主进行模型参数的优化本文档来自技高网...

【技术保护点】
1.一种结合多尺度特征卷积神经网络视网膜血管图像分割方法，其特征是，首先，对视网膜图像进行适当地预处理，包括进行限制性对比度自适应直方图均衡处理和伽马亮度调整；同时，针对视网膜图像数据较少的问题进行数据扩增，对实验图像进行裁剪分块，其次，通过构建结合多尺度特征的视网膜血管分割网络，将空间金字塔空洞池化引入编码—解码器结构卷积神经网络，通过多次迭代，自主进行模型参数的优化，实现像素级视网膜血管自动分割过程，得到视网膜血管分割图。

【技术特征摘要】
1.一种结合多尺度特征卷积神经网络视网膜血管图像分割方法，其特征是，首先，对视网膜图像进行适当地预处理，包括进行限制性对比度自适应直方图均衡处理和伽马亮度调整；同时，针对视网膜图像数据较少的问题进行数据扩增，对实验图像进行裁剪分块，其次，通过构建结合多尺度特征的视网膜血管分割网络，将空间金字塔空洞池化引入编码—解码器结构卷积神经网络，通过多次迭代，自主进行模型参数的优化，实现像素级视网膜血管自动分割过程，得到视网膜血管分割图。2.如权利要求1所述的结合多尺度特征卷积神经网络视网膜血管图像分割方法，其特征是，具体细化步骤如下：步骤1：对视网膜血管图像进行预处理1)将彩色眼底图像转化为灰度图像；2)图像归一化处理；3)进行对比度受限的自适应直方图均衡化处理；4)进行伽马调整，调整图像亮度范围；5)将图像像素值进行归一化，由[0,255]的范围转化为[0,1]；步骤2：图像分块和构建训练样本，原始图像的尺寸为W×H，图像块的尺寸为p×p，在原始图像中选取一个区域提取图像块，其中横坐标范围为纵坐标范围为在上述区域内随机选取n个点作为图像块的中心，再裁剪出n个尺寸为p×p的图像块作为训练样本，其中，选定的图像块中心需确保在血管图像有效区域内，同时，对视网膜血管分割的标准图也进行同样的预处理，与训练数据一一对应，选取训练图像分块的1/10作为验证集，其余的样本作为训练集；步骤3：结合多尺度特征的卷积神经网络构建与训练过程；首先，构造一个编码—解码器结构的U型网络，用于血管图像的特征提取和分辨率恢复，该网络包括五个部分：输入层，卷积层，池化层，上采样层和输出层，构建的网络为：编码部分：输入层、两个卷积层、第一池化层、两个卷积层、第二池化层、解码部分：第一上采样层、两个卷积层、第二上采样层、两个卷积层、输出层，编码和解码部分构成了一个U型的分割网络；步骤4：构建测试样本；步骤5：测试过程，将测试图像块进行同样的预处理，再输入到已经训练好的网络进行测试，得到视网膜血管分割概率图...

【专利技术属性】
技术研发人员：唐晨，郑婷月，邱岳，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12