基于三维卷积神经网络的视网膜OCT图像的分类方法技术

本发明专利技术公开了一种基于三维卷积神经网络的视网膜OCT图像的分类算法，包括以下步骤：S01：采集三种视网膜OCT图像，对三种视网膜进行分类标记；S02：数据预处理，对三维OCT图像数据进行降采样，得到统一大小的三维图像用于输入三维卷积神经网络；S03：根据迁移学习思想，用大量标记好的自然图像预训练一个三维卷积神经网络模型；S04：用预处理好的视网膜OCT图像对训练好的三维卷积神经网络模型进行微调，在主流网络中间的卷积层后加入分支网络，将主流网络和所述分支网络的输出层进行融合；S05：将测试图像按照S02步骤进行预处理，利用S04中微调后的所述三维卷积神经网络模型进行测试，输出分类结果。本发明专利技术具有可以对三维视网膜OCT图像进行分类以及提高分类准确性的特点。

A classification algorithm for retinal OCT images based on three-dimensional convolution neural network

The invention discloses a classification method of retinal OCT image 3D convolution based on neural network, which comprises the following steps: S01: three OCT retinal image acquisition, classification mark of three kinds of retina; S02: data preprocessing, 3D OCT image data were subsampled and obtain a three-dimensional image of the same size for 3D input neural network convolution; S03: according to the migration theory, with a large number of labeled natural image pre training a 3D convolution neural network model; S04: OCT image of three-dimensional retinal volume the trained neural network model with product fine-tuning pre, in the middle of the mainstream network layer convolution branch network will join. The output layer of the main network and the branch network integration; S05: the test of image preprocessing in accordance with S02 steps, the use of S04 in the fine-tuning The three dimensional convolution neural network model is used to test and output the classification results. The present invention has the characteristics of classifying the three-dimensional OCT image of the retina and improving the accuracy of the classification.

【技术实现步骤摘要】
基于三维卷积神经网络的视网膜OCT图像的分类算法
本专利技术涉及一种基于三维卷积神经网络的视网膜OCT图像的分类算法，属于视网膜图像分类

技术介绍
现有的视网膜自动分类技术大部分基于眼底彩照或者小视野的视网膜OCT，即以黄斑为中心或者以视神经乳头为中心的视网膜OCT图像。相比较眼底彩照，OCT图像具有无创、高速、高分辨率、三维成像等优点，不过OCT图像中视网膜分类目前仍面临诸多挑战：图像各类之间差异不明显，图像本身存在大量斑噪声等。这些问题使得传统的方法很难取得较为精确的分类效果。卷积神经网络具有强大的学习能力，其在医学图像分类(例如，乳腺X线肿瘤图像的分类、CT肺间质图像的分类、糖尿病性视网膜眼底彩照分类等)中已取得了巨大的成功。所以考虑将该框架用于视网膜OCT图像分类的任务中。然而，以上的医学图像都是二维图像，都使用二维卷积神经网络来达到分类效果，由于OCT图像为三维图像，直接使用传统的二维卷积神经网络对图像进行分类存在不足：(1)二维网络结构不能利用图像的三维空间信息，会损失很多有用信息，从而限制了模型的分类性能；(2)卷积神经网络为多层学习网络，传统的方法只是对网络的最后一层进行监督，忽略了中间层监督对模型分类效果的影响。
技术实现思路
本专利技术所要解决的技术问题是，提供一种可以对三维视网膜OCT图像进行分类，提高分类准确性的基于三维卷积神经网络的视网膜OCT图像的分类算法。为解决上述技术问题，本专利技术采用的技术方案为：基于三维卷积神经网络的视网膜OCT图像的分类算法，包括以下步骤：S01：采集三种视网膜OCT图像，分别是以黄斑为中心的视网膜OCT图像、以视神经乳头为中心的视网膜OCT图像和以大视野为中心的视网膜OCT图像，将所述三种视网膜每种分类标记为2类，分别是正常视网膜图像和异常视网膜图像；S02：数据预处理，对三维OCT图像数据进行降采样，得到统一大小的三维图像用于输入三维卷积神经网络；S03：根据迁移学习思想，用大量标记好的自然图像预训练一个三维卷积神经网络模型，所述三维卷积神经网络模型包括输入层、若干卷积层、若干池化层、若干全连接层以及输出层；S04：用预处理好的视网膜OCT图像对训练好的三维卷积神经网络模型进行微调，在主流网络中间的卷积层后加入分支网络，所述分支网络利用多层感知卷积进一步提取图像局部信息，所述分支网络同样由卷积层、池化层、全连接层和输出层组成，将主流网络和所述分支网络的输出层进行融合；S05：将测试图像按照S02步骤进行预处理，利用S04步骤中微调后的所述三维卷积神经网络模型进行测试，输出分类结果。采用三维线性插值的方法，对所有三维OCT图像进行降采样，得到96×96×16尺寸大小的三维图像。所述训练好的三维卷积神经网络模型主流网络包括1个输入层、8个卷积层、5个池化层、2个全连接层和1个输出层，从1到8卷积层的滤波器个数分是64,128,256,256,512,512,512,512，卷积核大小是3×3×3，每个全连接层有4096个输出，输出层有6个输出，所述池化层均采用最大池化法。所述分支网络加在第4个卷积层后。所述分支网络所述分支网络采用平均池化方法对第4卷积层进行降采样，包括1个池化层、2个卷积层、2个全连接层和1个输出层。所述输出层采用Softmax分类器。步骤S04中所述融合采用最大概率融合方法。本专利技术所达到的有益效果：小视野的OCT图像只能获取视网膜部分结构信息，大视野的OCT图像不仅能获取以黄斑为中心的视网膜信息，而且能获取以视神经乳头为中心的视网膜信息，结合两种小视野图像和大视野图像这三种OCT图像，能够获取更加全面的视网膜信息，本专利技术据此提出来一种分类方法，可以更全面分析视网膜信息，从而可以提高视网膜分类算法的鲁棒性；由于医学图像数据量较少，根据迁移学习的思想，因为自然图像与医学图像的底部特征是相似的，可以利用大量的自然图像来预训练三维卷积神经网络，再用OCT图像进行微调，利用三维卷积神经网络可以提取图像三维信息，直接对三维OCT图像进行处理，采用主流网络结合分支网络，可以利用好局部信息，提高分类结果的准确性，提高卷积神经网络的识别精度，还可以将其应用于数据量较少的领域，采用从中间加入分支网络，避免了太靠前只能利用少量局部信息以及太靠后只能利用整体信息，通过多次试验，加在第4卷积层后效果最好。附图说明图1是本专利技术构建的三维卷积神经网络模型；图2是根据三种不同的扫描位置得到三种视网膜OCT图像，(a)为眼底彩照，(b)为以大视野为中心的视网膜OCT图像，(c)为以视神经乳头为中心的视网膜OCT图像，(d)为以黄斑为中心的视网膜OCT图像。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。实施例1基于三维卷积神经网络的视网膜OCT图像的分类算法，包括以下步骤：S01：采集三种视网膜OCT图像，分别是以黄斑为中心的视网膜OCT图像、以视神经乳头为中心的视网膜OCT图像和以大视野为中心的视网膜OCT图像，如图1所示，将所述三种视网膜每种分类标记为2类，分别是正常视网膜图像和异常视网膜图像，这6类为：大视野不正常视网膜OCT图像(ANW)、大视野正常视网膜OCT图像(NW)、以黄斑为中心的不正常视网膜OCT图像(ANM)、以黄斑为中心的正常视网膜OCT图像(NM)、以视神经乳头为中心的不正常视网膜OCT图像(ANO)和以视神经乳头为中心的正常视网膜OCT图像(NO)；S02：数据预处理，对三维OCT图像数据进行降采样，采用三维线性插值的方法，对所有三维OCT图像进行降采样，得到统一96×96×16尺寸大小的三维图像用于输入三维卷积神经网络；S03：根据迁移学习思想，用大量标记好的自然图像预训练一个三维卷积神经网络模型，所述三维卷积神经网络模型包括输入层、若干卷积层、若干池化层、若干全连接层以及输出层，所述训练好的三维卷积神经网络模型主流网络包括1个输入层、8个卷积层、5个池化层、2个全连接层和1个输出层，从1到8卷积层的滤波器个数分是64,128,256,256,512,512,512,512，卷积核大小是3×3×3，每个全连接层有4096个输出，输出层有6个输出，所述池化层均采用最大池化法。所述输出层采用Softmax分类器输出每个输入图像属于每个类的概率，选择概率最大的作为该输入图片的类别，使用随机梯度下降法对卷积神经网络的权重进行求解；S04：用预处理好的视网膜OCT图像对训练好的三维卷积神经网络模型进行微调，在主流网络中间的卷积层后加入分支网络，所述分支网络利用多层感知卷积进一步提取图像局部信息，所述分支网络同样由卷积层、池化层、全连接层和输出层组成，包括1个池化层、2个卷积层、2个全连接层和1个输出层，所述分支网络加在第4个卷积层后，采用平均池化方法对第4卷积层进行降采样，采用平均池化方法进行降采样，将主流网络和所述分支网络的输出层进行融合，采用最大概率融合方法，输出属于概率最大的类别；S05：将测试图像按照S02步骤进行预处理，利用S04中微调后的所述三维卷积神经网络模型进行测试，输出分类结果。实验结果我们在873个数据上进行了本专利技术方法的测试。采用了三本文档来自技高网...

【技术保护点】
基于三维卷积神经网络的视网膜OCT图像的分类算法，其特征是，包括以下步骤：S01：采集三种三维视网膜OCT图像，分别是以黄斑为中心的视网膜OCT图像、以视神经乳头为中心的视网膜OCT图像和以大视野为中心的视网膜OCT图像，将所述三种视网膜OCT图像每种分类标记为2类，分别是正常视网膜图像和异常视网膜图像；S02：数据预处理，对三维视网膜OCT图像数据进行降采样，得到统一大小的三维图像用于输入三维卷积神经网络；S03：根据迁移学习理论，用大量标记好的自然图像预训练一个三维卷积神经网络模型，所述三维卷积神经网络模型包括输入层、若干卷积层、若干池化层、若干全连接层以及输出层；S04：用预处理好的三维视网膜OCT图像对训练好的三维卷积神经网络模型进行微调，在三维卷积神经网络模型主流网络中间的卷积层后加入分支网络，所述分支网络利用多层感知卷积进一步提取图像局部信息，所述分支网络同样由卷积层、池化层、全连接层和输出层组成，将所述主流网络和所述分支网络的输出层进行融合；S05：将测试图像按照S02步骤进行预处理，利用S04步骤中微调后的所述三维卷积神经网络模型进行测试，输出分类结果。

【技术特征摘要】
1.基于三维卷积神经网络的视网膜OCT图像的分类算法，其特征是，包括以下步骤：S01：采集三种三维视网膜OCT图像，分别是以黄斑为中心的视网膜OCT图像、以视神经乳头为中心的视网膜OCT图像和以大视野为中心的视网膜OCT图像，将所述三种视网膜OCT图像每种分类标记为2类，分别是正常视网膜图像和异常视网膜图像；S02：数据预处理，对三维视网膜OCT图像数据进行降采样，得到统一大小的三维图像用于输入三维卷积神经网络；S03：根据迁移学习理论，用大量标记好的自然图像预训练一个三维卷积神经网络模型，所述三维卷积神经网络模型包括输入层、若干卷积层、若干池化层、若干全连接层以及输出层；S04：用预处理好的三维视网膜OCT图像对训练好的三维卷积神经网络模型进行微调，在三维卷积神经网络模型主流网络中间的卷积层后加入分支网络，所述分支网络利用多层感知卷积进一步提取图像局部信息，所述分支网络同样由卷积层、池化层、全连接层和输出层组成，将所述主流网络和所述分支网络的输出层进行融合；S05：将测试图像按照S02步骤进行预处理，利用S04步骤中微调后的所述三维卷积神经网络模型进行测试，输出分类结果。2.根据权利要求1所述的基于三维卷积神经网络的视网膜OCT图像的分...

【专利技术属性】
技术研发人员：陈新建，刘云，
申请(专利权)人：苏州比格威医疗科技有限公司，
类型：发明
国别省市：江苏,32