基于多尺度卷积神经网络的糖尿病视网膜病变分类方法技术

本发明专利技术公开了基于多尺度卷积神经网络的糖尿病视网膜病变分类方法，先将原始眼底图像进行归一化预处理，再以目标像素为中心，对预处理后的图像进行多尺度分割，得到不同尺度下的一系列形状、大小相同的图像序列。针对每个尺度，分别利用卷积神经网络模型对图像序列进行特征提取，得到不同尺度的特征并进行融合，针对融合后的特征来进行最后的分类，得到图像序列(即目标像素)的病变检测结果。将原始眼底图像上所有像素点的检测结果进行整合输出，即得到带有病变定位和分类的糖尿病视网膜病变检测结果图。本发明专利技术多尺度提取特征并融合，实现同时检测MAs和HEs两种病变的自适应尺度糖尿病视网膜病变，提高了糖尿病视网膜病变检测算法的性能。

【技术实现步骤摘要】
基于多尺度卷积神经网络的糖尿病视网膜病变分类方法
本专利技术涉及计算机视觉中的医学图像处理，更具体的，涉及一种基于多尺度卷积神经网络的糖尿病视网膜病变分类方法。
技术介绍
医学图像处理是近年来计算机视觉领域中最广泛的研究课题之一，糖尿病视网膜病变是致盲性慢性疾病之一，也是世界上可预防性失明的主要原因之一。该病治疗的关键在于早期诊断和干预治疗。基于彩色眼底图像的计算机辅助诊断技术可以显著提高早期糖尿病视网膜病变的筛查效率和有效性，因此基于该技术开发一种快速可靠的糖尿病视网膜病变病变智能检测方法是十分必要的。糖尿病视网膜病变检测的关键是病变的定位与分类，目前该领域的研究主要集中于如何定位和分类最重要的两种早期红色病变：微血管瘤和视网膜出血。这两种病变的定位与分类具有几大挑战性和难点：第一，微血管瘤是一种红色点状病变，通常稀疏地分布在视网膜黄斑和后极区域，体积小且数量少，这给定位带来了难度；第二，视网膜出血是一种暗红色或褐色的、形状和大小不规则的病变，由于颜色和血管以及眼底区域接近，给识别增加了难度；第三，微血管瘤与点状视网膜出血外观相似，这给区分这两种病变增加了难度。此外，眼底图像亮度不均匀且对比度低、红色病变分布复杂(例如位于血管附近或血管交叉处)等因素也是眼底病变识别的难点。人们对彩色眼底图像中微血管瘤和视网膜出血的定位和分类做了大量的工作。一般来说，这些方法可分为三类：形态学方法、基于统计的方法和有监督的机器学习方法。早期研究多采用形态学方法，这种方法的处理速度快且易于实现，但容易忽视图像中细微的结构和病变，且人工识别病变可能产生主观判断错误。基于统计的方法与形态学方法缺点相似，容易忽视隐藏的结构和病变，且统计模型包含很多参数，需要人工进行估计和调整。第三类方法涉及机器学习。卷积神经网络是一种有监督的机器学习方法，它很大程度上克服了上述提到的糖尿病视网膜病变检测方法的缺点和局限性。根据识别结果的精度，可以将基于卷积神经网络的方法分为图像级糖尿病视网膜病变检测和病变级糖尿病视网膜病变检测。图像级糖尿病视网膜病变检测算法，是用于区分不同的眼底图像病变程度(如正常/轻度/中度/重度)，但无法给出具体的病变位置，因此实际应用场景比较有限。病变级糖尿病视网膜病变检测算法，则是针对可能存在病变的眼底图像，进一步定位出图像中病变的位置，且对病变类型进行判断。对于病变级糖尿病视网膜病变检测，其研究的重难点在于如何准确定位出病变的位置，再进一步对病变进行分类。在糖尿病视网膜病变发展的过程中，可能有多种不同类型的病变同时出现，例如在病变早期，微血管瘤和点状视网膜出血常同时出现，且难以区分。因此有必要同时检测微血管瘤和视网膜出血这两种病变，并对它们进行定位和分类。现有的病变级糖尿病视网膜病变检测方法都有一个共同的缺点：只关注单一类型的病变。这是由于微血管瘤和视网膜出血在形状和大小上有巨大差异，而常用的检测方法是先将视网膜图像分割成一系列固定大小和形状的图像序列，再对图像序列依次进行病变检测，因此难以实现大小、形状不同的两类病变的同时精准检测。
技术实现思路
针对上述技术中的问题，本专利技术提供一种基于多尺度卷积神经网络的糖尿病视网膜病变分类方法，该方法在单尺度卷积神经网络模型基础上，通过提取多个不同尺度的图像序列特征来获取补充信息，并将不同尺度下的特征向量进行融合来获得能更好地代表该图像的特征向量，从而实现不同类型的糖尿病视网膜病变的定位和分类。为了实现上述专利技术目的，本专利技术采用的技术方案为：基于多尺度卷积神经网络的糖尿病视网膜病变分类方法，包括：(1)选取一系列眼底图像作为数据集进行糖尿病视网膜病变分类模型的训练和测试，数据集包括多张训练集和测试集；眼底图像涵盖从轻度非增殖性糖尿病视网膜病变到增生性糖尿病视网膜病变的图像；(2)对输入的眼底图像进行预处理，预处理包括目标区域提取和图像归一化；(3)将预处理后的眼底图像以1像素为滑动步长，分割成一系列以目标像素为中心的图像序列，图像大小为H*H，H的单位为像素，通过改变H的值来实现多尺度分割；其中对于训练集中的眼底图像，将分割成的图像序列标记为MA/HE/NON标签以供模型训练；(4)将步骤(3)得到的训练集的图像序列输入所述模型进行训练；(5)将待分类的眼底图像通过所述步骤(2)和(3)后得到不同尺度的一系列图像序列，将不同尺度的图像序列分别输入训练好的所述模型中，得到不同尺度的特征向量；将不同尺度的特征向量进行特征融合，生成融合特征向量，用分类器对融合特征向量进行分类，并输出该图像序列中心像素点的病变分类结果；整合输入的眼底图像中所有目标像素的分类结果后，得到该眼底图像的微血管瘤和视网膜出血两种病变检测结果图。进一步地，所述目标区域提取：提取的目标区域为覆盖视网膜70％以上的中心矩形区域，此区域内微血管瘤和视网膜出血这两种病变的分布最为密集；所述图像归一化，包括采用亮度均衡和对比度增强的方式。进一步地，所述多尺度分割：将眼底图像中的每个像素作为目标像素，以该目标像素为中心进行步长为1像素的滑动窗口分割，窗口大小为H*H，H的单位为像素，于是预处理后的图像被分割成一系列尺度为H的正方形图像序列，通过改变H的值来实现多尺度分割。进一步地，所述图像的中心像素的病变类型标记就代表该正方形图像的病变类型标记，病变类型标记包括MA、HE和NON，MA标记代表微血管瘤，HE标记代表视网膜出血，NON标记代表正常无病变；如果中心像素被标记为MA，则该图像被标记为MA；如果中心像素被标记为HE，则该图像被标记为HE；如果中心像素被标记为NON，则该图像被标记为NON。针对所述训练集中标记为NON的图像和标记为MA和HE的图像的数量不平衡的问题，解决方法包括：对标记为NON的图像增加其步长，和/或对标记为MA和HE的图像进行图像旋转和图像翻转。进一步地，所述步骤(4)：将图像输入基于ImageNet数据集预训练的VGG-16深层卷积神经网络模型的特征提取器来进行特征提取，将提取的特征向量进行特征融合，再将融合特征向量输入分类器，在分类器输出分类结果后，使用交叉熵损失函数计算分类结果与实际病变类型标记之间的损失值，再通过优化器对模型的参数进行调整，重复上述过程直到损失值小于规定的阈值，得到训练完毕的所述糖尿病视网膜病变分类模型；所述糖尿病视网膜病变分类模型包括特征融合层、分类层以及基于ImageNet数据集预训练的VGG-16深层卷积神经网络模型的特征提取器。进一步地，所述特征融合：采取空间特征融合方法，将多组相同维度的特征向量融合成一组特征向量，即通过空间特征融合，将多组VGG-16卷积神经网络模型的特征提取结果进行连接；针对多组相同维度的特征向量，采取加性融合函数进行融合，加性融合函数是对多个特征向量对应位置处的值加权求和，不同特征向量的权重之和为1；融合后特征向量的维度数不变；各个特征向量的权重通过所述分类模型训练得到，从而保证加性融合函数的权重是最优解。本专利技术具有以下有益效果：本文档来自技高网...

【技术保护点】
1.基于多尺度卷积神经网络的糖尿病视网膜病变分类方法，其特征在于，包括：/n(1)选取一系列眼底图像作为数据集进行糖尿病视网膜病变分类模型的训练和测试，数据集包括多张训练集和测试集；眼底图像涵盖从轻度非增殖性糖尿病视网膜病变到增生性糖尿病视网膜病变的图像；/n(2)对输入的眼底图像进行预处理，预处理包括目标区域提取和图像归一化；/n(3)将预处理后的眼底图像以1像素为滑动步长，分割成一系列以目标像素为中心的图像序列，图像大小为H*H，H的单位为像素，通过改变H的值来实现多尺度分割；其中对于训练集中的眼底图像，将分割成的图像序列标记为MA/HE/NON标签以供模型训练；/n(4)将步骤(3)得到的训练集的图像序列输入所述模型进行训练；/n(5)将待分类的眼底图像通过所述步骤(2)和(3)后得到不同尺度的一系列图像序列，将不同尺度的图像序列分别输入训练好的所述模型中，得到不同尺度的特征向量；将不同尺度的特征向量进行特征融合，生成融合特征向量，用分类器对融合特征向量进行分类，并输出该图像序列中心像素点的病变分类结果；整合输入的眼底图像中所有目标像素的分类结果后，得到该眼底图像的微血管瘤和视网膜出血两种病变检测结果图。/n...

【技术特征摘要】
1.基于多尺度卷积神经网络的糖尿病视网膜病变分类方法，其特征在于，包括：
(1)选取一系列眼底图像作为数据集进行糖尿病视网膜病变分类模型的训练和测试，数据集包括多张训练集和测试集；眼底图像涵盖从轻度非增殖性糖尿病视网膜病变到增生性糖尿病视网膜病变的图像；
(2)对输入的眼底图像进行预处理，预处理包括目标区域提取和图像归一化；
(3)将预处理后的眼底图像以1像素为滑动步长，分割成一系列以目标像素为中心的图像序列，图像大小为H*H，H的单位为像素，通过改变H的值来实现多尺度分割；其中对于训练集中的眼底图像，将分割成的图像序列标记为MA/HE/NON标签以供模型训练；
(4)将步骤(3)得到的训练集的图像序列输入所述模型进行训练；
(5)将待分类的眼底图像通过所述步骤(2)和(3)后得到不同尺度的一系列图像序列，将不同尺度的图像序列分别输入训练好的所述模型中，得到不同尺度的特征向量；将不同尺度的特征向量进行特征融合，生成融合特征向量，用分类器对融合特征向量进行分类，并输出该图像序列中心像素点的病变分类结果；整合输入的眼底图像中所有目标像素的分类结果后，得到该眼底图像的微血管瘤和视网膜出血两种病变检测结果图。


2.如权利要求1所述的方法，其特征在于，所述目标区域提取：提取的目标区域为覆盖视网膜70％以上的中心矩形区域，此区域内微血管瘤和视网膜出血这两种病变的分布最为密集；所述图像归一化，包括采用亮度均衡和对比度增强的方式。


3.如权利要求1所述的方法，其特征在于，所述多尺度分割：将眼底图像中的每个像素作为目标像素，以该目标像素为中心进行步长为1像素的滑动窗口分割，窗口大小为H*H，H的单位为像素，于是预处理后的图像被分割成一系列尺度为H的正方形图像序列，通过改变H的值来实现多尺度分割。


4.如权利要求3所述的方法，...

【专利技术属性】
技术研发人员：李杨，黎琪，彭成磊，都思丹，王杰，陈佟，周子豪，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32