一种基于CAM的皮质白内障图像处理及增强方法技术

本发明专利技术公开了一种基于CAM的皮质白内障图像处理及增强方法，涉及机器视觉及医学影像计算机辅助诊断领域，包括以下步骤：1.利用皮质白内障图像样本数据集训练出最优网络模型，通过最优网络模型提取待处理皮质白内障图像的图像特征；2.输入待处理皮质白内障图像，并根据最优网络模型和图像特征获取皮质白内障图像样本数据集的类激活图，得到特征区域图像；3.基于类激活图，生成作为蒙版使用的监督裁剪盒SCB，并根据蒙版裁剪用于图像处理的增强图像。本方法可以预测白内障图像中最能代表其特征的区域，有利于辅助医生判断特征区域位置。基于蒙版对图像进行裁剪，可以在保留原始图像关键信息的前提下扩充后续图像处理的数据，提高了样本数据的利用率。

An Image Processing and Enhancement Method for Cortical Cataract Based on CAM

The invention discloses a method for cortical cataract image processing and enhancement based on CAM, which relates to the field of computer-aided diagnosis of machine vision and medical images, including the following steps: 1. Training the optimal network model by using the sample data set of cortical cataract image, extracting the image features of the cortical cataract image to be processed by the optimal network model; 2. Input the cortical cataract to be processed. Image, and according to the optimal network model and image features to obtain the class activation map of cortical cataract image sample data set, get the feature area image; 3. Based on the class activation map, generate the supervised clipping box SCB used as mask, and clip the enhanced image for image processing according to mask. This method can predict the most representative area of cataract image, and help doctors to determine the location of the feature area. The image clipping based on mask can expand the data of subsequent image processing while retaining the key information of the original image, and improve the utilization rate of sample data.

【技术实现步骤摘要】
一种基于CAM的皮质白内障图像处理及增强方法
本专利技术涉及机器视觉及医学影像计算机辅助诊断领域，具体涉及一种基于CAM的皮质白内障图像处理及增强方法。
技术介绍
白内障是最容易引起失明的眼科疾病，目前，中国已确诊白内障患者多达3500万人，而且每年还以8％-10％的速度递增。由于白内障患者的病患部位在外，具有视觉可变性，所以可以利用机器视觉等技术对患者的体检照片进行自动处理，辅助医生进行诊断，从而减轻医生工作负担和误诊率，提高医生的工作效率。然而，在医学辅助诊断过程中，提取出医学图像中病理特征最明显的区域可以有效地帮助医生排除无关区域的干扰，将注意力集中于关键区域。但是，由于医学领域的特殊性，导致难以获得大量的有效图像数据，无法满足深度学习需要的庞大的数据量需求，因此，需要一种能够适用于医学领域的小样本学习的方法，尤其是在疾病样本十分稀有，并且肉眼难以分辨的情况下。在小样本学习中，数据增强是一种常用的方法，然而一般的非监督数据增强方法可能因为参数设置不当而破坏原始图像信息，因此，需要一种监督数据增强方法来产生更合理的增强数据。目前，针对于皮质白内障的辅助诊断，对其图像处理的方法主要包括以下几类：1、基于原始图像样本，人为地设计灰度、纹理、能量等特征，然后通过最大期望算法(ExpectationMaximization，EM)、逻辑回归(LogisticRegression，LR)等分类器进行概率分析。该方法的优点是特征维度低，处理速度快。但该方法的缺点更明显，这些特征的选取取决于人的主观经验，可能出现特征不完善，冗余甚至毫无关系的情况。所以该方法最终效果不尽人意。2、使用诸如特征包(BagofFeatures，BOF)等方法对提取的特征进行线性组合，再利用群体稀疏回归(GroupSparsityRegression，GSR)等方法进行概率分析。该方法通过对特征的进一步组合，可以学习出一个表示特征的字典，从而提炼出更为典型的特征。但该方法的缺点也和上一方法相同，即所用的特征必须事先决定好，而且这种使用局部特征来表示全局的方法其实难以处理图像中的几何信息。3、利用基于卷积递归等结构的深度学习网络模型完成特征提取和概率分析的一体化，或者基于深度学习网络模型提取特征后采用支持向量机(SupportVectorMachine，SVM)、随机森林(RandomForests，RF)等分类器进行概率分析。广泛的实验证明了这种自动提取特征的方法在处理医学图像上的效果远胜于以上人工定义特征的方法。但其缺点也较为明显，需要大量的样本来支持网络模型的学习，也需要大量的时间来进行训练。
技术实现思路
本专利技术的目的在于：为解决医学领域的图像样本数量少而不适用于训练深度学习网络模型以及人为选定图像样本特征的不完善、而基于分类的网络模型无法帮助医生确定图像的特征区域的问题，提供了一种基于CAM的皮质白内障图像处理及增强方法。本专利技术采用的技术方案如下：一种基于CAM(ClassActivationMap，类激活图)的皮质白内障图像处理及增强方法，包括以下步骤：步骤1.利用皮质白内障图像样本数据集训练出最优网络模型，通过最优网络模型提取待处理皮质白内障图像的图像特征；步骤2.输入待处理皮质白内障图像，并根据最优网络模型和图像特征获取皮质白内障图像样本数据集的类激活图，得到特征区域图像；步骤3.基于类激活图，生成作为蒙版使用的监督裁剪盒SCB，并根据蒙版裁剪用于图像处理的增强图像。进一步地，步骤1中，训练出最优网络模型的具体步骤如下：步骤1.1.去除深度学习网络模型中处理特定数据的全连接层，并在去除的全连接层原有位置依次加入一个用于压缩参数的全局均值池化层、将高维张量展平到行向量的全连接层及随机初始化的分类器，得到新型神经网络模型；步骤1.2.基于新型神经网络模型，将皮质白内障图像样本数据集分割为训练样本集、验证样本集和测试样本集，并对训练样本集、验证样本集和测试样本集中所有图像样本进行去中心化和标准化处理，得到训练集、验证集和测试集；步骤1.3.基于训练集，利用带有学习率衰减的Adam优化器以分类交叉熵为损失函数训练出原始分类网络模型；训练过程中，将得到的分类网络模型计算训练集和验证集的损失值，并根据训练集的损失值更新分类网络模型；若验证集的损失值在时间期限q内不下降，则将学习率下调为调整前的学习率的m倍，直至其损失值开始下降；若通过调整学习率无法使损失值下降，则终止训练；其中，分类交叉熵的计算公式如下：其中，M表示图像样本类别总数，c表示图像样本的类别，y(o，C)表示图像样本o是否归为类别c，p(o，c)表示图像样本o归为类别c的预测概率；步骤1.4.基于验证集，利用网格搜索法对超参数集合D中元素进行搜索，找出原始分类网络模型的最优参数，并利用最优参数重新训练原始分类网络模型，得到最优网络模型。进一步地，所述超参数集合D包括Adam优化器使用的学习率初始值和衰减系数、学习率调整倍数m、时间期限q、判断学习率不下降的次数的上限值p、训练出一个原始分类网络模型所需时间s。进一步地，步骤2中，得到特征区域图像的具体步骤如下：步骤2.1.输入待处理皮质白内障图像，并通过最优网络模型中最后一层卷积层响应待处理皮质白内障图像，得到特征图集T；步骤2.2.基于步骤1得到的图像特征，利用CAM获取最优网络模型的所有类激活图，其中，得到类激活图的计算公式如下：其中，k表示最优网络模型中最后一层的卷积核数量，w(c，i)表示第i张特征图对判别类别c的贡献度，x表示待处理皮质白内障图像，y表示待处理皮质白内障图像的类别，fi(x，y)表示特征图集T中的第i张特征图；步骤2.3.找出步骤2.2得到的不同类别的类激活图中响应最大的一类类激活图，将该所属该类别的类激活图归一化，并利用双线性差值方法将其放大到待处理皮质白内障图像大小，得到标准化类激活图；步骤2.4.线性融合标准化类激活图和待处理皮质白内障图像，得到特征区域图像。进一步地，步骤3的具体步骤如下：步骤3.1.将类激活图响应大于数值A的区域均记为最高响应区域(HighestRespondArea，HRA)，并判断最高响应区域HRA之间是否连通；若连通，则将所有最高响应区域HRA连通后的区域A的最小外接矩形记为最高响应盒(HighestRespondBox，HRB)；若不连通，则将最高响应区域HRA之间最大的连通域的最小外接矩形记为最高响应盒HRB；步骤3.2.将类激活图响应小于数值B的区域均记为目标区域(AnchorArea，AA)，并判断目标区域AA之间是否连通；若连通，则将所有目标区域AA连通后的区域B的最小外接矩形作为目标盒(AnchorBox，AB)；若不连通，则将所有连通域中包含最高响应盒HRB的一个连通域的最小外接矩形中最大的矩形作为目标盒AB；步骤3.3.在类激活图上任取一个与目标盒AB大小相等的盒子，在保证该盒子能完全包含最高响应盒HRB的前提下，该盒子能够存在的所有区域的集合记为监督裁剪盒(SupervisedCropBox，SCB)；步骤3.4.将目标盒AB作为蒙版，对皮质白内障图像样本数据集中所有图像样本进行裁剪，作为图像处理的原始数据；步骤3.5.从监督裁剪盒SCB中本文档来自技高网...

【技术保护点】
1.一种基于CAM的皮质白内障图像处理及增强方法，其特征在于，包括以下步骤：步骤1.利用皮质白内障图像样本数据集训练出最优网络模型，通过最优网络模型提取待处理皮质白内障图像的图像特征；步骤2.输入待处理皮质白内障图像，并根据最优网络模型和图像特征获取皮质白内障图像样本数据集的类激活图，得到特征区域图像；步骤3.基于类激活图，生成作为蒙版使用的监督裁剪盒SCB，并根据蒙版裁剪用于图像处理的增强图像。

【技术特征摘要】
1.一种基于CAM的皮质白内障图像处理及增强方法，其特征在于，包括以下步骤：步骤1.利用皮质白内障图像样本数据集训练出最优网络模型，通过最优网络模型提取待处理皮质白内障图像的图像特征；步骤2.输入待处理皮质白内障图像，并根据最优网络模型和图像特征获取皮质白内障图像样本数据集的类激活图，得到特征区域图像；步骤3.基于类激活图，生成作为蒙版使用的监督裁剪盒SCB，并根据蒙版裁剪用于图像处理的增强图像。2.根据权利要求1所述的一种基于CAM的皮质白内障图像处理及增强方法，其特征在于，步骤1中，训练出最优网络模型的具体步骤如下：步骤1.1.去除深度学习网络模型中处理特定数据的全连接层，并依次加入一个全局均值池化层、全连接层及分类器，得到新型神经网络模型；步骤1.2.基于新型神经网络模型，将皮质白内障图像样本数据集分割为训练样本集、验证样本集和测试样本集，并对训练样本集、验证样本集和测试样本集中所有图像样本进行去中心化和标准化处理，得到训练集、验证集和测试集；步骤1.3.基于训练集，利用带有学习率衰减的Adam优化器以分类交叉熵为损失函数训练出原始分类网络模型；训练过程中，将得到的分类网络模型计算训练集和验证集的损失值，并根据训练集的损失值更新分类网络模型；若验证集的损失值在时间期限q内不下降，则将学习率下调为调整前的学习率的m倍，直至其损失值开始下降；若通过调整学习率无法使损失值下降，则终止训练；其中，分类交叉熵的计算公式如下：其中，M表示图像样本类别总数，c表示图像样本的类别，y(o，c)表示图像样本o是否归为类别c，p(o，c)表示图像样本o归为类别c的预测概率；步骤1.4.基于验证集，利用网格搜索法对超参数集合D中元素进行搜索，找出原始分类网络模型的最优参数，并利用最优参数重新训练原始分类网络模型，得到最优网络模型。3.根据权利要求2所述的一种基于CAM的皮质白内障图像处理及增强方法，其特征在于，所述超参数集合D包括Adam优化器使用的学习率初始值和衰减系数、学习率调整倍数m、时间期限q、判断学习率不下降的次数的上限值p、训练出一个原始分类网络模型所需时间s。4.根据权利要求1所述的一种基于CAM...

【专利技术属性】
技术研发人员：王卓然，贺晨，袁国慧，彭真明，曲超，范文澜，赵浩浩，张鹏年，赵学功，何艳敏，蒲恬，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51