一种基于深度学习的黑色素瘤皮肤病的分类识别方法技术

一种基于深度学习的黑色素瘤皮肤病的分类识别方法，将原始图像、采用类激活图剪切的图像、医生手工分割的病变区域二值掩膜图像分别进行数据预处理；采用图像分类网络，将它们最后一层进行联合，三种训练集图片分别输入这三个网络，图片正向输入网络，并通过反向传播最小化代价函数更新权值，求出对第一类非增值性损伤皮肤病分类效果最优组合；先采用联合网络1对第一类皮肤病单独分类，再使用联合网络2将剩余数据中的第二类皮肤病分类出来；剩余的就是恶性皮肤病，得到皮肤病分类准确率1；再得到皮肤病分类准确率2；得到皮肤病分类准确率3；将最高的准确率作为最终的结果。本发明专利技术有效提高黑色素瘤皮肤病分类识别率。

A classification and recognition method for melanoma skin diseases based on deep learning

A classification and recognition method for melanoma skin diseases based on depth learning is proposed. The original image, the image cut by class activation graph and the binary mask image of the diseased area manually segmented by the doctor are preprocessed separately. The last layer is combined by the image classification network, and the three training sets are separated. Input these three networks, picture forward input network, and update the weight through the back-propagation minimization cost function to find the best combination of the first category of non-value-added skin lesions classification effect; first use the joint network 1 to classify the first category of skin lesions separately, and then use the joint network 2 to classify the second category of skin lesions in the remaining data. The remaining is malignant skin diseases, get the classification accuracy of skin diseases 1; then get the classification accuracy of skin diseases 2; get the classification accuracy of skin diseases 3; the highest accuracy as the final result. The invention can effectively improve the classification and recognition rate of melanoma dermatosis.

【技术实现步骤摘要】
一种基于深度学习的黑色素瘤皮肤病的分类识别方法
本专利技术涉及一种新型的黑色素瘤皮肤病识别方法，该方法通过联合多种深度学习网络模型，旨在提高黑色素瘤皮肤病识别的正确率，具体来说是根据不同的深度网络模型对不同类别的皮肤病分类识别具有不同的效果，通过联合不同的网络模型采取二次分类步骤，并采用多种特征图来进一步提高黑色素瘤皮肤病分类识别率的方法。
技术介绍
黑色素瘤(melanoma，MM)，又称恶性黑色素瘤，是来源于黑色素细胞的一类恶性肿瘤，常见于皮肤，亦见于黏膜、眼脉络膜等部位。黑色素瘤是皮肤肿瘤中恶性程度最高的瘤种，容易出现远处转移，是致命的一种皮肤病，其病因和发病机制尚不明确。由于该病临床及病理类型较多，易与色素痣(nevus，NS)、脂溢性角化病(seborrheickeratosis，SK)等相混淆。并且部分色素痣与黑色素瘤发生发展也有一定关系，因此色素痣尤其获得性色素痣与黑素瘤难以鉴别，盲目活检和手术切除造成很多不必要的创伤，因此，寻求无创性从色素痣、脂溢性角化病等鉴别出黑色素瘤的方法具有重要的意义。临床上，无创性的鉴别一般是皮肤科医生通过观察患者皮肤患病处的状况帮助进行诊断，而诊断的准确率完全有赖于经验的积累，但由于经验丰富的医生相对较为匮乏。随着计算机技术的快速发展，基于图像的诊断技术成为无创性视诊的重要替代方案。一些基于机器学习和计算机视觉技术的传统分类识别方法相继被提出来，但由于存在特征提取等诸多问题，效果不尽理想。深度学习是机器学习中一种基于对数据进行表征学习的方法，通过使用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征，在目标的检测、识别、分类等领域有着广泛的应用。然而传统的目标分类识别的策略大多数还是采用单一的深度学习网络，并采用单一特征的训练集进行微调神经网络模型，这种单一的模型和单一特征训练集用于黑色素瘤的分类存在两方面问题：(1)黑色素瘤数据样本偏少由于黑色素瘤皮肤疾病的数据收集非常困难，存在诸多约束、干扰以及涉及隐私等法律问题，因此公开的黑色素瘤皮肤病数据集的图片样本数量远不如ImageNet等公开数据集那么丰富。(2)数据不均衡黑色素瘤皮肤病中的数据比例严重失衡，例如，恶性皮肤病数据在不同年龄段、肤色、性别、国籍所占比例完全不同，而这一部分数据恰恰是前期诊断能有效治疗，后期诊断死亡率极高的一部分数据。众所周知,深度神经网络需要大量的数据集进行充分的训练，数据的缺乏和不均衡导致神经网络对图像的分类识别的效果有限。同时，鉴于不同的深度学习模型对数据具有一定的依赖性，即：某种神经网络模型对不同种类的数据训练效果具有差异性，例如，某个网络可能对脂溢性角化病(seborrheickeratosis)的分类效果很好，但是对色素痣(nevus)分类效果却不好。
技术实现思路
为了克服已有黑色素瘤皮肤病的分类方式的样本偏少、数据不均衡导致的分类识别率较低的不足，本专利技术提供一种有效提高黑色素瘤皮肤病分类识别率的基于深度学习的黑色素瘤皮肤病的分类识别方法，通过联合不同的神经网络模型，以分阶段分类的过程，多种类型训练图片输入，从而让网络训练更充分，提高网络模型的分类准确率。本专利技术解决其技术问题所采用的技术方案是：一种基于深度学习的黑色素瘤皮肤病的分类识别方法，所述方法包括以下步骤：步骤1：采用类激活图的方法，找到图像中对网络分类结果影响比较大的区域，并将该部分进行裁剪；步骤2：将医生手动分割的病变区域的二值掩膜图像作为一种单独的训练数据；步骤3：将原始图像、采用类激活图剪切的图像、医生手工分割的病变区域二值掩膜图像分别进行数据预处理；步骤4：采用图像分类网络，将它们最后一层进行联合，步骤3中三种训练集图片分别输入这三个网络，图片正向输入网络，并通过反向传播最小化代价函数更新权值，求出对第一类非增值性损伤皮肤病分类效果最优组合，命名为联合网络1；步骤5：同理求出对第二类良性但对健康有害的细胞增值和第三种恶性肿瘤网络最优组合方式，分别命名联合网络2、联合网络3；步骤6：先采用联合网络1对第一类皮肤病单独分类，再使用联合网络2将剩余数据中的第二类皮肤病分类出来；剩余的就是恶性皮肤病，得到皮肤病分类准确率1；步骤7：先采用联合网络2对第二类皮肤病单独分类，再使用联合网络1将剩余数据中的第一类皮肤病分类出来；剩余的就是恶性皮肤病，得到皮肤病分类准确率2；步骤8：直接使用联合网络3对第三类恶性皮肤病分类，得到皮肤病分类准确率3；步骤9：比较准确率1、准确率2、准确率3，将最高的准确率作为最终的结果。进一步，所述步骤4和步骤5中，对于不同网络进行联合处理，要求每个网络最后的全连接层任取两个神经元，因此三个网络得到的六个神经元；将这六个神经元与两个输出节点全连接，将会得到12条连接，它们的初始权重任意选取。将原图、剪切后的类激活图、二值掩膜图分别输入不同的网络，进行前向传播得到网络预测的结果，该结果与图像的标签计算loss函数，根据该loss函数，进行反向传播重新优化权重。如此反复迭代，直至loss函数收敛到设定阈值。所述步骤4中，所述图像分类网络为Inception-ResNet-v2、GoogLenet和VGGNet神经网络。本专利技术的有益效果主要表现在：通过联合不同的神经网络模型，以分阶段分类的过程，多种类型训练图片输入，从而让网络训练更充分，提高网络模型的分类准确率。附图说明图1为本专利技术的总流程图。图2为本专利技术的类激活图产生过程。图3为本专利技术的某一种网络联合示意图；具体实施方式下面结合附图对本专利技术作进一步描述。参照图1～图3，一种基于深度学习的黑色素瘤皮肤病的分类识别方法，采用联合网络训练数据的方法，是通过联合多个网络，以多网络训练数据代替传统的单一网络训练数据，从而更彻底地学习图像中特征信息。该多网络联合方法包括以下步骤：步骤1：由于皮肤病图像中有大量的干扰信息，比如毛发、暗角、刻度比例等等，这些信息将严重干扰深度学习网络的训练，因此首先对皮肤病图像进行数据增强，采用类激活图的方法，找到图像中对网络分类结果影响比较大的区域，并将该部分进行剪切。剪切后的图像由于减少了大量的干扰信息，可以作为第一种训练神经网络数据。步骤2：医生在判定皮肤病的时候，很大程度上依赖病变区域的形状比例。因此将医生手动分割的病变区域的二值掩膜图像作为第二种训练神经网络数据。步骤3：由于类激活图和二值掩膜图减少了大量干扰信息，训练阶段效果很好，但是在测试阶段泛化性较差，因此将带有大量干扰信息的原图作第三种训练神经网络数据。将原始图像、采用类激活图[1]法剪切的图像、医生手工分割的病变区域二值掩膜图像分别进行数据预处理，包括旋转、镜像、均值处理等。步骤4：采用目前分类效果最好的Inception-ResNet-v2、GoogLenet、VGGNet三种神经网络的不同组合方式进行联合。将第一种训练数据输入网络一，第二种训练数据输入网络二，第三种数据输入网络三。不同的种类数据输入不同类型的网络，根据排列组合可以得到27种组合方式，具体如表1：表1具体网络联合方式如图3所示：三种不同训练数据，输入三种不同的网络，这里假设都为Inception-ResNet-v2网络。下载已经在ImageNet数据集上预训练过本文档来自技高网...

【技术保护点】
1.一种基于深度学习的黑色素瘤皮肤病的分类识别方法，其特征在于，所述方法包括以下步骤：步骤1：采用类激活图的方法，找到图像中对网络分类结果影响比较大的区域，并将该部分进行裁剪；步骤2：将医生手动分割的病变区域的二值掩膜图像作为一种单独的训练数据；步骤3：将原始图像、采用类激活图剪切的图像、医生手工分割的病变区域二值掩膜图像分别进行数据预处理；步骤4：采用图像分类网络，将它们最后一层进行联合，步骤3中三种训练集图片分别输入这三个网络，图片正向输入网络，并通过反向传播最小化代价函数更新权值，求出对第一类非增值性损伤皮肤病分类效果最优组合，命名为联合网络1；步骤5：同理求出对第二类良性但对健康有害的细胞增值和第三种恶性肿瘤网络最优组合方式，分别命名联合网络2、联合网络3；步骤6：先采用联合网络1对第一类皮肤病单独分类，再使用联合网络2将剩余数据中的第二类皮肤病分类出来；剩余的就是恶性皮肤病，得到皮肤病分类准确率1；步骤7：先采用联合网络2对第二类皮肤病单独分类，再使用联合网络1将剩余数据中的第一类皮肤病分类出来；剩余的就是恶性皮肤病，得到皮肤病分类准确率2；步骤8：直接使用联合网络3对第三类恶性皮肤病分类，得到皮肤病分类准确率3；步骤9：比较准确率1、准确率2、准确率3，将最高的准确率作为最终的结果。...

【技术特征摘要】
1.一种基于深度学习的黑色素瘤皮肤病的分类识别方法，其特征在于，所述方法包括以下步骤：步骤1：采用类激活图的方法，找到图像中对网络分类结果影响比较大的区域，并将该部分进行裁剪；步骤2：将医生手动分割的病变区域的二值掩膜图像作为一种单独的训练数据；步骤3：将原始图像、采用类激活图剪切的图像、医生手工分割的病变区域二值掩膜图像分别进行数据预处理；步骤4：采用图像分类网络，将它们最后一层进行联合，步骤3中三种训练集图片分别输入这三个网络，图片正向输入网络，并通过反向传播最小化代价函数更新权值，求出对第一类非增值性损伤皮肤病分类效果最优组合，命名为联合网络1；步骤5：同理求出对第二类良性但对健康有害的细胞增值和第三种恶性肿瘤网络最优组合方式，分别命名联合网络2、联合网络3；步骤6：先采用联合网络1对第一类皮肤病单独分类，再使用联合网络2将剩余数据中的第二类皮肤病分类出来；剩余的就是恶性皮肤病，得到皮肤病分类准确率1；步骤7：先采用联合网络2对第二类皮肤病单独分类，再使用联合网络1将剩余数据中的第一类...

【专利技术属性】
技术研发人员：胡海根，王海洋，苏一平，管秋，肖杰，陈胜勇，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33