基于深度学习的恶性黑色素瘤及非恶性黑色素痣分类方法技术

本发明专利技术公开了一种基于深度学习的恶性黑色素瘤及非恶性黑色素痣分类方法，本发明专利技术先获取数据，再进行数据预处理，然后对处理后的数据进行增强，接着进行小滑块级别的恶性、非恶性肿瘤分类，生成概率热力图，机器学习特征提取，最后基于病理图像级别的随机森林分类，本发明专利技术不仅仅得到了眼部超像素组织病理图像小滑块级别的非常好的实验结果，重点是实现自动分类组织病理图像为恶性或非恶性的一整套流程，构建了一个可以直接应用于临床辅助诊断的计算机辅助诊断(CAD)系统，并且准确率非常高。

Classification of malignant melanoma and non-malignant melanoma nevus based on in-depth learning

The invention discloses a method for classification of malignant melanoma and non-malignant melanoma nevus based on in-depth learning. The method first obtains data, then preprocesses the data, then enhances the processed data, then classifies malignant and non-malignant tumors at the small slider level, generates probability thermodynamic maps, extracts machine learning features, and finally based on the follow-up of pathological image level. Machine forest classification, the invention not only obtains very good experimental results at the small slider level of eye super-pixel tissue pathological images, but also focuses on a set of processes to automatically classify tissue pathological images as malignant or non-malignant, and constructs a computer-aided diagnosis (CAD) system that can be directly applied to clinical auxiliary diagnosis, with very high accuracy.

【技术实现步骤摘要】
基于深度学习的恶性黑色素瘤及非恶性黑色素痣分类方法
本专利技术涉及人工智能领域，涉及一种基于深度学习的眼部组织病理切片分类为恶性非恶性的方法。
技术介绍
黑色素痣为眼部常见的良性肿瘤，是表皮、真皮内黑色素细胞增多引起的皮肤表现。本病进展缓慢，多无自觉症状。个别类型的痣有转变为恶性的可能，从而危及生命安全。恶性黑色素瘤(Malignantmelanoma)是由皮肤和其他器官黑素细胞产生的恶性肿瘤。易发生转移，是由遗传性基因变异和所处环境的风险导致的。最重要的外源性致病因素是暴露在紫外线的照射中。恶性黑色素瘤多发生于皮肤，约占全身恶性肿瘤的1％，亦可见于消化道、生殖系统的黏膜，眼球及脑膜的脉络膜等处。恶性黑色素瘤虽然发病率低，但其恶性度高，转移发生早，死亡率高。恶性黑色素瘤公认的预后因素有：性别、年龄、部位、肿瘤Breslow厚度及肿瘤Clark浸润深度等。一般认为女性患者生存期明显长于男性隅，年轻患者比年老者生存期长。Breslow厚度>3mm皮肤患者的预后普遍较差，5年和10年无病生存率分别为35.5％和29.3％。肿瘤Clark浸润深度≤0.75mm者，5年生存率为89％，≥4mm者仅25％。恶性黑色素瘤不仅剥夺了病人的生命，同时给患者和家属造成了严重的精神负担和巨大的经济压力。如果恶性黑色素瘤能够及时确诊，并采取有效的治疗手段，能最大程度的改善患者的预后情况，增加患者的生存周期。(根据前文的数据可以明确得出，针对眼部黑色素瘤，早期发现治疗与晚期对比预后差距十分巨大。)所以，对于眼部黑色素痣和恶性黑色素瘤的准确诊断与鉴别具有极其重要的社会意义和实用价值。二者在外观上极其相似，只能依靠病理切片(病理标本的一种。制作时将部分有病变的组织或脏器经过各种化学品和埋藏法的处理，使之固定硬化，在切片机上切成薄片，粘附在玻片上，用苏木精－伊红(H&E)染色，供在显微镜下检查，以观察病理变化，作出病理诊断，为临床诊断和治疗提供帮助。)进行鉴别，病理是临床诊断的金标准。然而中国病理医生严重短缺、病理诊断水平参差不齐。眼科作为一个小专科，更加缺少对应方向的病理科医生。人工智能的辅助诊断系统可以很好地解决这些问题。
技术实现思路
本专利技术的目的是针对目前医疗资源严重不足的问题，提出一种基于深度学习的眼部恶性黑色素瘤与黑色素痣的分类方法，将深度学习与组织病理图像分类相结合，提高诊断恶性黑色素瘤的准确率与效率，减轻医生负担。本专利技术的技术方案是这样实现的：一种基于深度学习的眼部恶性黑色素瘤与黑色素痣的分类方法，该方法包含以下技术步骤：步骤1、数据获取从眼科病理中心获取眼部病理切片，扫描得到数字病理图像；数字病理图像通过医生标注分为恶性切片和非恶性切片，并作为数据集；再将数据集分为训练集、验证集、测试集；步骤2、数据预处理分别从训练集、验证集、测试集原始图像上裁剪出小滑块，其中验证集、测试集上裁剪出的小滑块采集尺寸相同，训练集上裁剪出的小滑块采集尺寸大于验证集、测试集上裁剪出的小滑块采集尺寸；其中恶性肿瘤切片从肿瘤区域裁剪，非恶性肿瘤切片从组织区域裁剪；步骤3、数据增强针对训练集样本不均衡问题，采用过采样方法，使正负样本均衡；同时为了提高模型的性能，保证泛化能力，使用多种数据增强方法来增加样本多样性，提升模型的性能；所述的多种数据增强方法包括随机水平/竖直翻转、随机旋转、边缘锐化和随机裁剪；步骤4、小滑块级别的恶性、非恶性肿瘤分类基于成熟的卷积神经网络，采用迁移学习，去均值方法，通过验证集对比试验得到最优超参数，最后得到基于小滑块分类性能最佳的模型；步骤5、概率热力图生成生成一张和原始数字病理图像相同尺寸的基于小滑块概率预测值的概率图，通过对应区域概率值回填的方法实现，最后通过可视化技术呈现预测值的热力图；步骤6、机器学习特征提取对生成的概率图提取特征，这些特征综合考虑了，肿瘤区域占组织区域百分比，肿瘤区域数量，最大肿瘤区域面积，肿瘤区域最长轴，周长，偏心距，矩形性，密实度对实际分类有决策作用的特征；步骤7、基于病理图像级别的随机森林分类方法将训练集、验证集概率图提取到的特征做为输入，训练分类器；将测试集特征输入进行预测，根据预测结果计算图像级别的分类评价指标；最后输出病理切片分类结果为恶性、非恶性。本专利技术的有益效果是：1)本专利技术提出了设计用于自动分类眼部H&E染色组织学图像为恶性或者非恶性的卷积神经网络。与先前大多数的方法不同，我们在六类医学相关性中进行图像分类：i)非肿瘤组织(包括正常、炎症等常见疾病)；ii)良性复合痣(compound_nevus)；iii)良性皮内痣(intradermal_nevus)；iv)良性交界痣(junctional_nevus)；v)眼睑上皮黑色素瘤(malignant)；vi)脉络膜黑色素瘤(choroidal_melanoma)进行图像分类。分类结果输出两类：恶性(包含眼睑上皮黑色素瘤和脉络膜黑色素瘤)；非恶性(非肿瘤组织、复合痣、皮内痣和交界痣)。2)基于小滑块(patch)级别分类以及基于病理切片图像(whole-slide)级别分类都有相应的评价指标。3)本专利技术不仅仅得到了眼部超像素组织病理图像小滑块级别的非常好的实验结果，重点是实现自动分类组织病理图像为恶性或非恶性的一整套流程，构建了一个可以直接应用于临床辅助诊断的计算机辅助诊断(CAD)系统，并且准确率非常高。目前取得的成果已经可以达到投入临床中辅助诊断，以此培训年轻医生的程度。附图说明图1为本专利技术基于深度学习的眼部恶性黑色素瘤与非恶性黑色素痣的小滑块识别方法以及图像识别方法的基本流程图。图2为本专利技术系统结构的详细说明图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步的说明。用于实施的硬件环境是：CPUIntel(R)Xeon(R)CPUE5-2630v4@2.20GHz，GPU是NVIDIAK80,运行环境是python2.7和TensorFlow。采用16层深度卷积神经网络和随机森林分类器串联的方法，网络拥有5段卷积，每一段内有2～3个卷积层，同时每段最后一层为最大汇聚层用来缩小图片尺寸。每段内的卷积核数量一样，越靠后的段的卷积核数量越多：64-128-256-512-512。两个串联的3×3卷积等价于一个5×5卷积，3个串联等价于一个7×7卷积。与此同时，串联的小卷积核结构比单独的大卷积核结构拥有更少的参数量，几乎只有后者的一半。最重要的是，3个3×3的卷积层拥有比1个7×7的卷积层更多的非线性变换(前者可以使用三次整流线性激活单元(ReLU)，而后者只有一次)，使得卷积神经网络对特征的学习能力更强，这也造就了网络的强大性能。随机森林(RandomForests)是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。该分类器同样需要经过训练才能投入使用，针对一些特征区分明显的任务分类效果非常好。如图1所示，本专利技术基于串联卷积神经网络和机器学习分类器的眼部恶性黑色素瘤及非恶性黑色素痣分类方法，包括眼部数字病理图像数据库、数据预处理、卷积神经网络串联机器学习分类器。具体步骤如下：A)数据获取：从两个眼科病理中心分别筛查、获取一批眼部病理切片，扫描得到数字病理图像，再经过本文档来自技高网...

【技术保护点】
1.基于深度学习的恶性黑色素瘤及非恶性黑色素痣分类方法，其特征在于：步骤1、数据获取从眼科病理中心获取眼部病理切片，扫描得到数字病理图像；数字病理图像通过医生标注分为恶性切片和非恶性切片，并作为数据集；再将数据集分为训练集、验证集、测试集；步骤2、数据预处理分别从训练集、验证集、测试集原始图像上裁剪出小滑块，其中验证集、测试集上裁剪出的小滑块采集尺寸相同，训练集上裁剪出的小滑块采集尺寸大于验证集、测试集上裁剪出的小滑块采集尺寸；其中恶性肿瘤切片从肿瘤区域裁剪，非恶性肿瘤切片从组织区域裁剪；步骤3、数据增强针对训练集样本不均衡问题，采用过采样方法，使正负样本均衡；同时为了提高模型的性能，保证泛化能力，使用多种数据增强方法来增加样本多样性，提升模型的性能；所述的多种数据增强方法包括随机水平/竖直翻转、随机旋转、边缘锐化和随机裁剪；步骤4、小滑块级别的恶性、非恶性肿瘤分类基于成熟的卷积神经网络，采用迁移学习，去均值方法，通过验证集对比试验得到最优超参数，最后得到基于小滑块分类性能最佳的模型；步骤5、概率热力图生成生成一张和原始数字病理图像相同尺寸的基于小滑块概率预测值的概率图，通过对应区域概率值回填的方法实现，最后通过可视化技术呈现预测值的热力图；步骤6、机器学习特征提取对生成的概率图提取特征，这些特征综合考虑了，肿瘤区域占组织区域百分比，肿瘤区域数量，最大肿瘤区域面积，肿瘤区域最长轴，周长，偏心距，矩形性，密实度对实际分类有决策作用的特征；步骤7、基于病理图像级别的随机森林分类方法将训练集、验证集概率图提取到的特征做为输入，训练分类器；将测试集特征输入进行预测，根据预测结果计算图像级别的分类评价指标；最后输出病理切片分类结果为恶性、非恶性。...

【技术特征摘要】
1.基于深度学习的恶性黑色素瘤及非恶性黑色素痣分类方法，其特征在于：步骤1、数据获取从眼科病理中心获取眼部病理切片，扫描得到数字病理图像；数字病理图像通过医生标注分为恶性切片和非恶性切片，并作为数据集；再将数据集分为训练集、验证集、测试集；步骤2、数据预处理分别从训练集、验证集、测试集原始图像上裁剪出小滑块，其中验证集、测试集上裁剪出的小滑块采集尺寸相同，训练集上裁剪出的小滑块采集尺寸大于验证集、测试集上裁剪出的小滑块采集尺寸；其中恶性肿瘤切片从肿瘤区域裁剪，非恶性肿瘤切片从组织区域裁剪；步骤3、数据增强针对训练集样本不均衡问题，采用过采样方法，使正负样本均衡；同时为了提高模型的性能，保证泛化能力，使用多种数据增强方法来增加样本多样性，提升模型的性能；所述的多种数据增强方法包括随机水平/竖直翻转、随机旋转、边缘锐化和随机...

【专利技术属性】
技术研发人员：丁隆乾，郑先斐，孙玲玲，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33