基于深度神经网络的黑色素瘤图片组织分割方法和系统技术方案

本发明专利技术公开了一种基于深度神经网络的黑色素瘤图片组织分割方法和系统，主要是利用深度神经网络技术来解决黑色素瘤的皮肤镜图片的组织分割问题，是一种用于医学图像的分析处理技术，主要是使用一种改进的深度神经网络结构建模，用已经有分割标签的皮肤镜图片训练该模型，然后训练好的模型对新的皮肤镜图片具有分割可疑组织的能力。本发明专利技术方法和系统旨在定位黑色素瘤皮肤镜图片中的可疑区域并对其进行像素级的分割；本发明专利技术使用了较新的深度学习技术，充分发挥其采集图像数据各种层次特征的能力，将其应用于建模过程中，能够较好的对可疑的皮肤组织进行定位、分割，能够为皮肤科医师的进一步分析提供很好的参考。

Method and system for tissue segmentation of melanoma pictures based on deep neural network

The invention discloses a method and a system for tissue segmentation of melanoma pictures based on a depth neural network, which mainly uses the depth neural network technology to solve the tissue segmentation problem of the dermoscopic pictures of melanoma, is an analysis and processing technology for medical images, and mainly uses an improved depth neural network. The collateral structure is modeled, and the model is trained with the dermoscopic images with segmentation labels. The trained model has the ability to segment suspicious tissue in the new dermoscopic images. The method and system of the invention aim at locating the suspicious area in the dermoscopic picture of melanoma and segmenting the suspicious area at pixel level; the invention uses the newer depth learning technology to fully utilize its ability of collecting various levels of features of the image data, and applies the method to the modeling process, and can better segment the suspicious skin group. Weaving positioning and segmentation can provide a good reference for further analysis of dermatologists.

【技术实现步骤摘要】
基于深度神经网络的黑色素瘤图片组织分割方法和系统
本专利技术涉及医学图像处理
，尤其是指一种基于深度神经网络的黑色素瘤图片组织分割方法和系统。
技术介绍
随着计算机技术、医学成像技术的发展以及社会医疗需求的逐年增加，医学数据特别是医学图像数据正在以前所未有的速度增加，对医学图像进行精确识别具有显而易见的社会意义和使用价值。同时，在计算机视觉和模式识别领域，深度学习中的有监督学习方式正成为理论和工业界的热点，取得了突破性的进展。鉴于传统的医学图像分析大多采用人工标注或者人工提取特征之后再使用机器学习这种做法，不仅费时费力、提取困难，而且还存在精度差等问题。黑色素瘤是一种多发于皮肤黑素细胞的癌症。它也是皮肤癌中致死率最高的一种癌症，约占皮肤癌中死亡率的75％。但是如果黑色素瘤能够在早期发现并给予得当的治疗的话，生存率是很高的。所以这就给早期黑色素瘤图片的分析提出了需求和挑战。皮肤镜技术的提出使得黑色素瘤的分析诊断更加方便也更加有效。皮肤镜是一种非侵入式的皮肤图像采集技术，能够获得放大的、识别度高的可疑区域的皮肤图像。它可以通过消除皮肤表面的反光、增强皮肤更深层次的视觉效果。所以这种设备被广泛的用于黑色素瘤的诊断并且能够获得比裸眼诊断更加准确的结果。但是，由皮肤科医师对这种皮肤镜图像进行直接的观察并得出结论依然是很费时间的，而且同样不能避免差错和主观性。所以为了方便皮肤科医师或者是自动诊断机制的进一步工作，对皮肤镜图片的预处理和分析工作就提出了需求。其中一个重要的预处理工作就是对皮肤镜图片进行病变组织的自动分割，这样的操作能够把可疑区域的位置和正常皮肤的边界划分开来，自动定位可疑区域的位置，构成“感兴趣区域”，为皮肤科医生的进一步诊断和分析带来了方便。可疑组织的分割框架如图1所示。从皮肤镜图像中进行组织分割是一项非常具有挑战性的工作。首先，黑色素瘤涉及的各种关于颜色、纹理、形状和尺寸的组内变异，病变部位在图片中的位置以及图片之间高度的视觉相似性，都使得自动组织分割变得十分困难。然后，病变组织和正常皮肤的边界在发病的早期阶段相对来说并不是那么清晰，这种模糊性又进一步增加了分割的难度。最后一点是人工因素的干扰，无论是天生的，比如毛发、血管，还是人为的，出现气泡、量度印记、色彩校正等等，都可能使病变组织变得模糊进而导致边界划分难度的增加。在之前提出的自动分割的解决方案中，人们趋向于用传统的图像处理方法来解决这个问题，主要是基于聚类、阈值、区域增长、颜色通道或者变形模型等等。这些解决方案不但需要用到大量的领域知识和启发式方法，有时候还是凭借运气和经验。最主要的局限是，这些方法取得非常有限的成果。最近随着深度学习的发展，特别是卷积神经网络在图像识别领域的流行，医学图像分析领域也取得了巨大的成果。也已经开始有人在黑色素瘤的图片分析方面应用了卷积神经网络，希望通过CNN的判别能力获取更好的效果。本专利技术就是一个比较新颖的基于深度神经网络的解决方案。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出了一种基于深度神经网络的黑色素瘤图片组织分割方法和系统，该方法和系统旨在定位黑色素瘤皮肤镜图片中的可疑区域并对其进行像素级的分割，使用了较新的深度学习技术，充分发挥其采集图像数据各种层次特征的能力，将其应用于建模过程中，能够较好的对可疑的皮肤组织进行定位、分割，能够为皮肤科医师的进一步分析提供很好的参考。为实现上述目的，本专利技术所提供的技术方案如下：基于深度神经网络的黑色素瘤图片组织分割方法，该方法由一个神经网络实现，此神经网络是一种用于图像语义分割的网络改进而来的深度神经网络，充分利用卷积神经网络能够隐式地进行图像特征提取并从数据中进行学习的优势，在样本数据有限的情况下，对模型进行端到端的训练，直接输出分割结果，最大程度的利用已有的数据，对黑色素瘤的皮肤镜图片进行可疑的皮损区域的组织分割；该方法能够把一张输入图片映射成另一张图片输出，输入的图片就是原始皮肤镜图片，输出图片就是分割后的图片，且输出图片是黑白两种颜色组成的单通道图片，其中，白色代表需要分割的可疑组织区域，黑色代表正常皮肤区域；所述方法按如下具体步骤执行：1)构建一种深度神经网络；2)加载皮肤镜数据，并把数据分成训练集、验证集和测试集，并对数据进行预处理；3)把步骤2)中准备好的训练集数据按某一指定批量的大小输入深度神经网络进行训练；4)在每次批处理训练后，用步骤2)中准备好的训练集和验证集上作网络前向运算，预测训练集和验证集的样本标记，根据评价指标绘制学习曲线，以此检验模型的泛化能力；同时使用“早停”机制，当经过设定的训练轮数，模型的评价指标没有提升的话，就使用验证集评价指标最高的一轮训练结果作为最终网络；5)当达到指定训练轮数或者“早停”机制启动之后或者用步骤2)中准备好的测试集进行测试模型效果，得到最终的神经网络模型；6)当需要对皮肤镜图片进行皮损区域分割的时候，将其输入最终得到的神经网络模型，直接输出分割结果。在步骤1)中，所述深度神经网络的结构由两部分构成，第一部分叫收缩路径，第二部分称为扩张路径，在收缩路径和扩张路径之间用两个全连接层连接起来；所述收缩路径的接收维度为N×M×D的三维数据作为输入，其中N、M、D分别代表长、宽和通道数，在实际中输入图片通道D为3，然后进行以下三个阶段的收缩操作：先对数据加入高斯噪声再依次输入三个卷积层和一个池化层，然后再对数据加入高斯噪声之后输入三个卷积层和一个池化层，接着再一次加入高斯噪声后输入三个卷积层和一个池化层，并增加随机失活操作，得到的数据拉伸成一维之后，作为全连接层输入；收缩路径中每个阶段卷积层中卷积核的个数都是上一个阶段的两倍，也就是说第二个阶段中卷积层的卷积核个数是第一个阶段中的两倍，而第三个阶段中卷积层的卷积核个数又是第二个阶段中的两倍；收缩路径主要用于提取和聚合上下文特征；所述扩张路径主要由卷积层和转置卷积层组成，其输入是经过全连接层之后再重塑成N×M×D的三维数据，然后同样对该数据进行三个阶段扩张操作：首先对该数据进行转置卷积，把长和宽放大为原来的两倍，然后再用跳跃连接把收缩路径中第三阶段收缩操作得到的数据和经过转置卷积放大的数据连接起来，进行D维度上的拼接，接着对该层随机失活之后输入三个卷积层；第二阶段扩张操作同样先对得到的数据进行转置卷积，把长和宽再扩大至两倍，然后再把收缩路径中第二阶段收缩操作得到的数据和放大后的数据进行D维度上的拼接，随机失活之后再输入三个卷积层；第三阶段扩张操作同样先对数据进行转置卷积，然后和第一次收缩操作得到的数据进行D维度上的拼接，随机失活之后输入三个卷积层；这三个阶段卷积核的个数逐阶段递减为前一个阶段的二分之一，所以扩张路径最后一个阶段的卷积核的数量和收缩路径第一阶段的卷积核数量是相同的；扩张路径主要用于把分割后的图片恢复到原始尺寸并对可疑组织的边界实现精确定位；两个全连接层中第一层的神经元个数为8192，并使用随机失活操作，第二层神经元的个数为32768，并在后面增加加入高斯噪声的操作；输出层由一个通道数为1，卷积核大小为1×1的卷积层构成，最后的输出为N×M×1的数据，表示成单通道的二维图像，像素值表示每个像素经过神经网络之后所得到的是否属于黑色素瘤的本文档来自技高网...

【技术保护点】
1.基于深度神经网络的黑色素瘤图片组织分割方法，其特征在于：该方法由一个神经网络实现，此神经网络是一种用于图像语义分割的网络改进而来的深度神经网络，充分利用卷积神经网络能够隐式地进行图像特征提取并从数据中进行学习的优势，在样本数据有限的情况下，对模型进行端到端的训练，直接输出分割结果，最大程度的利用已有的数据，对黑色素瘤的皮肤镜图片进行可疑的皮损区域的组织分割；该方法能够把一张输入图片映射成另一张图片输出，输入的图片就是原始皮肤镜图片，输出图片就是分割后的图片，且输出图片是黑白两种颜色组成的单通道图片，其中，白色代表需要分割的可疑组织区域，黑色代表正常皮肤区域；所述方法按如下具体步骤执行：1)构建一种深度神经网络；2)加载皮肤镜数据，并把数据分成训练集、验证集和测试集，并对数据进行预处理；3)把步骤2)中准备好的训练集数据按某一指定批量的大小输入深度神经网络进行训练；4)在每次批处理训练后，用步骤2)中准备好的训练集和验证集上作网络前向运算，预测训练集和验证集的样本标记，根据评价指标绘制学习曲线，以此检验模型的泛化能力；同时使用“早停”机制，当经过设定的训练轮数，模型的评价指标没有提升的话，就使用验证集评价指标最高的一轮训练结果作为最终网络；5)当达到指定训练轮数或者“早停”机制启动之后或者用步骤2)中准备好的测试集进行测试模型效果，得到最终的神经网络模型；6)当需要对皮肤镜图片进行皮损区域分割的时候，将其输入最终得到的神经网络模型，直接输出分割结果。...

【技术特征摘要】
1.基于深度神经网络的黑色素瘤图片组织分割方法，其特征在于：该方法由一个神经网络实现，此神经网络是一种用于图像语义分割的网络改进而来的深度神经网络，充分利用卷积神经网络能够隐式地进行图像特征提取并从数据中进行学习的优势，在样本数据有限的情况下，对模型进行端到端的训练，直接输出分割结果，最大程度的利用已有的数据，对黑色素瘤的皮肤镜图片进行可疑的皮损区域的组织分割；该方法能够把一张输入图片映射成另一张图片输出，输入的图片就是原始皮肤镜图片，输出图片就是分割后的图片，且输出图片是黑白两种颜色组成的单通道图片，其中，白色代表需要分割的可疑组织区域，黑色代表正常皮肤区域；所述方法按如下具体步骤执行：1)构建一种深度神经网络；2)加载皮肤镜数据，并把数据分成训练集、验证集和测试集，并对数据进行预处理；3)把步骤2)中准备好的训练集数据按某一指定批量的大小输入深度神经网络进行训练；4)在每次批处理训练后，用步骤2)中准备好的训练集和验证集上作网络前向运算，预测训练集和验证集的样本标记，根据评价指标绘制学习曲线，以此检验模型的泛化能力；同时使用“早停”机制，当经过设定的训练轮数，模型的评价指标没有提升的话，就使用验证集评价指标最高的一轮训练结果作为最终网络；5)当达到指定训练轮数或者“早停”机制启动之后或者用步骤2)中准备好的测试集进行测试模型效果，得到最终的神经网络模型；6)当需要对皮肤镜图片进行皮损区域分割的时候，将其输入最终得到的神经网络模型，直接输出分割结果。2.根据权利要求1所述的基于深度神经网络的黑色素瘤图片组织分割方法，其特征在于：在步骤1)中，所述深度神经网络的结构由两部分构成，第一部分叫收缩路径，第二部分称为扩张路径，在收缩路径和扩张路径之间用两个全连接层连接起来；所述收缩路径的接收维度为N×M×D的三维数据作为输入，其中N、M、D分别代表长、宽和通道数，在实际中输入图片通道D为3，然后进行以下三个阶段的收缩操作：先对数据加入高斯噪声再依次输入三个卷积层和一个池化层，然后再对数据加入高斯噪声之后输入三个卷积层和一个池化层，接着再一次加入高斯噪声后输入三个卷积层和一个池化层，并增加随机失活操作，得到的数据拉伸成一维之后，作为全连接层输入；收缩路径中每个阶段卷积层中卷积核的个数都是上一个阶段的两倍，也就是说第二个阶段中卷积层的卷积核个数是第一个阶段中的两倍，而第三个阶段中卷积层的卷积核个数又是第二个阶段中的两倍；收缩路径主要用于提取和聚合上下文特征；所述扩张路径主要由卷积层和转置卷积层组成，其输入是经过全连接层之后再重塑成N×M×D的三维数据，然后同样对该数据进行三个阶段扩张操作：首先对该数据进行转置卷积，把长和宽放大为原来的两倍，然后再用跳跃连接把收缩路径中第三阶段收缩操作得到的数据和经过转置卷积放大的数据连接起来，进行D维度上的拼接，接着对该层随机失活之后输入三个卷积层；第二阶段扩张操作同样先对得到的数据进行转置卷积，把长和宽再扩大至两倍，然后再把收缩路径中第二阶段收缩操作得到的数据和放大后的数据进行D维度上的拼接，随机失活之后再输入三个卷积层；第三阶段扩张操作同样先对数据进行转置卷积，然后和第一次收缩操作得到的数据进行D维度上的拼接，随机失活之后输入三个卷积层；这三个阶段卷积核的个数逐阶段递减为前一个阶段的二分之一，所以扩张路径最后一个阶段的卷积核的数量和收缩路径第一阶段的卷积核数量是相同的；扩张路径主要用于把分割后的图片恢复到原始尺寸并对可疑组织的边界实现精确定位；两个全连接层中第一层的神经元个数为8192，并使用随机失活操作，第二层神经元的个数为32768，并在后面增加加入高斯噪声的操作；输出层由一个通道数为1，卷积核大小为1×1的卷积层构成，最后的输出为N×M×1的数据，表示成单通道的二维图像，像素值表示每个像素经过神经网络之后所得到的是否属于黑色素瘤的分割结果：白色代表可疑组织区域，黑色代表正常皮肤区域。3.根据权利要求1所述的基于深度神经网络的黑色素瘤图片组织分割方法，其特征在于：在步骤2)中，所述数据是已有的皮肤镜图片及其对应的Ground-Truth图片，所述Ground-Truth图片是指已经标记好哪些像素属于可疑皮损区域，哪些像素属于正常皮肤组织的图片，是监督学习中的“标签”，这些图片主要用于训练皮肤镜图片组织分割模型；所述训练集用于训练模型，所述验证集用于模型选择，所述测试集用于最后评估模型的好坏；其中，数据预处理的工作包括如下预处理过程：2.1)把皮肤镜图片及其Ground-Truth根据需要以及硬件处理能力调整至统一大小；2.2)把Ground-Truth图片的像素值归一化到0～1之间；2.3)皮肤镜图片的RGB像素值减去ImageNet数据集对应三个通道的平均值，分别为123.68，103.939和116.779；2.4)由于类似的医学图像是有限的，直接训练很容易造成过拟合，所以使用数据增强策略加强模型的鲁棒性，防止过拟合；增强的操作包括图像旋转，水平和垂直方向上的翻转，添加随机噪声。4.根据权利要求1所述的基于深度神经网络的黑色素瘤图片组织分割方法，其特征在于：在步骤3)中，把预处理后的训练集输入搭建好的深度神经网络结构进行训练，训练集由原始的皮肤镜图片和作为标签的Ground-truth构成；其中，所述深度神经网络有如下改进和特征：a.使用Dice相关系数的负数作为损失函数，损失函数如下：Loss＝-2*TP/(2*TP+FN+FP)并使用jaccard系数作为模型效果...

【专利技术属性】
技术研发人员：柏朋成，赵跃龙，张声超，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44