基于逐像素点深度卷积网络上皮和基质组织自动分割方法技术

本发明专利技术公开了一种基于逐像素点深度卷积网络上皮和基质组织自动分割的方法，包括以下步骤：病理图像预处理操作；构造训练集与测试集；构建一个深度卷积神经网络模型(DCNN)；对测试集中的图像像素点进行预测，得到分类结果。并根据分类结果进行伪彩色；本发明专利技术以图像像素点为研究对象，和传统的基于块的上皮和基质自动分割算法进行对比，在相同的实验条件下，本发明专利技术的方法更准确，效果更好；本发明专利技术方法在分割结果的同时在原图上做出展示，便临床医生直接观看，并在此基础上做出后续诊断。

Automatic segmentation method for epithelial and matrix tissue based on pixel by point depth convolution

The invention discloses a method for pixel depth of epithelial and stromal tissue convolutional network based on automatic segmentation, which comprises the following steps: pathological image preprocessing; construct the training set and the test set; construct a convolutional neural network model (DCNN); to predict the image pixels in the test set, classification results. And pseudo color according to the classification results; the invention to image pixels as the research object, and the traditional block of epithelial and stromal based on automatic segmentation algorithm were compared under the same experimental conditions, the present method is more accurate, the effect is better; and the method of the invention in the segmentation results to display in the image. We make the following direct viewing of clinicians, and on the basis of diagnosis.

【技术实现步骤摘要】
基于逐像素点深度卷积网络上皮和基质组织自动分割方法
本专利技术涉及病理图像信息处理
，特别是基于逐像素点深度卷积网络上皮和基质组织自动分割方法。
技术介绍
上皮组织和基质是乳房组织中的两类基本组织。80％的乳腺肿瘤起源于乳腺中的上皮组织，所以现在有一些学者致力于将计算机辅助诊断系统应用于对病理图像中的上皮和基质组织的异质性分析。自动的鉴别上皮和基质组织是量化这种异质性的前提，这样才使得对上皮细胞核进行单独分析成为可能。然而，由于病理组织图像所具有的复杂性，成功的将两类组织分离是一个具有挑战性的课题。1)名副其实的大数据：对于一张完整的病理组织全扫描切片，其尺寸约为100000×700000个像素点，存储在计算机上需要占用1.43个G的硬盘空间，这种高分辨率、大尺度图像对计算机硬件和图像分析算法都是非常具有挑战性的。2)病理组织结构类型复杂，而且形态差异很大一张病理切片具有众多的病理结构类型，形态各异。即便是相同的组织，其结构、形态也会千奇百怪。因此难以用一个固定的模型来描述，又大大的提高了对模型鲁棒性的要求。3)不同病理等级其组织异质性高随着癌症等级的提高，正常组织的边界不断被癌细胞腐蚀，上皮和基质组织之间的边界信息越来越模糊。而模糊的边界又提高了分割模型的准确性要求。4)其他挑战组织图像的背景复杂、噪声大，存在染色不均匀性和成像质量的问题。由于H&E染色(苏木精-伊红染色)的病理图像能体现病理组织复杂的形态特征，从而在临床中被广泛使用。但是在H&E图像中，不仅背景复杂、图像噪声大，还存在由于切片染色制作过程中产生的染色不均匀，不正确染色等等问题。此外不同的扫描仪成像以及成像质量等问题。这些方面都会对图像处理分析算法带来巨大挑战。虽然存在着上述的挑战，依然有着不少学者在病理图像的上皮和基质组织自动分割中做出了贡献，推动研究的发展。与传统的方法不同，深度学习在大量数据的基础上通过组合低层特征来形成更加抽象的高层次的特征。随着深度学习和大数据分析研究的不断深入，使人们的研究目标从简单的图像转变为复杂的大型的图像。而病理组织学图像所具有的复杂性正好符合这一点。
技术实现思路
本专利技术所要解决的技术问题是克服现有技术的不足，而提供一种基于逐像素点深度卷积网络上皮和基质组织自动分割的方法，与基于块的上皮和基质组织分割方法相比，无论是从定性结果还是定量结果来看，分类的准确率都得到了较大的提升。本专利技术为解决上述技术问题采用以下技术方案：根据本专利技术提出的一种基于逐像素点深度卷积网络上皮和基质组织自动分割的方法，包括以下步骤：步骤1、对所有病理图像进行预处理操作，去除掉病理图像与病理图像之间的颜色亮度差异；步骤2、随机选取预处理后的部分病理图像作为训练样本，其余作为测试样本；步骤3、根据人工标注的组织区域图，从训练样本中的上皮和基质组织内部选取块；步骤4、根据人工标注的组织区域图，从训练样本中的上皮和基质组织边缘选取块；步骤5、将步骤3与步骤4得到的块进行整合并随机分为训练集与测试集；步骤6、构建一个深度卷积神经网络模型DCNN，该模型包含了卷积层、池化层、线性纠正函数激活函数、局部响应归一化层以及分类器；采用步骤5中的训练集和测试集训练该深度卷积神经网络模型；步骤7、取出步骤2的测试样本中的一张病理图像，以病理图像中每个点为中心，构造一个Q×Q的块；其中，Q为深度卷积神经网络输入尺寸的大小；步骤8、将步骤7中构造的块输入到步骤6训练好的深度卷积神经网络模型中，得到分类结果。作为本专利技术所述的一种基于逐像素点深度卷积网络上皮和基质组织自动分割的方法进一步优化方案，根据步骤8得到的分类结果进行伪彩色。作为本专利技术所述的一种基于逐像素点深度卷积网络上皮和基质组织自动分割的方法进一步优化方案，Q为32。作为本专利技术所述的一种基于逐像素点深度卷积网络上皮和基质组织自动分割的方法进一步优化方案，所述步骤4具体如下：根据人工标注的组织区域图，找到训练样本中的上皮和基质组织的边界线，对边界线进行膨胀操作得到边界线附近的点的坐标，以这些点为中心构建32×32的块，若中心点落在上皮组织中，则将该块认为是上皮组织小块，反之则是基质组织小块。作为本专利技术所述的一种基于逐像素点深度卷积网络上皮和基质组织自动分割的方法进一步优化方案，所述步骤6中构建一个深度卷积神经网络模型DCNN，具体如下：采用Alex成功区分CIFAR-10数据时所使用的模型中的权重矩阵来初始化深度卷积神经网络；深度卷积神经网络的具体结构：1)卷积层假设滤波器组为每个输入大小为w1-1×w1-1的块通过m1×ml的滤波器滑过整张图像的局部感受域，并与每个局部感受域进行卷积操作，并输出结果；个滤波器一共生成个特征映射图，且每个映射图的大小为(wl-1-ml+1)×(wl-1-ml+1),这个线性滤波表示为其中，是一个l层的一个ml×ml的滤波器，ml代表网络结构第l层中滤波器的大小，是第l层滤波器组Wl中的滤波器的个数；2)线性纠正函数激活函数的表达式如下：3)池化层池化层的操作是在上一层卷积特征映射后进行一个下采样的金字塔操作，在局部的感受域范围内，提取其最大值或平均值作为下一层的特征值，非线性操作后，图像的特征map尺寸大小变为：其中，s是池化层操作的尺寸；4)局部响应归一化层用于局部做减和做除并归一化；5)输出层整个网络的最后一层就是输出层，输出层就是一个分类器，分类器的输入是神经网络的最后一层，分类器的输出是类别数，在深度卷积神经网络中，二分类的Softmax分类器的逻辑回归模型为：其中，x是样本的特征向量，T为转置符号，θ是参数；Softmax分类器的输入是DCNN网络的最后一层的输出，通过最小化如下的损失函数J(θ)得到Softmax分类器的参数θ；其中，m为样本数量，y(i)为第i个样本标记，x(i)为第i个样本的特征向量，k为类别数；θ代表所有的模型参数，如下所示：其中，是分类为第j类时所采用的参数，同时也是θ这个所有模型参数中的第j行，0<j<k+1且j为整数；根据得到的Softmax的参数θ，每一个通过滑动窗得到的图像块都会首先进行DCNN的前向传播得到特征向量x(i)，再被送到逻辑回归模型中得到一个0～1之间的概率值，最终图像块的类别为：其中，e为自然底数，k＝2，是分类为第l类时所采用的参数，同时也是θ这个所有模型参数中的第l行。本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：(1)在同样的实验条件下，本专利技术方法的检测准确率比基于像素块的分割方法准确率高；(2)本专利技术旨在对每个像素点分类，避免了基于像素块的分割中存在的不同种类的像素点被划分为一个块的问题；(3)本专利技术方法针对边缘组织，采取镜像边缘像素的方法来扩充边缘，从而来对它们进行分类；(4)本专利技术方法在分割结果的同时在原图上做出展示，便临床医生直接观看，并在此基础上做出后续诊断。附图说明图1为深度卷及神经网络的结构图。图2为深度卷及神经网络的实验整体流程图；其中，(a)为原始的H&E病理图像；(b)为从(a)中通过滑动窗口取出的32x32的小块；(c)为将小块输入到整个深度卷积神经网络(示意图)中，并得到分类结果；(d)为根据(c)中分类结果对(b)中本文档来自技高网...

【技术保护点】
一种基于逐像素点深度卷积网络上皮和基质组织自动分割的方法，其特征在于，包括以下步骤：步骤1、对所有病理图像进行预处理操作，去除掉病理图像与病理图像之间的颜色亮度差异；步骤2、随机选取预处理后的部分病理图像作为训练样本，其余作为测试样本；步骤3、根据人工标注的组织区域图，从训练样本中的上皮和基质组织内部选取块；步骤4、根据人工标注的组织区域图，从训练样本中的上皮和基质组织边缘选取块；步骤5、将步骤3与步骤4得到的块进行整合并随机分为训练集与测试集；步骤6、构建一个深度卷积神经网络模型DCNN，该模型包含了卷积层、池化层、线性纠正函数激活函数、局部响应归一化层以及分类器；采用步骤5中的训练集和测试集训练该深度卷积神经网络模型；步骤7、取出步骤2的测试样本中的一张病理图像，以病理图像中每个点为中心，构造一个Q×Q的块；其中，Q为深度卷积神经网络输入尺寸的大小；步骤8、将步骤7中构造的块输入到步骤6训练好的深度卷积神经网络模型中，得到分类结果。

【技术特征摘要】
1.一种基于逐像素点深度卷积网络上皮和基质组织自动分割的方法，其特征在于，包括以下步骤：步骤1、对所有病理图像进行预处理操作，去除掉病理图像与病理图像之间的颜色亮度差异；步骤2、随机选取预处理后的部分病理图像作为训练样本，其余作为测试样本；步骤3、根据人工标注的组织区域图，从训练样本中的上皮和基质组织内部选取块；步骤4、根据人工标注的组织区域图，从训练样本中的上皮和基质组织边缘选取块；步骤5、将步骤3与步骤4得到的块进行整合并随机分为训练集与测试集；步骤6、构建一个深度卷积神经网络模型DCNN，该模型包含了卷积层、池化层、线性纠正函数激活函数、局部响应归一化层以及分类器；采用步骤5中的训练集和测试集训练该深度卷积神经网络模型；步骤7、取出步骤2的测试样本中的一张病理图像，以病理图像中每个点为中心，构造一个Q×Q的块；其中，Q为深度卷积神经网络输入尺寸的大小；步骤8、将步骤7中构造的块输入到步骤6训练好的深度卷积神经网络模型中，得到分类结果。2.根据权利要求1所述的一种基于逐像素点深度卷积网络上皮和基质组织自动分割的方法，其特征在于，根据步骤8得到的分类结果进行伪彩色。3.根据权利要求1所述的一种基于逐像素点深度卷积网络上皮和基质组织自动分割的方法，其特征在于，Q为32。4.根据权利要求3所述的一种基于逐像素点深度卷积网络上皮和基质组织自动分割的方法，其特征在于，所述步骤4具体如下：根据人工标注的组织区域图，找到训练样本中的上皮和基质组织的边界线，对边界线进行膨胀操作得到边界线附近的点的坐标，以这些点为中心构建32×32的块，若中心点落在上皮组织中，则将该块认为是上皮组织小块，反之则是基质组织小块。5.根据权利要求4所述的一种基于逐像素点深度卷积网络上皮和基质组织自动分割的方法，其特征在于，所述步骤6中构建一个深度卷积神经网络模型DCNN，具体如下：采用Alex成功区分CIFAR-10数据时所使用的模型中的权重矩阵来初始化深度卷积神经网络；深度卷积神经网络的具体结构：1)卷积层假设滤波器组为每个输入大小为wl-1×wl-1的块通过ml×ml的滤波器滑过整张图像的局部感受域，并与每个局部感受域进行卷积操作，并输出结果；个滤波器一共生成个特征映射图，且每个映射图的大小为(wl-1-ml+1)×(wl-1-ml+1),这个线性滤波表示为其中，是一个l层的一个ml×ml的滤波器，ml代...

【专利技术属性】
技术研发人员：徐军，骆小飞，周超，刘利卉，郎彬，季卫萍，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32