一种病理切片中非常规细胞的分割方法技术

本发明专利技术公开一种病理切片中非常规细胞的分割方法，包括：将病理切片中的细胞处理为单独的透明背景的预分割细胞图像，给每张预分割图像的每个像素点分配像素标签；使用贴图方法，使这些预分割细胞图像随机分布在白色背景上，并以一定概率使细胞重合，形成伪输入图像，并获取对应的全图像素标签，记为真值标签；以伪输入图像与真值标签为训练数据训练Mask‑RCNN，使其具有检测非常规细胞边界方框与预测方框内像素标签的能力；将未经过标记的新病理切片输入收敛的Mask‑RCNN检测出未分割的病理切片中的非常规细胞，通过后处理得到最终分割结果。本发明专利技术提供的分割方法能有效降低标注时间与成本，并能短时间内产生大量训练数据，能够较好地的大量数据进行拟合。

A segmentation method for unconventional cells in pathological slices

The invention discloses a method for segmentation of unconventional cells in pathological sections, which includes: processing cells in pathological sections into pre-segmented cell images with a separate transparent background, assigning pixel labels to each pixel of each pre-segmented image, and using mapping method, making these pre-segmented cell images randomly distributed in white. In the background, the pseudo-input image is formed by overlapping cells with a certain probability, and the corresponding full-image pixel label is acquired and recorded as the truth label; Mask_RCNN is trained with the pseudo-input image and the truth label as the training data, so that it has the ability to detect the pixel label in the unconventional cell boundary box and the prediction box; The labeled new pathological sections were input convergent ask RCNN to detect the unconventional cells in the undivided pathological sections, and the final segmentation results were obtained by post-processing. The segmentation method provided by the invention can effectively reduce the labeling time and cost, generate a large number of training data in a short time, and can better fit a large number of data.

【技术实现步骤摘要】
一种病理切片中非常规细胞的分割方法
本专利技术属于医疗影像数据处理领域，具体涉及一种病理切片中非常规细胞的分割方法。
技术介绍
图像实例语义分割(InstanceSemanticSegmentation)是计算机视觉的一个重要研究方向，其任务是通过计算机算法在图像中使用方形框标出图像中的物体数量，并对框中的每个像素预测类别标签，完成在框中的语义分割。实例语义分割任务在自动驾驶，工业制造，罪犯追踪等场景中都有着重要应用。在医疗影像中，语义分割常常被用于分割图像中的细胞、组织或器官等。在1998年LECUN等人首次提出了卷积神经网络(convolutionalneuralnetwork,NCC)LeNet模型被美国许多银行用来识别支票上的手写数字之后。各种不同架构的CNN模型如VGG，ResNet等在ImageNet竞赛中取得多次比赛的冠军，CNN在图像处理与目标识别领域被广泛应用，成为深度学习在图像处理领域的通用神经网络。CNN在语义分割中也被广泛使用：2014年，Long等人提出全卷积神经网络(FullyConvolutionalNetwork,FCN)，使得卷积神经网络无需全连接层就可进行密集的像素预测，实现了像素级别的分类，2017年KaimingHe提出的MaskR-CNN结构在实例语义分割任务上取得了很好的效果，并在ICCV2017会议上获得了最佳论文。专利CN107886515A公开了一种较快速、鲁棒性将高的图像分割方法，包括：根据多帧图像的特征，确定多帧图像中待分割图像的初始背景区域，进而确定适应于背景区域的基础矩阵；根据背景区域的基础矩阵，确定待分割图像的初始前景区域，根据初始前景区域，对待分割图像进行处理，确定待分割图像的分割结果。专利CN107871321A公开了一种极大提升图像分割精度和速度的方法。然而，由于医疗影像的分割与自然图像的差异较大，并存在着阴性数量较多的特点，直接将一般的语义分割模型运用在影像上往往效果不好，另外自然图像上的语义分割往往基于目标相对固定的形状特征，在病理切片的分割中，由于病理切片中非常规细胞的形状的容易聚集使大小、形状无规律性，给实例分割任务带来了极大的困难。
技术实现思路
本专利技术提供一种病理切片中非常规细胞的分割方法，该分割方法较传统分割方法更精确。本专利技术所述的常规细胞为人体正常细胞，非常规细胞与人体正常细胞相对应，为人体非正常形态细胞。所述的病理切片中非常规细胞的分割方法，具体包括以下步骤：(1)对电子扫描放大的病理切片进行预分割，得到单个细胞的透明背景的预分割细胞图像，同时对所得预分割细胞图像中的每个像素点分配像素标签；通过贴图方法及二元高斯分布分配法将所需预分割细胞图像随机分布在与输入病理切片大小一致的白色背景上，得到伪输入图像；所述分配的像素标签包括：背景标签、常规细胞标签和k种非常规细胞标签；对背景标签分配0标签，常规细胞分配1标签，k种非常规细胞分配2至k+1标签，其中k为大于等于1的整数；所述的预分割方法为：对病理切片中所有常规细胞与非常规细胞使用图像分割工具或专家标记处理为单个细胞的透明背景图像；作为优选，步骤(1)具体操作步骤为：对N张电子扫描20～40×放大的病理切片进行预分割，得到M张单个细胞的透明背景的预分割细胞图像，同时对所得M张预分割细胞图像中的每个像素点分配像素标签；通过贴图方法及二元高斯分布分配法将m张预分割细胞图像随机分布在与输入病理切片大小一致的白色背景上，得到伪输入图像；其中，M取1000～2000之间的整数，N为大于2000的整数，m为介于30至60之间的整数，具体使用数量m随机生成。所述步骤(1)中将所需预分割细胞图像随机分布在白色背景上的二元高斯分布分配法，具体操作步骤为：(1-1)在白色背景大小的平面上生成m个服从均值为μ，标准差为Σ的二元高斯分布，二元高斯分布的概率分布公式如下：其中，X，Y表示水平方向与垂直方向坐标值，ρ为X与Y之间的相关系数，为一个二维向量分别代表所生成点在X与Y方向上的中心坐标，为一个2×2的协方差矩阵；σxσy分别代表X方向和Y方向的协方差；m为介于30至60之间的整数；(1-2)将m个预分割细胞图像摆放在空白背景上，使其中心坐标与(2-1)生成的m个中心点坐标重合，细胞间的重叠部分使用透明度α合成边界；所述α介于0.2至0.5之间；(1-3)通过调整Σ矩阵中数值大小来微调细胞之间的间距和摆放形状；(1-4)通过调整均值μ的数值调整细胞的整体位置。使用步骤(1)生成伪输入图像的优点在于：每次的训练图像都是人为生成，并且能够同时获取完整的像素标签，使用这种方法能够重复生成大量的训练数据，并且有效降低标注时间与成本，并且此方法的精度与完全人工标记的训练样本相比精度不会相差太多。(2)根据步骤(1)中分配的像素标签，对伪输入图像中的每个细胞分配一个细胞边界方框位置并根据步骤(1)中分配的像素标签标记边界方框内细胞图像的每个像素点的标签，记为真值标签，保持真值标签与步骤(1)中对应的单个细胞像素一致；所述的分配边界方框位置的具体方法为：分别取得细胞真值标签不等于0的坐标中，最小x坐标x1、最大的x坐标x2、最小y坐标y1与最大y坐标y2，分配以(x1,y1)为左上角顶点，宽为x2–x1，高为y2-y1的边界框。(3)将步骤(1)中生成的伪输入图像与步骤(2)中的得到的真值标签作为训练数据训练Mask-RCNN模型，所述的Mask-RCNN使用ResNet-121为基础网络，网络的训练过程使用单阶段训练方式，直接使用RPN损失函数与Faster-RCNN损失函数相加作为最终损失函数，使用学习率为lr的随机梯度下降法最小化目标损失函数，直至收敛，获得收敛的MaskRCNN模型，使其具有检测非常规细胞边界方框与预测方框内像素标签的能力；所述lr的取值范围为10-5至10-3之间；所述RPN损失函数为边界框回归损失与二分类损失函数之和；所述Faster-RCNN损失函数为边界框回归损失、多分类交叉熵损失与Mask交叉熵损失之和，其中，边界框回归损失使用SmoothL1函数：其中，与y分别表示对该类别的预测概率与one-hot标签；多分类交叉熵损失CrossEntropy计算公式如下：其中，p、q表示预测分布与真实分布，与y分别表示对该类别的预测概率与one-hot标签。(4)将未经过标记的新病理切片，输入步骤(3)得到的收敛的Mask-RCNN模型，检测出B个最有可能含有非常规细胞的边界方框以及方框中每个像素点的概率值T，若T大于阈值t，则认为该像素为背景像素，记为0，否则取T最大值处的非常规细胞类别作为预测标签，所述预测标签使用后处理方法输出最终预测标签，作为分割结果；其中，B为10～100之间的整数，t为0.01～0.5之间的正数。所述的后处理方法具体步骤为：(4-1)使用稠密条件随机场(DenseCRF)算法对概率图进行处理，得到边缘平滑的预测标签图；(4-2)使用泛洪填充方法补全预测图内部的空洞部分；(4-3)使用小物体去除的方法去除预测预测标签中尺寸小于一个细胞大小的物体。本专利技术优选稠密条件随机场算法的有点在于：该算法输入预测分类概率图，输出的处理后的分类概率图能够将颜色相近，位置本文档来自技高网...

【技术保护点】
1.一种病理切片中非常规细胞的分割方法，包括：(1)对电子扫描放大的病理切片进行预分割，得到单个细胞的透明背景的预分割细胞图像，同时对所得预分割细胞图像中的每个像素点分配像素标签；通过贴图方法及二元高斯分布分配法将所需预分割细胞图像随机分布在与输入病理切片大小一致的白色背景上，得到伪输入图像；(2)根据步骤(1)中分配的像素标签，对伪输入图像中的每个细胞分配一个细胞边界方框位置并根据步骤(1)中分配的像素标签标记边界方框内细胞图像的每个像素点的标签，记为真值标签，保持真值标签与步骤(1)中对应的单个细胞像素一致；(3)将步骤(1)中生成的伪输入图像与步骤(2)中的得到的真值标签作为训练数据训练Mask‑RCNN模型，所述的Mask‑RCNN使用ResNet‑121为基础网络，网络的训练过程使用单阶段训练方式，直接使用RPN损失函数与Faster‑RCNN损失函数相加作为最终损失函数，使用学习率为lr的随机梯度下降法最小化目标损失函数，直至收敛，获得收敛的Mask RCNN模型，使其具有检测非常规细胞边界方框与预测方框内像素标签的能力；所述lr的取值范围为10‑5至10‑3之间；(4)将未经过标记的新病理切片，输入步骤(3)得到的收敛的Mask‑RCNN模型，检测出B个最有可能含有非常规细胞的边界方框以及方框中每个像素点的概率值T，若T大于阈值t，则认为该像素为背景像素，记为0，否则取T最大值处的非常规细胞类别作为预测标签，所述预测标签使用后处理方法输出最终预测标签，作为分割结果；其中，B为10～100之间的整数，t为0.01～0.5之间的正数。...

【技术特征摘要】
1.一种病理切片中非常规细胞的分割方法，包括：(1)对电子扫描放大的病理切片进行预分割，得到单个细胞的透明背景的预分割细胞图像，同时对所得预分割细胞图像中的每个像素点分配像素标签；通过贴图方法及二元高斯分布分配法将所需预分割细胞图像随机分布在与输入病理切片大小一致的白色背景上，得到伪输入图像；(2)根据步骤(1)中分配的像素标签，对伪输入图像中的每个细胞分配一个细胞边界方框位置并根据步骤(1)中分配的像素标签标记边界方框内细胞图像的每个像素点的标签，记为真值标签，保持真值标签与步骤(1)中对应的单个细胞像素一致；(3)将步骤(1)中生成的伪输入图像与步骤(2)中的得到的真值标签作为训练数据训练Mask-RCNN模型，所述的Mask-RCNN使用ResNet-121为基础网络，网络的训练过程使用单阶段训练方式，直接使用RPN损失函数与Faster-RCNN损失函数相加作为最终损失函数，使用学习率为lr的随机梯度下降法最小化目标损失函数，直至收敛，获得收敛的MaskRCNN模型，使其具有检测非常规细胞边界方框与预测方框内像素标签的能力；所述lr的取值范围为10-5至10-3之间；(4)将未经过标记的新病理切片，输入步骤(3)得到的收敛的Mask-RCNN模型，检测出B个最有可能含有非常规细胞的边界方框以及方框中每个像素点的概率值T，若T大于阈值t，则认为该像素为背景像素，记为0，否则取T最大值处的非常规细胞类别作为预测标签，所述预测标签使用后处理方法输出最终预测标签，作为分割结果；其中，B为10～100之间的整数，t为0.01～0.5之间的正数。2.根据权利要求1所述的病理切片中非常规细胞的分割方法，其特征在于，步骤(1)中，所述分配的像素标签包括：背景标签、常规细胞标签和k种非常规细胞标签；对背景标签分配0标签，常规细胞分配1标签，k种非常规细胞分配2至k+1标签，其中k为大于等于1的整数。3.根据权利要求1所述的病理切片中非常规细胞的分割方法，其特征在于，步骤(1)中所述的二元高斯分布分配法，包括以下步骤：(1-1)在白色背景的平面上生成m个服从均值为μ，标准差为Σ的二元高斯分布的中心点坐标，...

【专利技术属性】
技术研发人员：吴健，王彦杰，陈子仪，黄晓园，郝鹏翼，吴福理，吕卫国，陈为，叶德仕，吴朝晖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33