基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统技术方案

本发明专利技术涉及一种基于Mask‑RCNN的子宫颈细胞涂片的图像分割方法和系统，包括步骤：a、数据集构建步骤，包括训练数据集、验证数据集和测试数据集的准备与标注，以及数据集的归一化及预处理；b、模型的构建和训练步骤，构建基于Mask‑RCNN的图像分割模型并利用所述训练数据集训练该模型，以及利用所述验证数据集验证该模型的图像分割结果；c、模型的验证步骤，利用所述测试数据集测试该模型，同时利用相似性系数评价分割结果。本发明专利技术利用大量数据训练的深度神经网络模型可以通过对大量数据所包含的信息进行建模和抽象，从而可以实现通过单个模型对子宫颈细胞学涂片图像中的细胞、细胞核进行定位、检测及实例分割。

Image Segmentation Method and System of Cervical Cell Smear Based on Mask-RCNN

The present invention relates to an image segmentation method and system based on Mask_RCNN for cervical cell smear, including steps: A. data set construction steps, including preparation and annotation of training data set, validation data set and test data set, as well as normalization and preprocessing of data set; B. model construction and training steps to build an image segmentation model based on Mask_RCNN and use it. The training data set trains the model and validates the segmentation result of the model by using the validation data set. C. The validation steps of the model test the model by using the test data set, and evaluate the segmentation result by using the similarity coefficient. The deep neural network model trained by a large amount of data can be used to model and abstract the information contained in a large amount of data, thus realizing the localization, detection and instance segmentation of cells and nuclei in cervical cytology smear images by a single model.

【技术实现步骤摘要】
基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
本专利技术涉及计算机视觉和图像处理
，特别涉及一种基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
技术介绍
在世界范围内，子宫颈癌是女性第四大常见癌症死因。在病症早期及时发现，及时治疗可以很大程度上提高治愈率。因此，子宫颈癌的早期诊断对女性健康有重要的意义。现代最常用的诊断方式是巴氏涂片检查。巴氏涂片检查(PapTest)是一种子宫颈细胞学诊断方法，常用于检查子宫颈癌等疾病。随着医疗数字化的发展，现代医院逐渐摒弃了在显微镜下直接对巴氏涂片进行观察和诊断的传统方法，取而代之的是在计算机上通过检查巴氏涂片图像进行诊断。检查步骤是：首先，取得少量子宫颈细胞样品，制作细胞涂片；然后，通过高分辨率扫描仪扫描细胞涂片，生成子宫颈细胞涂片图像；最后，医生及病理专家通过计算机阅图工具观察细胞有无异常并做出诊断。数字化的图像具有易于存储管理，易于传输会诊，易于追溯回访且使用成本相对较低的优点。在诊断过程中，子宫颈涂片图像中各类组织细胞及其细胞核的形态，大小对判别诊断病变细胞会起到非常重要的作用。因此，细胞图像自动分割技术对于计算机辅助筛查，辅助诊断将会有很大的帮助。现有子宫颈细胞学图像分割技术主要有以下几种：中国专利CN102831607B，其通过图像处理算法对子宫颈细胞学图像进行光照矫正，滤除噪声及像素聚类方法进行细胞分割；然后基于细胞分割的结果推测细胞核的位置和形状。中国专利CN103984958A，其通过图像处理算法对子宫颈细胞学图像进行去噪，粗分割，色彩空间特征提取及聚类对图像区域进行粗分割，利用卷积神经网络分类器对粗分割的区域做分类。基于细胞分割的结果推测细胞核的大致位置，利用Sobel算子构造细胞核模板和细胞核细分割的结果。中国专利CN104992435A提出了一种宫颈单细胞的分割方法，基于单个细胞的图像利用灰度梯度及灰度梯度补偿算法对单个子宫颈细胞进行图像分割。中国专利CN104732229A提出了一种针对子宫颈细胞涂片图像中堆叠细胞的分割方法，该方法基于图像处理的方法，利用分水岭算法进行重叠区域粗分割，将每个粗分割子块进行组合，构建范函来得到最优化组合，从而实现重叠区域分割的结果。上述现有的方法中，针对该问题的解决尚不完善。子宫颈细胞学涂片图像中细胞形态十分复杂，有单个细胞，有重叠细胞，有易混淆为子宫颈细胞的白细胞，微生物还有预示着癌变的核增细胞，核质比很高的细胞及裸核。因此，基于像素聚类的方法很难分割重叠在一起的细胞；基于细胞分割的结果定位细胞核的方法很难准确分割单个裸核；临床中又很少存在只有单个细胞或只有成团细胞的图片。现有的方案中，尚无单一模型或流程方案可以同时解决子宫颈细胞图片图像中细胞及细胞核的定位，分类及分割的方案。此外，上述基于图像处理的方式的细胞分割方法和模型，更依赖设计者对子宫颈细胞学涂片图像中细胞特征的提取，很难通过对细胞，细胞核的语义信息进行建模和抽象表达。
技术实现思路
基于此，有必要提供一种基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统，其利用大量数据训练的深度神经网络模型可以通过对大量数据所包含的信息进行建模和抽象，从而可以实现通过单个模型对子宫颈细胞学涂片图像中的细胞、细胞核进行定位、检测及实例分割。为实现上述专利技术目的，本专利技术采用以下技术方案。本专利技术首先提供一种基于Mask-RCNN的子宫颈细胞涂片的图像分割方法，包括以下步骤：a、数据集构建步骤，包括训练数据集、验证数据集和测试数据集的准备与标注，以及数据集的归一化及预处理；b、模型的构建和训练步骤，构建基于Mask-RCNN的图像分割模型并利用所述训练数据集训练该模型，以及利用所述验证数据集验证该模型的图像分割结果；c、模型的验证步骤，利用所述测试数据集测试该模型，同时利用相似性系数评价分割结果。上述方法中，步骤a中，所述训练数据集、验证数据集和测试数据集的准备与标注步骤具体包括：a1、选取一定数量的符合临床标准的子宫颈细胞涂片图像，每张图像选取一个宽和高大约为1500像素的包含细胞的区域，用选取的区域构成所述数据集；a2、将所述数据集分为训练数据集、验证数据集和测试数据集，并且所述训练数据集、验证数据集和测试数据集的数量比为(6.5～7.5):1:(1.5～2.5)；a3、对区域中的细胞进行多边形标注，标注为闭合的多边形轮廓，存储多边形及多边形对应的类别为细胞；用同样的方法对区域中的细胞核进行多边形标注，存储多边形及多边形对应的类别为细胞核；a4、对每个多边形标注生成相应的分割模板：多边形内定义为细胞或细胞核，填充1，多边形外定义为背景，填充0，对每一个标注的细胞及细胞核轮廓实例生成模板图片。上述方法中，步骤a1中，所述子宫颈细胞涂片图像的数量为90～130张，所述训练数据集、验证数据集和测试数据集的数量比为7:1:2。上述方法中，步骤a1中，所述数据集的归一化及预处理的步骤具体包括：获取数据集中图像的mpp参数，通过双线性插值法进行放大或缩小以使图像具有相近的物理尺寸。上述方法中，步骤a还包括以下步骤：a5、数据增强，将所述训练数据集中的图像进行随机切割和镜像操作，以对训练数据集进行扩充。上述方法中，步骤a5具体包括以下步骤：随机切割，在所述训练数据集中的单张图像范围内，在随机位置切割尺寸大小为512*512像素的图片，同时对所切512*512像素范围内所对应的标注模板进行切割，生成训练所述图像分割模型时的标签，每张图随机切割10次，构成训练样本集一；垂直镜像，对训练样本集一及其标注图像同时进行垂直镜像，与训练样本集一汇总形成训练样本集二；水平镜像，对训练样本集二及其标注图像同时进行水平镜像，与训练样本集二汇总形成训练样本集三，训练样本集三为训练所述图像分割模型所使用的训练数据。上述方法中，步骤b中所述构建基于Mask-RCNN的图像分割模型的步骤具体包括：b1、构建特征提取网络，该特征提取网络为主要由重复堆砌的卷积层，采样层及非线性激活层组成的神经网络架构，基于深度学习中的反向传播算法，利用所述数据集中所含物体类别标签进行预训练，总结提取图像抽象特征，输出图像的高维特征张量；b2、构建区域选取网络，该区域选取网络主要由全连接层和非线性激活层组成，其通过在所述特征提取网络输出的高维特征张量上进行滑窗分类和物体边界框坐标回归，分类结果为判断当前该窗口位置包含细胞或细胞核的概率及估计当前窗口所含细胞的尺寸和长宽比，当前窗口位置即对应原图像中相应坐标位置，实现对细胞及细胞核的位置，大小，外接矩形框的长宽比进行估计；b3、构建分类网络，该分类网络主要由堆砌的全连接层和非线性激活层组成，用于对所述区域选取网络输出中，包含细胞及细胞核的位置所对应的高维特征张量进行分类，判断该区域中所包含的目标是细胞，细胞核或是背景；b4、构建分割网络，该分割网络主要由重复堆砌的卷积层组成，通过卷积及转置卷积，输入为所述区域选取网络中分类结果包含细胞和细胞核的区域所对应的所述特征提取网络输出结果中的高维张量的子张量，该子张量包含对原图中细胞及细胞核的形状和特征的抽象编码，该分割网络用于对该抽象编码进行解码和重构，输出重构后的分割模板，以完成细胞及细胞核本文档来自技高网...

【技术保护点】
1.一种基于Mask‑RCNN的子宫颈细胞涂片的图像分割方法，其特征在于，包括以下步骤：a、数据集构建步骤，包括训练数据集、验证数据集和测试数据集的准备与标注，以及数据集的归一化及预处理；b、模型的构建和训练步骤，构建基于Mask‑RCNN的图像分割模型并利用所述训练数据集训练该模型，以及利用所述验证数据集验证该模型的图像分割结果；c、模型的验证步骤，利用所述测试数据集测试该模型，同时利用相似性系数评价分割结果。

【技术特征摘要】
1.一种基于Mask-RCNN的子宫颈细胞涂片的图像分割方法，其特征在于，包括以下步骤：a、数据集构建步骤，包括训练数据集、验证数据集和测试数据集的准备与标注，以及数据集的归一化及预处理；b、模型的构建和训练步骤，构建基于Mask-RCNN的图像分割模型并利用所述训练数据集训练该模型，以及利用所述验证数据集验证该模型的图像分割结果；c、模型的验证步骤，利用所述测试数据集测试该模型，同时利用相似性系数评价分割结果。2.如权利要求1所述的图像分割方法，其特征在于，步骤a中，所述训练数据集、验证数据集和测试数据集的准备与标注步骤具体包括：a1、选取一定数量的符合临床标准的子宫颈细胞涂片图像，每张图像选取一个宽和高大约为1500像素的包含细胞的区域，用选取的区域构成所述数据集；a2、将所述数据集分为训练数据集、验证数据集和测试数据集，并且所述训练数据集、验证数据集和测试数据集的数量比为(6.5～7.5):1:(1.5～2.5)；a3、对区域中的细胞进行多边形标注，标注为闭合的多边形轮廓，存储多边形及多边形对应的类别为细胞；用同样的方法对区域中的细胞核进行多边形标注，存储多边形及多边形对应的类别为细胞核；a4、对每个多边形标注生成相应的分割模板：多边形内定义为细胞或细胞核，填充1，多边形外定义为背景，填充0，对每一个标注的细胞及细胞核轮廓实例生成模板图片。3.如权利要求2所述的图像分割方法，其特征在于，步骤a1中，所述子宫颈细胞涂片图像的数量为90～130张，且所述训练数据集、验证数据集和测试数据集的数量比为7:1:2。4.如权利要求2所述的图像分割方法，其特征在于，步骤a1中，所述数据集的归一化及预处理的步骤具体包括：获取数据集中图像的mpp参数，通过双线性插值法进行放大或缩小以使图像具有相近的物理尺寸。5.如权利要求2所述的图像分割方法，其特征在于，步骤a还包括以下步骤：a5、数据增强，将所述训练数据集中的图像进行随机切割和镜像操作，以对训练数据集进行扩充。6.如权利要求5所述的图像分割方法，其特征在于，步骤a5具体包括以下步骤：随机切割，在所述训练数据集中的单张图像范围内，在随机位置切割尺寸大小为512*512像素的图片，同时对所切512*512像素范围内所对应的标注模板进行切割，生成训练所述图像分割模型时的标签，每张图随机切割10次，构成训练样本集一；垂直镜像，对训练样本集一及其标注图像同时进行垂直镜像，与训练样本集一汇总形成训练样本集二；水平镜像，对训练样本集二及其标注图像同时进行水平镜像，与训练样本集二汇总形成训练样本集三，训练样本集三为训练所述图像分割模型所使用的训练数据。7.如权利要求2所述的图像分割方法，其特征在于，步骤b中所述构建基于Mask-RCNN的图像分割模型的步骤具体包括：b1、构建特征提取网络，该特征提取网络为主要由重复堆砌的卷积层、采样层及非线性激活层组成的神经网络架构，基于深度学习中的反向传播算法，利用所述数据集中所含物体类别标签进行预训练，总结提取图像抽象特征，输出图像的高维特征张量；b2、构建区域选取网络，该区域选取网络主要由全连接层和非线性激活层组成，其通过在所述特征提取网络输出的高维特征张量上进行滑窗分类和物体边界框坐标回归，分类结果为判断当前该窗口位置包含细胞或细胞核的概率及估计当前窗口所含细胞的尺寸和长宽比，当前窗口位置即对应原图像中相应坐标位置，实现对细胞及细胞核的位置，大小，外接矩形框的长宽比进行估计；b3、构建分类网络，该分类网络主要由堆砌的全连接层和非线性激活层组成，用于对所述区域选取网络输出中，包含细胞及细胞核的位置所对应的高维特征张量进行分类，判断该区域中所包含的目标是细胞，细胞核或是背景；b4、构建分割网络，该分割网络主要由重复堆砌的卷积层组成，通过卷积及转置卷积，输入为所述区域选取网络中分类结果包含细胞和细胞核的区域所对应的所述特征提取网络输出结果中的高维张量的子张量，该子张量包含对原图中细胞及细胞核的形状和特征的抽象编码，该分割网络用于对该抽象编码进行解码和重构，输出重构后...

【专利技术属性】
技术研发人员：陈浩，胡以璇，
申请(专利权)人：深圳视见医疗科技有限公司，
类型：发明
国别省市：广东,44