一种细胞核分割方法及装置制造方法及图纸

本申请提供了一种细胞核分割方法及装置，其中，方法包括：在待分割图像的分辨率不大于预设分辨率的情况下，将待分割图像输入训练后的分割模型中，得到对待分割图像中细胞核的分割结果；预设分辨率通过训练后的分割模型固定的输入分辨率确定；训练后的分割模型是采用不同类型的训练样本，分别对预设的分割模型进行训练得到；先以预设的自然场景图像为训练样本，对预设的分割模型进行训练，得到第一分割模型；再以多种组织分别对应的多类别组织病理图像为训练样本，对第一分割模型进行训练，得到第二分割模型；最后以所需组织的多类别组织病理图像为训练样本，对第二分割模型进行训练，得到训练后的分割模型。本申请的分割方法的适用性得到提高。

【技术实现步骤摘要】
一种细胞核分割方法及装置
本申请涉及医学图像处理领域，尤其涉及一种细胞核分割方法及装置。
技术介绍
病理诊断是各种疾病诊断的“金标准”。病理的诊断模式是把组织细胞形态与临床、影像和检验结合起来进行综合分析和判断，对疾病做出最终的诊断。病理组织细胞形态的分析是采用H&E染色、IHC(免疫组化)、分子病理等手段检查给定组织的细胞形态特征(为了描述方便，将采用不同的成像方式，如明场(brightfield)和荧光(fluorescence)，不同的细胞染色方式，如H&E染色等对给定组织进行成像所得到的图像，称为多类别组织病理图像)，是病理诊断技术的核心。精确的病理组织细胞核形态分割在各种临床应用和医学研究中起着至关重要的作用。传统的细胞核分割算法主要是利用人工的特征设计，提取特征并用于分割。目前主流的分割算法主要有：基于强阈值处理的Otsu大津算法、带标记的分水岭算法，以及基于聚类的方法如K-meanclusting和GrabCut等。但是，这些分割算法只能一种或几种特定类别的病理组织切片图像有效，即这些分割算法的适用性差。
技术实现思路
本申请提供了一种细胞核分割方法及装置，目的在于解决现有的分割方法对多类别组织病理图像适用性差的问题。为了实现上述目的，本申请提供了以下技术方案：本申请提供了一种细胞核分割方法，包括：在待分割图像的分辨率不大于预设分辨率的情况下，将所述待分割图像输入训练后的分割模型中，得到对所述待分割图像中细胞核的分割结果；所述预设分辨率通过所述训练后的分割模型固定的输入分辨率确定；所述训练后的分割模型是采用不同类型的训练样本，分别对预设的分割模型进行训练得到；所述训练样本的图像分辨率不大于所述预设分辨率；其中，先以预设的自然场景图像为训练样本，对所述预设的分割模型进行训练，得到第一分割模型；再以多种组织分别对应的多类别组织病理图像为训练样本，对所述第一分割模型进行训练，得到第二分割模型；最后以所需组织的多类别组织病理图像为训练样本，对所述第二分割模型进行训练，得到所述训练后的分割模型。可选的，还包括：在所述待分割图像的分辨率大于所述预设分辨率的情况下，对所述待分割图像进行分块，得到多个分块图像；任一分块图像的分辨率不大于所述预设分辨率；将所述多个分块图像依次输入所述训练后的分割模型，输出细胞核分割结果；将所述细胞核分割结果中，非完整细胞的分割结果进行合并，得到所述待分割图像中各完整细胞核的分割结果；所述非完整细胞的分割结果为所述待分割图像中的完整细胞核，被分块在不同的分块图像后形成的非完整细胞核的分割结果。可选的，所述预设的分割模型是按照骨干网络、特征网络金字塔层、候选区域生成网络、区域对齐网络和预设的全卷积神经网络的顺序，依次连接得到；所述骨干网络通过移除ResNet101模型的全局池化层和全连接层得到；对于输入所述预设的分割模型的图像，所述骨干网络，用于输出所述图像的四级特征图；所述特征网络金字塔层，用于对所述四级特征图进行融合，得到5个特征金字塔图；所述候选区域生成网络，用于针对每个所述特征金字塔图，分别采用相应的预设尺寸的矩形框对细胞核进行标记，得到候选区域；一个矩形框所在的区域为一个候选区域；所述区域对齐网络，用于从所述候选区域中删除目标候选区域，得到待处理候选区域；所述目标候选区域包括：冗余候选区域和置信度低于预设阈值的候选区域；所述全卷积神经网络，用于分别从每个待处理候选区域中提取特征向量，并依据所述特征向量进行细胞分割。可选的，在对所述第一分割模型进行训练之前，还包括：对所述多种组织分别对应的多类别组织病理图像，按照类别进行分类，得到各类别下的多种组织病理图像；在所述各类别下的多种组织病理图像不满足预设均衡标准的情况下，对于任一类别下的多种组织病理图像的数量小于预设数量阈值的情况下，对该类别下的多种组织病理图像进行过采样，得到均衡后的各类别下的多种组织病理图像；对全部的组织病理图像进行颜色正则化操作；对所述颜色正则化后的组织病理图像进行在线的随机数据增强操作，得到用于对所述第一分割模型进行训练的训练样本。可选的，在所述对所述第二分割模型进行训练之前，还包括：对所述所需组织的多类别组织病理图像，按照类别进行分类，得到各类别下的组织病理图像；在所述各类别下的组织病理图像不满足预设均衡标准的情况下，对于任一类别下的组织病理图像的数量小于预设数量阈值的情况下，对该类别下的组织病理图像进行过采样，得到均衡后的各类别下的组织病理图像；对全部的组织病理图像进行颜色正则化操作；对所述颜色正则化后的组织病理图像进行在线的随机数据增强操作，得到用于对所述第二分割模型进行训练的训练样本。可选的，在所述将所述待分割图像输入所述训练后的分割模型之前，还包括：对所述待分割图像进行颜色正则化操作，得到颜色正则化后的待分割图像；将所述颜色正则化后的待分割图像，输入所述训练后分割模型，得到对所述分割图像中细胞核的分割结果。本申请还提供了一种细胞核分割装置，包括：第一输入模块，用于在待分割图像的分辨率不大于预设分辨率的情况下，将所述待分割图像输入训练后的分割模型中，得到对所述待分割图像中细胞核的分割结果；所述预设分辨率通过所述训练后的分割模型固定的输入分辨率确定；所述训练后的分割模型是采用不同类型的训练样本，分别对预设的分割模型进行训练得到；所述训练样本的图像分辨率不大于所述预设分辨率；其中，先以预设的自然场景图像为训练样本，对所述预设的分割模型进行训练，得到第一分割模型；再以多种组织分别对应的多类别组织病理图像为训练样本，对所述第一分割模型进行训练，得到第二分割模型；最后以所需组织的多类别组织病理图像为训练样本，对所述第二分割模型进行训练，得到所述训练后的分割模型。可选的，该装置还包括：分块模块，用于在所述待分割图像的分辨率大于所述预设分辨率的情况下，对所述待分割图像进行分块，得到多个分块图像；任一分块图像的分辨率不大于所述预设分辨率；第二输入模块，用于将所述多个分块图像依次输入所述训练后的分割模型，输出细胞核分割结果；合并模块，用于将所述细胞核分割结果中，非完整细胞的分割结果进行合并，得到所述待分割图像中各完整细胞核的分割结果；所述非完整细胞的分割结果为所述待分割图像中的完整细胞核，被分块在不同的分块图像后形成的非完整细胞核的分割结果。可选的，所述预设的分割模型是按照骨干网络、特征网络金字塔层、候选区域生成网络、区域对齐网络和预设的全卷积神经网络的顺序，依次连接得到；所述骨干网络通过移除ResNet101模型的全局池化层和全连接层得到；对于输入所述预设的分割模型的图像，所述骨干网络，用于输出所述图像的四级特征图；所述特征网络金字塔层，用于对所述四级特征图进行融合，得到5个特征金字塔图；所述候选区域生成本文档来自技高网...

【技术保护点】
1.一种细胞核分割方法，其特征在于，包括：/n在待分割图像的分辨率不大于预设分辨率的情况下，将所述待分割图像输入训练后的分割模型中，得到对所述待分割图像中细胞核的分割结果；所述预设分辨率通过所述训练后的分割模型固定的输入分辨率确定；/n所述训练后的分割模型是采用不同类型的训练样本，分别对预设的分割模型进行训练得到；所述训练样本的图像分辨率不大于所述预设分辨率；其中，先以预设的自然场景图像为训练样本，对所述预设的分割模型进行训练，得到第一分割模型；再以多种组织分别对应的多类别组织病理图像为训练样本，对所述第一分割模型进行训练，得到第二分割模型；最后以所需组织的多类别组织病理图像为训练样本，对所述第二分割模型进行训练，得到所述训练后的分割模型。/n

【技术特征摘要】
1.一种细胞核分割方法，其特征在于，包括：
在待分割图像的分辨率不大于预设分辨率的情况下，将所述待分割图像输入训练后的分割模型中，得到对所述待分割图像中细胞核的分割结果；所述预设分辨率通过所述训练后的分割模型固定的输入分辨率确定；
所述训练后的分割模型是采用不同类型的训练样本，分别对预设的分割模型进行训练得到；所述训练样本的图像分辨率不大于所述预设分辨率；其中，先以预设的自然场景图像为训练样本，对所述预设的分割模型进行训练，得到第一分割模型；再以多种组织分别对应的多类别组织病理图像为训练样本，对所述第一分割模型进行训练，得到第二分割模型；最后以所需组织的多类别组织病理图像为训练样本，对所述第二分割模型进行训练，得到所述训练后的分割模型。


2.根据权利要求1所述的方法，其特征在于，还包括：
在所述待分割图像的分辨率大于所述预设分辨率的情况下，对所述待分割图像进行分块，得到多个分块图像；任一分块图像的分辨率不大于所述预设分辨率；
将所述多个分块图像依次输入所述训练后的分割模型，输出细胞核分割结果；
将所述细胞核分割结果中，非完整细胞的分割结果进行合并，得到所述待分割图像中各完整细胞核的分割结果；所述非完整细胞的分割结果为所述待分割图像中的完整细胞核，被分块在不同的分块图像后形成的非完整细胞核的分割结果。


3.根据权利要求1所述的方法，其特征在于，所述预设的分割模型是按照骨干网络、特征网络金字塔层、候选区域生成网络、区域对齐网络和预设的全卷积神经网络的顺序，依次连接得到；所述骨干网络通过移除ResNet101模型的全局池化层和全连接层得到；
对于输入所述预设的分割模型的图像，所述骨干网络，用于输出所述图像的四级特征图；
所述特征网络金字塔层，用于对所述四级特征图进行融合，得到5个特征金字塔图；
所述候选区域生成网络，用于针对每个所述特征金字塔图，分别采用相应的预设尺寸的矩形框对细胞核进行标记，得到候选区域；一个矩形框所在的区域为一个候选区域；
所述区域对齐网络，用于从所述候选区域中删除目标候选区域，得到待处理候选区域；所述目标候选区域包括：冗余候选区域和置信度低于预设阈值的候选区域；
所述全卷积神经网络，用于分别从每个待处理候选区域中提取特征向量，并依据所述特征向量进行细胞分割。


4.根据权利要求1所述的方法，其特征在于，在对所述第一分割模型进行训练之前，还包括：
对所述多种组织分别对应的多类别组织病理图像，按照类别进行分类，得到各类别下的多种组织病理图像；
在所述各类别下的多种组织病理图像不满足预设均衡标准的情况下，对于任一类别下的多种组织病理图像的数量小于预设数量阈值的情况下，对该类别下的多种组织病理图像进行过采样，得到均衡后的各类别下的多种组织病理图像；
对全部的组织病理图像进行颜色正则化操作；
对所述颜色正则化后的组织病理图像进行在线的随机数据增强操作，得到用于对所述第一分割模型进行训练的训练样本。


5.根据权利要求1所述的方法，其特征在于，在所述对所述第二分割模型进行训练之前，还包括：
对所述所需组织的多类别组织病理图像，按照类别进行分类，得到各类别下的组织病理图像；
在所述各类别下的组织病理图像不满足预设均衡标准的情况下，对于任一类别下的组织病理图像的数量小于预设数量阈值的情况下，对该类别下的组织病理图像进行过采样，得到均衡后的各类别下的组织病理图像；
对全部的组织病理图像进行颜色正则化操作；
对所述颜色正则化后的组织病理...

【专利技术属性】
技术研发人员：安虹，吕国锋，韩文廷，陈俊仕，石军，王朝晖，文可，李秀林，
申请(专利权)人：中国科学技术大学，合肥凯碧尔高新技术有限公司，
类型：发明
国别省市：安徽;34