一种基于多任务学习的显微图像细胞识别方法及装置制造方法及图纸

本发明专利技术公开一种基于多任务学习的显微图像细胞识别方法，首先采用多重标注的方式对获取的显微图像进行标注；然后将含有多重标注的显微图像分割形成训练集；接着利用含有多重标注的训练集对预先构建的细胞识别模型进行训练；最后利用训练好的细胞识别模型对待识别显微图像进行细胞识别，获得待识别显微图像中各个细胞的类别以及特征属性。与现有技术相比，本发明专利技术提供的方法采用多重标注的方式对显微图像进行标注，使得训练获得的模型能够实现多重检测，多重的检测可保证最终检测结果的准确性。

【技术实现步骤摘要】
一种基于多任务学习的显微图像细胞识别方法及装置
本专利技术涉及医学图像
，尤其是一种基于多任务学习的显微图像细胞识别方法及装置。
技术介绍
随着计算机技术和医学技术的发展与成熟，两者相结合的显微图像自动分析技术应运而生，并引起了广泛的关注。显微图像自动分析技术是医疗辅助诊断的重要方法，可以定量、定性地诊断病情，更快、更直接地发现病源与病因，进而提高病理医生的工作效率，降低工作强度，缩短病人的看诊时间。在临床应用中，妇科宫颈刮片分析、白带湿片显微图像分析、尿沉渣细胞成分分析、血液红白细胞分析等对预防疾病与指导治疗方面有非常重要的作用。在显微图像自动分析技术中，显微图像中细胞的正确识别至关重要。现有的细胞识别方法通常基于人工鱼群算法对显微图像进行特征提取，然后设计分类器对提取的特征进行分类，常用的分类器有决策树、随机森林、支持向量机等。这些方法中训练后的分类器识别精度低、速度慢。
技术实现思路
本专利技术提供一种基于多任务学习的显微图像细胞识别方法及装置，用于克服现有技术中精度低、速度慢等缺陷。为实现上述目的，本专利技术提出一种基于多任务学习的显微图像细胞识别方法，包括：获取若干显微图像，并对所述显微图像进行标注；所述标注包括中心位置的标注、类别的标注、特征属性的标注、细胞包围框的标注以及细胞边界的标注；将含有多重标注的显微图像分割成若干预设大小的图像子块，所有所述图像子块形成训练集；利用所述训练集对预先构建的细胞识别模型进行训练，所述细胞识别模型包括全卷积神经网络模型、分割掩码生成网络模型和多任务学习框架；在所述训练过程中，所述全卷积神经网络模型的输入为所述训练集，所述分割掩码生成网络模型的输入为所述训练集以及所述全卷积神经网络模型的输出，所述多任务学习框架的输入为所述分割掩码生成网络模型的输出；将待识别显微图像分割成若干所述预设大小的图像子块并输入训练好的细胞识别模型中进行细胞识别，获得待识别显微图像中各个细胞的类别以及特征属性。为实现上述目的，本专利技术还提出一种基于多任务学习的显微图像细胞识别装置，所述装置包括：图像获取模块，用于获取若干显微图像，并对所述显微图像进行标注；所述标注包括中心位置的标注、类别的标注、特征属性的标注、细胞包围框的标注以及细胞边界的标注；训练集生成模块，用于将含有多重标注的显微图像分割成若干预设大小的图像子块，所有所述图像子块形成训练集；模型训练模块，用于利用所述训练集对预先构建的细胞识别模型进行训练，所述细胞识别模型包括全卷积神经网络模型、分割掩码生成网络模型和多任务学习框架；在所述训练过程中，所述全卷积神经网络模型的输入为所述训练集，所述分割掩码生成网络模型的输入为所述训练集以及所述全卷积神经网络模型的输出，所述多任务学习框架的输入为所述分割掩码生成网络模型的输出；细胞识别模块，用于将待识别显微图像分割成若干所述预设大小的图像子块并输入训练好的细胞识别模型中进行细胞识别，获得待识别显微图像中各个细胞的类别以及特征属性。为实现上述目的，本专利技术还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。为实现上述目的，本专利技术还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述方法的步骤。与现有技术相比，本专利技术的有益效果有：1、本专利技术提供的基于多任务学习的显微图像细胞识别方法，首先采用多重标注的方式对获取的显微图像进行标注；然后将含有多重标注的显微图像分割形成训练集；接着利用含有多重标注的训练集对预先构建的细胞识别模型进行训练；最后利用训练好的细胞识别模型对待识别显微图像进行细胞识别，获得待识别显微图像中各个细胞的类别以及特征属性。与现有技术相比，本专利技术提供的方法采用多重标注的方式对显微图像进行标注，使得训练获得的模型能够实现多重检测，多重的检测可保证最终检测结果的准确性。2、本专利技术提供的基于多任务学习的显微图像细胞识别方法中采用的细胞识别模型包括全卷积神经网络模型、分割掩码生成网络模型和多任务学习框架三个子模型，在模型训练过程中全卷积神经网络模型以含有多重标注的训练集为输入获得多个提议细胞包围框及其对应的预测得分，分割掩码生成网络模型以含有多重标注的训练集和多个提议细胞包围框为输入获得多个提议细胞包围框中的分割掩码并输出多个单细胞图像，多任务学习框架以多个单细胞图像为输入获得每个细胞的类别以及特征属性。多个子模型的设计是为了将多重检测中的不同检测分别在不同的子模型中进行，相比将多重检测全部放在一个模型中进行，本专利技术的方法可显著降低模型的检测难度，提高模型的计算速度和计算精度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术提供的基于多任务学习的显微图像细胞识别方法的流程图；图2为细胞包围框示意图；图3为细胞边界示意图；图4为本专利技术实施例中全卷积神经网络模型和分割掩码生成网络模型的结构图；图5为本专利技术实施例中多任务学习框架的结构图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。另外，本专利技术各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。无特殊说明，所使用的药品/试剂均为市售。本专利技术提出一种基于多任务学习的显微图像细胞识别方法，如图1所示，包括：101：获取若干显微图像，并对显微图像进行标注；该标注包括中心位置的标注、类别的标注、特征属性的标注、细胞包围框的标注以及细胞边界的标注；显微图像为通过高倍率显微镜采集的细胞样本或组织切片的各个视野下的图像。类别包括正常细胞（用数字0标注）和病变细胞（用数字1标注）。特征属性包括细胞面积、细胞核面积、细胞长短轴、细胞偏心率及细胞圆度。细胞包围框，如图2所示，是指刚好能够将整个细胞包围住的矩形密封框，该密封框内有且仅有一个细胞。细胞边界，如图3所示，是指在每个细胞包围框内将细胞区域与非细胞区域分割开的曲线框，该曲线框与细胞的形状、尺寸均一致。102：将含有多重标注的显微图像分割成若干预设大小的图像子块，所有图像本文档来自技高网...

【技术保护点】
1.一种基于多任务学习的显微图像细胞识别方法，其特征在于，包括：/n获取若干显微图像，并对所述显微图像进行标注；所述标注包括中心位置的标注、类别的标注、特征属性的标注、细胞包围框的标注以及细胞边界的标注；/n将含有多重标注的显微图像分割成若干预设大小的图像子块，所有所述图像子块形成训练集；/n利用所述训练集对预先构建的细胞识别模型进行训练，所述细胞识别模型包括全卷积神经网络模型、分割掩码生成网络模型和多任务学习框架；在所述训练过程中，所述全卷积神经网络模型的输入为所述训练集，所述分割掩码生成网络模型的输入为所述训练集以及所述全卷积神经网络模型的输出，所述多任务学习框架的输入为所述分割掩码生成网络模型的输出；/n将待识别显微图像分割成若干所述预设大小的图像子块并输入训练好的细胞识别模型中进行细胞识别，获得待识别显微图像中各个细胞的类别以及特征属性。/n

【技术特征摘要】
1.一种基于多任务学习的显微图像细胞识别方法，其特征在于，包括：
获取若干显微图像，并对所述显微图像进行标注；所述标注包括中心位置的标注、类别的标注、特征属性的标注、细胞包围框的标注以及细胞边界的标注；
将含有多重标注的显微图像分割成若干预设大小的图像子块，所有所述图像子块形成训练集；
利用所述训练集对预先构建的细胞识别模型进行训练，所述细胞识别模型包括全卷积神经网络模型、分割掩码生成网络模型和多任务学习框架；在所述训练过程中，所述全卷积神经网络模型的输入为所述训练集，所述分割掩码生成网络模型的输入为所述训练集以及所述全卷积神经网络模型的输出，所述多任务学习框架的输入为所述分割掩码生成网络模型的输出；
将待识别显微图像分割成若干所述预设大小的图像子块并输入训练好的细胞识别模型中进行细胞识别，获得待识别显微图像中各个细胞的类别以及特征属性。


2.如权利要求1所述的基于多任务学习的显微图像细胞识别方法，其特征在于，获取若干显微图像，并对所述显微图像进行标注，包括：
获取若干显微图像；
对显微图像进行细胞中心位置的标注、类别的标注以及特征属性的标注；
根据中心位置，对显微图像中的细胞进行细胞包围框的标注；
根据中心位置以及细胞包围框，对显微图像中每个细胞进行细胞边界的标注。


3.如权利要求2所述的基于多任务学习的显微图像细胞识别方法，其特征在于，根据所述中心位置，对所述显微图像中的细胞进行细胞包围框的标注，包括：
利用图割方式从所述显微图像中分割出各个细胞，获得二值化细胞图像；
根据所述中心位置以及所述二值化细胞图像，对所述显微图像中的细胞进行细胞包围框的标注；
根据所述中心位置以及所述细胞包围框，对所述显微图像中每个细胞进行细胞边界的标注，包括：
根据所述中心位置以及所述细胞包围框，利用最大稳定极值区域算法，对所述显微图像中每个细胞进行细胞边界的标注。


4.如权利要求1所述的基于多任务学习的显微图像细胞识别方法，其特征在于，利用所述训练集对预先构建的细胞识别模型中的全卷积神经网络模型进行训练，包括：
将所述训练集输入预先构建的全卷积神经网络模型，并设置第一重叠率阈值；
利用随机高斯分布初始化所述全卷积神经网络模型的所有权值，并利用所述训练集对所述全卷积神经网络模型进行训练，获取所述全卷积神经网络模型中最后一个卷积层输出的特征图，按照预先设置的多种参考包围框尺寸在所述特征图中的每个像素点提取多个参考包围框，确定所述多个参考包围框在输入的所述图像子块中的位置，并计算所述参考包围框与所述细胞包围框的重叠率，将大于所述第一重叠率阈值的重叠率对应的参考包围框标记为正样本，否则标记为负样本，并继续对所述全卷积神经网络模型进行训练，全卷积神经网络模型训练采用的损失函数为：

（1）
式中，Lbbox表示smooth-L1损失函数；Lscore表示softmax分类损失函数；bi表示预测输出的包围框坐标；bi*表示标注的细胞包围框坐标；pi表示包围框bi属于细胞的概率；pi*表示包围框的理想标签；表示平衡因子。


5.如权利要求4所述的基于多任务学习的显微图像细胞识别方法，其特征在于，所述全卷积神经网络模型依次包括6个卷积层、2个并行的全连接模块以及1个包围框输出层；
前2个所述卷积层的后面均连接有1个最大池化层；
所述2个并行的全连接模块均包括第一卷积层和第二卷积层，所述第一卷积层均用于对输入的特征图进行特征提取，其中一个全连接模块中的所述第二...

【专利技术属性】
技术研发人员：谷秀娟，许会，
申请(专利权)人：湖南国科智瞳科技有限公司，
类型：发明
国别省市：湖南;43