训练数据为缺失标注的病理图像检测模型建立、检测方法技术

本发明专利技术公开了训练数据为缺失标注的病理图像的检测模型建立、检测方法，首先将病例图像进行预处理，然后构建检测网络，最后训练检测网络，得到检测模型；在检测待处理的病例图像时，将待处理的病理图像输入检测模型中，得到建议框类别，以此判断该建议框是否包含待检测物体。本发明专利技术通过在现有的基于区域的目标检测网络中引入分割模型和建议框标签更新模块，通过该分割模型的输出对建议框的标签进行校正，挖掘出潜在的阳性建议框。解决了缺失标注而导致建议框的标签发生错误分配的问题。本发明专利技术采用这种协同监督的训练方法，提升了模型的精度和检测准确率。

【技术实现步骤摘要】
训练数据为缺失标注的病理图像检测模型建立、检测方法
本专利技术属于医学图像分析
，涉及一种训练数据为缺失标注病理图像的检测模型建立、检测方法。
技术介绍
随着卷积神经网络的发展，近年来，目标检测网络的准确率和效率不断得到提高,其中基于区域的全监督目标检测方法一直表现出最佳的性能，与此同时，这些方法也被广泛应用于病理图像分析中，比如异常细胞检测或者红细胞检测等。另一方面，基于区域的全监督检测方法的快速发展得益于可用的具有精确实例级标注框的大型数据，但是，收集这样的数据需要花费大量的时间和劳动力，尤其是病理数据，需要经验丰富的病理科医生来完成数据标注的任务。更重要的是，目标检测网络的性能高度依赖训练集的标注质量。比如，训练集中存在的缺失标注(没有被标注框标注出的待检测目标)会对全监督目标检测网络的性能造成极大的影响，而且这种问题会随着数据集的增大变得更加严重。挖掘伪标签通常作为解决缺失标注问题的方法，人们通常使用检测器生成的高得分预测边界回归框作为伪标签。通过挖掘数据中的伪标签，可以有效的提升检测器的性能。Diba和Tang通过级联网络的方式挖掘伪标签并用于训练Faster-RCNN，取得了不错的性能。为了挖掘到更准确的伪标签，Xu提出一种混合监督的方式，在训练过程中结合了图像级标注和实例级标注共同监督训练伪标签的生成器。但是，病理图像中往往包含更多的细粒度特征，结合图像级的标注并不是最优的。并且伪标签挖掘方法往往需要采用多阶段的训练方式或者利用额外标注的一批精确数据训练伪标注生成器，整个训练过程无法实现端到端的方式，导致整个训练过程中引入了太多不可控因素。此外，虽然通过伪标签方法在训练过程中添加额外的精确的实例级标注可以提升网络的性能，但是之前的研究没有讨论过在训练基于区域的目标检测网络时，训练数据中未使用边界框标注出的对象是否会对训练过程产生影响。在基于区域的目标检测网络的训练过程中，首先会通过区域建议方法生成建议区域来对目标位置进行假设，可能有对象存在的区域会被大量的建议框所包围，然后给生成的建议区域分配标签，与标注高度重合的建议会被分配阳性标签，与标注重合度低的或者不与任何一个标注重合的建议区域会被分配阴性标签。在这样的标签分配机制下，如果训练数据中存在未被标注出得对象，会产生一种矛盾，围绕在未被标注出的对象周围的建议框中的特征属于待检测目标，但这部分建议框会被分配阴性的标签，导致模型的训练过程发生混乱，影响模型的性能，使得病理图像检测结果不准确。
技术实现思路
为解决现有技术中存在的不足，本专利技术提供了一种训练数据为缺失标注的病理图像的检测模型建立、检测方法，解决现有的检测方法中存在建议框标签错误分配而使得检测结果不准确的问题。为了解决上述技术问题，本专利技术采用如下技术方案予以实现：训练数据为缺失标注病理图像的检测模型建立方法，包括以下步骤：步骤1，图像预处理步骤1.1，对图像数据进行扩充，得到扩充后的图像；步骤1.2，对扩充后的图像中的实例级标注框进行填充生成掩模图像，并对掩模图像进行重编码，得到重编码后的掩模图像；步骤2，构建检测网络；所述的检测网络包括特征图提取模块、建议框生成模块、建议框标签分配模块、分割模块、建议框标签更新模块和建议框分类模块，其中，特征图提取模块用于提取步骤1.1中扩充后的图像的特征图；建议框生成模块用于生成特征图提取模块得到的特征图上的建议框；建议框标签分配模块用于计算建议框生成模块得到的每个建议框与步骤1.2中所有实例级标注框的第一交并比，将第一交并比最大值大于第一阈值的建议框标记阳性标签，将第一交并比最大值小于第二阈值的建议框标记阴性标签；其中，第一阈值大于第二阈值；第一交并比＝S交/(S建+S实-S交)，S建为建议框的面积，S实为实例级标注框的面积，S交为建议框与实例级标注框相交的面积；分割模块用于对特征提取模块的特征图进行解码，得到分割结果；建议框标签更新模块用于计算建议框标签分配模块中每个标记阴性标签的建议框与分割模块中所有分割结果的第二交并比，将第二交并比的最大值大于第一阈值的标记阴性标签的建议框更新为标记阳性标签的建议框，得到最终的建议框标签；其中，第二交并比＝S′交/(S建+S分-S′交)，S分为分割结果的面积，S′交为阴性建议框与分割结果相交的面积；建议框分类模块用于对最终的建议框标签进行分类，得到建议框的类别；步骤3，将步骤1.1的扩充后的图像和步骤1.2重编码后的掩模图像作为输入，训练步骤2的检测网络，得到检测模型。优选的，所述的特征图提取模块为FPN网络结构；所述的分割模块包括两个3×3的卷积层。优选的，所述的建议框生成模块为RPN网络结构；所述的建议框分类模块网络结构包括一个3×3的卷积和两个全连接层。具体的，所述的第一阈值为0.7～0.9；所述的第二阈值为0.1～0.3。本专利技术还公开了一种训练数据为缺失标注病理图像的检测模型建立系统，包括：图像预处理模块，包括图像扩充模块和重编码模块，其中，图像扩充模块用于对图像数据进行扩充，得到扩充后的图像；重编码模块用于对扩充后的图像中的实例级标注框进行填充生成掩模图像，并对掩模图像进行重编码，得到重编码后的掩模图像；检测网络构建模块，用于构建检测网络；所述的检测网络包括特征图提取模块、建议框生成模块、建议框标签分配模块、分割模块、建议框标签更新模块和建议框分类模块，其中，特征图提取模块用于提取图像预处理模块中扩充后的图像的特征图；建议框生成模块用于生成特征图提取模块得到的特征图上的建议框；建议框标签分配模块计算建议框生成模块的每个建议框与重编码模块中所有实例级标注框的第一交并比；将第一交并比最大值大于第一阈值的建议框标记阳性标签，将第一交并比最大值小于第二阈值的建议框标记阴性标签；其中，第一阈值大于第二阈值；第一交并比＝S交/(S建+S实-S交)，S建为建议框的面积，S实为实例级标注框的面积，S交为建议框与实例级标注框相交的面积；分割模块用于对特征提取模块的特征图进行解码，得到分割结果；建议框标签更新模块用于计算建议框标签分配模块中每个标记阴性标签的建议框与分割模块的所有分割结果的第二交并比，将第二交并比的最大值大于第一阈值的标记阴性标签的建议框更新为标记阳性标签的建议框，得到最终的建议框标签；其中，第二交并比＝S′交/(S建+S分-S′交)，S分为分割结果的面积，S′交为阴性建议框与分割结果相交的面积；建议框分类模块用于对最终的建议框标签进行分类，得到建议框的类别；检测模型训练模块，用于将图像预处理模块得到的扩充后的图像和掩模图像作为输入，训练检测网络构建模块中的检测网络，得到检测模型。优选的，所述的特征图提取模块为FPN网络结构；所述的分割模块包括两个3×3的卷积层。优选的，所述的建议框生成模块为RPN网络结构；所述的建议框分类模块网络结构为包括一个3×3的本文档来自技高网...

【技术保护点】
1.训练数据为缺失标注病理图像的检测模型建立方法，其特征在于，包括以下步骤：/n步骤1，图像预处理/n步骤1.1，对图像数据进行扩充，得到扩充后的图像；/n步骤1.2，对扩充后的图像中的实例级标注框进行填充生成掩模图像，并对掩模图像进行重编码，得到重编码后的掩模图像；/n步骤2，构建检测网络；所述的检测网络包括特征图提取模块、建议框生成模块、建议框标签分配模块、分割模块、建议框标签更新模块和建议框分类模块，其中，/n特征图提取模块用于提取步骤1.1中扩充后的图像的特征图；/n建议框生成模块用于生成特征图提取模块得到的特征图上的建议框；/n建议框标签分配模块用于计算建议框生成模块得到的每个建议框与步骤1.2中所有实例级标注框的第一交并比，将第一交并比最大值大于第一阈值的建议框标记阳性标签，将第一交并比最大值小于第二阈值的建议框标记阴性标签；/n其中，第一阈值大于第二阈值；第一交并比＝S

【技术特征摘要】
1.训练数据为缺失标注病理图像的检测模型建立方法，其特征在于，包括以下步骤：
步骤1，图像预处理
步骤1.1，对图像数据进行扩充，得到扩充后的图像；
步骤1.2，对扩充后的图像中的实例级标注框进行填充生成掩模图像，并对掩模图像进行重编码，得到重编码后的掩模图像；
步骤2，构建检测网络；所述的检测网络包括特征图提取模块、建议框生成模块、建议框标签分配模块、分割模块、建议框标签更新模块和建议框分类模块，其中，
特征图提取模块用于提取步骤1.1中扩充后的图像的特征图；
建议框生成模块用于生成特征图提取模块得到的特征图上的建议框；
建议框标签分配模块用于计算建议框生成模块得到的每个建议框与步骤1.2中所有实例级标注框的第一交并比，将第一交并比最大值大于第一阈值的建议框标记阳性标签，将第一交并比最大值小于第二阈值的建议框标记阴性标签；
其中，第一阈值大于第二阈值；第一交并比＝S交/(S建+S实-S交)，S建为建议框的面积，S实为实例级标注框的面积，S交为建议框与实例级标注框相交的面积；
分割模块用于对特征提取模块的特征图进行解码，得到分割结果；
建议框标签更新模块用于计算建议框标签分配模块中每个标记阴性标签的建议框与分割模块中所有分割结果的第二交并比，将第二交并比的最大值大于第一阈值的标记阴性标签的建议框更新为标记阳性标签的建议框，得到最终的建议框标签；
其中，第二交并比＝S′交/(S建+S分-S′交)，S分为分割结果的面积，S′交为阴性建议框与分割结果相交的面积；
建议框分类模块用于对最终的建议框标签进行分类，得到建议框的类别；
步骤3，步骤1.1的扩充后的图像和步骤1.2重编码后的掩模图像作为输入，训练步骤2的检测网络，得到检测模型。


2.如权利要求1所述的训练数据为缺失标注病理图像的检测模型建立方法，其特征在于，所述的特征图提取模块为FPN网络结构；所述的分割模块包括两个3×3的卷积层。


3.如权利要求1所述的训练数据为缺失标注病理图像的检测模型建立方法，其特征在于，所述的建议框生成模块为RPN网络结构；所述的建议框分类模块网络结构包括一个3×3的卷积和两个全连接层。


4.如权利要求1所述的训练数据为缺失标注病理图像的检测模型建立方法，其特征在于，所述的第一阈值为0.7～0.9；所述的第二阈值为0.1～0.3。


5.训练数据为缺失标注病理图像的检测模型建立系统，其特征在于，包括：
图像预处理模块，包括图像扩充模块和重编码模块，其中，图像扩充模块用于对图像数据进行扩充，得到扩充后的图像；重编码模块用于对扩充后的图像中的实例级标注框进行填充生成掩模图像，并对掩模图像进行重编...

【专利技术属性】
技术研发人员：冯筠，韩鑫，李涵生，
申请(专利权)人：西北大学，
类型：发明
国别省市：陕西;61