使用掩模来提高卷积神经网络对于癌细胞筛查应用的分类性能制造技术

在癌细胞筛查中，患者的细胞由卷积神经网络(CNN)分类来识别异常细胞。在一种方法中，具有比掩模周边更透明的中心的掩模用于掩蔽包含感兴趣的细胞的输入图像来产生经掩蔽的图像。因为细胞通常位于图像中心附近，并且因为图像通常包含在图像周边附近的无关对象，例如正常细胞和微生物，通过使用经掩蔽的图像而不是原始图像，在训练CNN时和分类时减少了由于无关对象引起的干扰。在另一种方法中，在分类之前向特征图应用掩蔽。在CNN中，该掩蔽通过使每个特征图与卷积核卷积来产生中间特征图，接着截断其周边区域来产生尺寸缩小的特征图而完成。

【技术实现步骤摘要】
【国外来华专利技术】使用掩模来提高卷积神经网络对于癌细胞筛查应用的分类性能缩写列表ADC宫颈腺癌AGC非典型腺体细胞异常AIS原位腺癌ASC-H非典型鳞状细胞-不排除HSILASC-US意义不明确的非典型鳞状细胞异常CNN卷积神经网络HSIL高度鳞状上皮内病变LSIL低度鳞状上皮内病变SCC鳞状细胞癌TBSBethesda系统WSI全视野数字切片
本专利技术涉及用于提高卷积神经网络(CNN)在细胞分类中的性能的方法。更特别地，本专利技术涉及用于提高在癌细胞筛查中使用的CNN的分类性能的方法。
技术介绍
宫颈癌是产生于女性宫颈的癌症。宫颈癌筛查的常规方法是细胞化验员通过显微镜直观检查切片上的宫颈细胞来核查有恶性变化迹象的任何细胞。一般地，单个样本中需要检查约100000个细胞。该检查过程耗费大约10-15分钟并且从而耗时且成本很高。为了减少时间和成本，计算机辅助自动癌症筛查特别有用。由于各种图像分类任务中的高准确度，CNN例如在US9,739,783和CN106991673中已经被用于自动宫颈癌筛查。然而，用对抗性样本来训练CNN已显示出导致CNN分类性能明显下降。每个对抗性样本是包含经分类和标记的宫颈细胞并且进一步包括一定数量的无关对象(例如噪杂背景、无关细胞、微生物或甚至在背景中具有相反标签的细胞)的图像。作为说明示例，图1是现实生活中的对抗性样本。用于训练CNN的训练图像100具有异常细胞110作为用于训练CNN的主预分类对象。在异常细胞110附近，有邻近的正常细胞120、122和微生物130、131。正常细胞120、121和微生物130、131是干扰CNN的训练过程的无关对象。这些无关对象可能使CNN学习不正确的特征，由此导致误分类。需要这样一种技术，这种技术在存在干扰的无关对象的情况下会提高CNN对异常细胞成功分类的机会。
技术实现思路
在本专利技术中，掩模有利地用于在存在干扰的无关对象的情况下提高CNN在对异常细胞分类时获得的分类准确度。本专利技术的第一方面提供由一个或多个计算处理器执行以通过使用CNN来对多个细胞分类的方法。在该方法中采用图像端掩蔽法。多个细胞初始可以从患者宫颈获得以用于癌细胞筛查或癌前异常筛查。在该方法中，获得多个训练图像和多个测试图像。该多个训练图像用于训练CNN。单个训练图像包含一个或多个细胞，每个细胞被预分类为属于一细胞类型，该细胞类型选自一组预定的细胞类型。每个测试图像包含选自多个细胞的相应细胞。选择掩模用于掩蔽训练和测试图像。掩模具有从掩模的中心向其周边单调递减的透过率函数，使得掩模的中心比其周边更透明。单个训练图像用掩模来掩蔽以形成单个经掩蔽的训练图像以便生成多个经掩蔽的训练图像。用多个经掩蔽的训练图像来训练CNN。当经预分类的一个或多个细胞位于单个训练图像中心附近并且单个训练图像进一步包含位于单个训练图像的周边附近的第一多个无关对象时，通过使用单个经掩蔽的训练图像而不是原始的单个训练图像，在训练CNN时减少了由于第一多个无关对象引起的干扰。优选地，单个测试图像也用掩模进行掩蔽以形成单个经掩蔽的测试图像以便生成多个经掩蔽的测试图像。在训练后通过用CNN来处理多个经掩蔽的测试图像来根据一组预定细胞类型对多个细胞分类以产生多个分类结果。当相应细胞位于单个测试图像中心附近并且单个测试图像进一步包含位于单个测试图像周边附近的第二多个无关对象时，通过使用单个经掩蔽的测试图像而不是原始的单个测试图像，在对相应细胞分类时减少了由于第二多个无关对象引起的干扰。本专利技术的第二方面提供由一个或多个计算处理器执行以用于通过使用CNN来对多个细胞分类的方法。在该方法中采用特征端掩蔽法。多个细胞初始可以从患者宫颈获得以用于癌细胞筛查。在该方法中，CNN被配置成包括多个层、卷积掩蔽层和分类层。该多个层用于基于CNN接收的输入图像来生成多个特征图。卷积掩蔽层用于使掩模与特征图中的每个卷积以便生成多个尺寸缩小的特征图。掩模具有全零最外侧区域和非零卷积核。最外侧区域具有均匀的像素宽度。分类层用于根据尺寸缩小的特征图生成分类结果。在该方法中，获得多个训练图像和多个测试图像。该多个训练图像用于训练CNN。单个训练图像包含一个或多个细胞，每个细胞被预分类为属于一细胞类型，该细胞类型选自一组预定的细胞类型。测试图像中的每个包含从多个细胞选择的相应细胞。用多个经掩蔽的训练图像来训练CNN，其中CNN接收经掩蔽的训练图像中的每个作为输入图像。在训练后通过用CNN处理多个经掩蔽的测试图像来根据一组预定细胞类型对多个细胞分类以产生多个分类结果，其中CNN接收经掩蔽的测试图像中的每个作为输入图像。本专利技术的第三方面提供用于由CNN根据如在本专利技术的第一或第二方面中阐述的方法来将多个细胞分类为正常和异常细胞的系统。该系统用于癌细胞筛查和/或癌前异常筛查。系统包括一个或多个计算处理器，其被配置成执行下列操作。首先，获得包含多个细胞的切片的全视野数字切片(WSI)以用于癌细胞筛查。在使用CNN来对多个细胞分类之前，预处理WSI来获得多个测试图像，每个测试图像包含从多个细胞选择的相应细胞。获得用于训练CNN的多个训练图像，其中单个训练图像包含一个或多个细胞，每个细胞被预分类为属于一细胞类型，该细胞类型选自一组预定的细胞类型。执行根据本专利技术的第一或第二方面的方法的实施例中的任一个，由此获得多个分类结果。后处理多个分类结果来产生Bethesda(TBS)分级。本专利技术的其他方面如由下文的实施例说明的那样公开。附图说明图1描绘现实生活中的对抗性样本作为用于训练CNN以用于癌细胞识别的示例图像。图2是示出一般情况下由细胞化验员通过显微镜观看来识别异常细胞所观察到的视觉图像的草图，其示意了细胞化验员通常将目标异常细胞位于视觉图像中心附近并且看不到图像四个角周围的任何对象。图3描绘根据本专利技术的在CNN处理之前使用掩模来处理输入图像的示范性过程。图4描绘可用于处理经掩蔽图像的CNN的一个典型实现方式。图5描绘根据用于对细胞分类的方法的一个实施例的步骤的处理流程，其中使用了图像端掩蔽法。图6为了说明而描绘了具有圆对称透过率函数的掩模。图7描绘具有圆对称透过率函数的掩模的示例。图8描绘示意了在CNN中执行的池化操作的示例。图9提供掩蔽特征图的概念图示。图10描绘掩蔽特征图的一个实际实现方式。图11是使用特征端掩蔽法的示范性CNN的示意图。图12描绘根据用于对细胞分类的方法的另一个实施例的步骤的处理流程，其中使用了特征端掩蔽法。图13描绘用于癌细胞筛查和/或癌前异常筛查的示范性系统的示意结构。具体实施方式当在本文中使用时，训练图像意指用于训练CNN的图像，并且测试图像意指由CNN处理过或待处理以用于分类的图像。此外，此处在说明书和附上的权利要求中，应该理解“包含细胞的图像”意指图像包含细胞的子图像而不是图像包含实体细胞。本专利技术关于通过使用CNN来对细胞分类。该分类的重要应用包括癌细胞筛查和癌前异常的筛查。然而，本专利技术不限于仅癌细胞筛查和癌前异常筛查的应用。本专利技术可用于其他医学和生物学应用。此外，并不限制该分类中涉及的细胞仅源于人类。细胞可以源于动物(例如马)或源于植物。在下文，参考用于宫颈癌细胞筛查的CNN分类的应用来示范性说明本专利技术。用于训练CNN以进行宫颈癌筛查的训练本文档来自技高网...

【技术保护点】
1.一种由一个或多个计算处理器执行以通过使用卷积神经网络(CNN)来对多个细胞分类的方法，所述方法包括：获得用于训练所述CNN的多个训练图像，其中，单个训练图像包含一个或多个细胞，每个细胞被预分类为属于一细胞类型，该细胞类型选自一组预定的细胞类型；用掩模来掩蔽所述单个训练图像以形成单个经掩蔽的训练图像以便生成多个经掩蔽的训练图像，其中，所述掩模具有从所述掩模的中心向所述掩模的周边单调递减的透过率函数，使得所述掩模的中心比所述掩模的周边更透明；以及用所述多个经掩蔽的训练图像来训练所述CNN，由此当经预分类的一个或多个细胞位于所述单个训练图像的中心附近并且所述单个训练图像进一步包含位于所述单个训练图像的周边附近的第一多个无关对象时，通过使用单个经掩蔽的训练图像而不是原始的单个训练图像，在训练所述CNN以用于对所述多个细胞分类时减少了由于所述第一多个无关对象引起的干扰。

【技术特征摘要】
【国外来华专利技术】2018.03.02 US 15/910,1311.一种由一个或多个计算处理器执行以通过使用卷积神经网络(CNN)来对多个细胞分类的方法，所述方法包括：获得用于训练所述CNN的多个训练图像，其中，单个训练图像包含一个或多个细胞，每个细胞被预分类为属于一细胞类型，该细胞类型选自一组预定的细胞类型；用掩模来掩蔽所述单个训练图像以形成单个经掩蔽的训练图像以便生成多个经掩蔽的训练图像，其中，所述掩模具有从所述掩模的中心向所述掩模的周边单调递减的透过率函数，使得所述掩模的中心比所述掩模的周边更透明；以及用所述多个经掩蔽的训练图像来训练所述CNN，由此当经预分类的一个或多个细胞位于所述单个训练图像的中心附近并且所述单个训练图像进一步包含位于所述单个训练图像的周边附近的第一多个无关对象时，通过使用单个经掩蔽的训练图像而不是原始的单个训练图像，在训练所述CNN以用于对所述多个细胞分类时减少了由于所述第一多个无关对象引起的干扰。2.如权利要求1所述的方法，进一步包括：获得多个测试图像，每个测试图像包含从所述多个细胞选择的相应细胞；用所述掩模来掩蔽单个测试图像以形成单个经掩蔽的测试图像，以便生成多个经掩蔽的测试图像；以及在训练后通过用所述CNN处理所述多个经掩蔽的测试图像来根据所述一组预定细胞类型对所述多个细胞进行分类，由此当所述相应细胞位于所述单个测试图像的中心附近并且所述单个测试图像进一步包含位于所述单个测试图像的周边附近的第二多个无关对象时，通过使用所述单个经掩蔽的测试图像而不是原始的单个测试图像，在对所述相应细胞分类时减少了由于所述第二多个无关对象引起的干扰。3.如权利要求1所述的方法，其中，所述透过率函数关于所述掩模的中心对称。4.如权利要求1所述的方法，其中，所述透过率函数是圆对称的，并且由以下给出：dx,y≤r时h(dx,y)＝1，否则h(dx,y)＝0，其中，h(dx,y)是所述掩模在坐标(x,y)处的透过率值，dx,y是(x,y)与所述掩模的中心之间的距离，并且r是所述掩模的圆形透明部分的半径。5.如权利要求1所述的方法，其中，所述透过率函数是圆对称的，并且由h(dx,y)＝1/(1+(dx,y/a)2b)给出，其中，h(dx,y)是所述掩模在坐标(x,y)处的透过率值，dx,y是(x,y)与所述掩模的中心之间的距离，并且a和b是用于限定所述透过率函数的参数。6.如权利要求1所述的方法，其中，初始获得成像在所述多个测试图像上的所述多个细胞以用于癌细胞筛查或癌前异常筛查。7.如权利要求1所述的方法，其中，成像在所述多个测试图像上的所述多个细胞初始从患者的宫颈获得以用于癌细胞筛查或癌前异常筛查。8.如权利要求7所述的方法，其中，所述一组预定细胞类型包括非异常对象和一个或多个异常细胞，所述一个或多个异常细胞包括以下中的一个或多个：低度鳞状上皮内病变(LSIL)、高度鳞状上皮内病变(HSIL)、非典型腺体细胞异常(AGC)、意义不明确的非典型鳞状细胞异常(ASC-US)、非典型鳞状细胞-不排除HSIL(ASC-H)、鳞状细胞癌(SCC)、原位腺癌(AIS)和宫颈腺癌(ADC)。9.一种由一个或多个计算处理器执行以用于通过使用卷积神经网络(CNN)来对多个细胞分类的方法，所述方法包括：将所述CNN配置成包括：多个层，用于基于由所述CNN接收的输入图像来生成多个特征图；卷积掩蔽层，用于使掩模与所述特征图中的每个卷积以便生成多个尺寸缩小的特征图，其中，所述掩模具有全零最外侧区域和非零卷积核，所述最外侧区域具有均匀的像素宽度；以及分类层，用于根据所述尺寸缩小的特征图来生成分类结果；获得用于训练所述CNN的多个训练图像，其中，单个训练图像包含一个或多个细胞，每个细胞被预分类为属于一细胞类型，该细胞类型选自一组预定的细胞类型；获得多个测试图像，每个测试图像包含从所述多个细胞选择的相应细胞；用所述多个训练图像训练所述CNN，其中，所述CNN接收所述训练图像中的每个作为所述输入图像；以及在训练后通过用所述CNN处理所述多个测试图像来根据所述一组预定细胞类型对所述多个细胞分类，其中，所述CNN接收所述测试图像中的每个作为所述输入图像。10.如权利要求9所述的方法，其中，所述卷积掩蔽层包括：卷积子层，用于使所述卷积核与所述特征图中的每个卷积以便生成多个中间特征图；以及截断子层，用于截断所述中间特征图中的每个的周边区域以产生相应的尺寸缩小的特征图，其中，所述周边区域具有等于所述掩模的最外侧区域的宽度的均匀宽度。11.如权利要求9所述的方法，其中，所述最外侧区域的宽度是一个像素。12.如权利要求9所述的方法，其中，初始获得成像在所述多个测试图像上的多个细胞以用于癌细胞筛查或癌前异常筛查。13.如...

【专利技术属性】
技术研发人员：何学俭，王陆，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：中国香港,81