用于分割细胞图像的方法和装置制造方法及图纸

公开了用于分割细胞图像的方法和装置。该方法的一个具体实施方式包括：获取细胞图像；使用生成式对抗网络增强细胞图像以获得增强的细胞图像；以及使用用于图像分割的分层全卷积网络分割增强的细胞图像，以获得细胞图像中的细胞质区域和透明带区域。

Methods and devices for cell image segmentation

【技术实现步骤摘要】
用于分割细胞图像的方法和装置
本公开涉及计算机
，具体地涉及图像处理领域，并且更具体地涉及用于分割细胞图像的方法和装置。
技术介绍
在体外受精(IVF)中，可能由于受精卵的内在特性，仅少数体外生成的胚胎具有植入和给予活产妊娠的能力。为了增加成功植入的可能性，移植具有高植入潜力的单个胚胎将是理想的策略。鉴定具有高植入潜力的胚胎仍然是IVF中的一个挑战，且为此已采用了不同的方法。用于选择可利用胚胎的受到最广泛支持的策略是在胚胎移植时依靠胚胎的等级。此外，一些国家的法律限制阻止了使用用于胚胎选择的方法，因此，鉴定可能存活的胚胎仅限于受精前的卵母细胞或原核阶段的受精卵。由于人类胚胎遵循特定的发育时间线，在此期间，在以特性形态特征为代表的发育里程碑以相应顺序出现，受精卵的集中于胚胎发育的形态和动态学的特征已被提出作为胚胎存活能力的指标。在已开发出的受精卵评分系统中，所有这些系统均存在对卵母细胞或受精卵的主观显微镜观察。通常，优质胚胎的选择尤其受原核形态、细胞质和透明带的外观的影响。例如，具有不规则厚度的透明带的胚胎的植入率可能低于具有均匀厚度的透明带的胚胎的植入率。尽管透明带厚度与IVF成功率之间存在关系，但是由于在显微镜下区分透明带的边界方面存在实际困难，因此该参数并不经常用于选择用于移植的最优质的胚胎。然而，传统的方法由于其粗糙且模糊的边缘而无法用于透明带和细胞核分割。再者，胚胎学家逐一检查透明带是非常耗时的。例如，原核外的形态模式很难被标准化。对于人类的视觉来说，受精卵中的其他变化可能是困难和繁琐的。
技术实现思路
根据本公开的一个方面，提供了一种用于分割细胞图像的方法，该方法包括：获取细胞图像；使用生成式对抗网络增强细胞图像以获得增强的细胞图像；以及使用用于图像分割的分层全卷积网络分割增强的细胞图像，以获得细胞图像中的细胞质区域和透明带区域。根据本公开的另一方面，提供了一种用于分割细胞图像的装置，该装置包括：至少一个处理器；以及存储指令的存储器，所述指令在由至少一个处理器执行时使该至少一个处理器执行操作，所述操作包括：获取细胞图像；使用生成式对抗网络增强细胞图像以获得增强的细胞图像；以及使用用于图像分割的分层全卷积网络分割增强的细胞图像，以获得细胞图像中的细胞质区域和透明带区域。根据本公开的又一方面，提供了一种存储计算机程序的非暂时性计算机存储介质，该计算机程序在由一个或多个处理器执行时使该一个或多个处理器执行操作，该操作包括：获取细胞图像；使用生成式对抗网络增强细胞图像以获得增强的细胞图像；以及使用用于图像分割的分层全卷积网络分割增强的细胞图像，以获得细胞图像中的细胞质区域和透明带区域。附图说明通过以下参考附图的描述，本公开的这些和其他特征将变得更加明显，在附图中：图1示出了根据本公开实施方式的用于分割细胞图像的方法的流程图；图2示出了根据本公开实施方式的用于训练生成式对抗网络的方法的流程图；图3示出了根据本公开实施方式的用于训练分层全卷积网络的方法的流程图；图4A示出了根据本公开的实施方式的分割的细胞质区域；图4B示出了根据本公开的实施方式的分割的透明带区域；图4C示出了根据本公开的实施方式的分割的细胞核区域；图5示出了根据本公开实施方式的用于分割细胞图像的装置的示意性结构图；以及图6示出了适于实现本公开实施方式的电子设备的计算机系统的示意性结构图。具体实施方式鉴于用于区分卵母细胞或受精卵的形态特征的现有方法的不足，本公开提供了一种用于细胞图像分割的改进方法。现在将详细参考本公开的一些具体实施方式。这些具体实施方式的示例在附图中示出。尽管结合这些具体实施方式描述了本公开，但是将理解，其并不旨在将本公开限制为所描述的实施方式。相反，其旨在涵盖可以包括在由所附权利要求限定的本公开的精神和范围内的替代、修改和等同。在以下描述中，阐述了许多具体细节以便提供对本公开的透彻理解。可以在没有一些或所有这些具体细节的情况下实践本公开。在其他情况下，未详细描述公知的处理操作，以免不必要地模糊本公开。卵母细胞或受精卵识别涉及卵母细胞或受精卵图像的增强和分割技术。图像增强是在卵母细胞或受精卵的图像中使感兴趣区域的边缘去噪并被突出显示，而图像分割是识别细胞质、透明带或细胞核(针对受精卵)的区域。图像增强和分割技术两者都有助于卵母细胞或受精卵的进一步人工处理。图像增强涉及图像平滑和边缘增强。图像平滑是去除图像的高频信息，这可以通过诸如高斯滤波、中值滤波和双边滤波的方法来实现。另一方面，边缘增强需要检测高频和大梯度幅度的区域，并且其传统解决方案基于诸如Sobel算子、Laplacian算子和Canny算子的差分运算。图像分割方法包括监督方法和非监督方法。非监督方法不需要人工标记的训练数据。代替地，使用针对分割的初始条件的启发式知识，诸如阈值方法、聚类方法、区域增长方法和水平集方法。另一方面，监督方法需要带有标记的目标区域的图像以形成训练数据集。传统的监督方法基于图割理论，包括马尔可夫随机场和条件随机场。本公开描述了用于细胞图像处理(特别是用于卵母细胞或受精卵图像处理)的神经网络的修改。本公开中公开的技术方案增强了细胞图像，例如卵母细胞和受精卵图像，并且自适应地分割了细胞质区域、透明带区域和细胞核(仅针对受精卵)区域。本公开进一步增强和分割细胞图像，以用于形态评估的详细定量分析。参考图1，示出了根据本公开的用于分割细胞图像的方法的实施方式的流程。用于分割细胞图像的方法包括以下步骤101至步骤103。步骤101，获取细胞图像。在实施方式中，细胞图像可以是卵母细胞图像和受精卵图像之一。步骤102，使用生成式对抗网络来增强细胞图像以获得增强的细胞图像。在实施方式中，可以如图2中所示那样训练生成式对抗网络，并且这包括以下步骤201至步骤204。步骤201，收集细胞图像(例如卵母细胞或受精卵图像)的数据集。在实施方式中，细胞图像(例如卵母细胞或受精卵图像)可以从延时成像中获得。这些图像以统一的比例固定并转换为灰度图像。具体地，将包含卵母细胞或受精卵的N个图像的数据集标记为X＝{X1,X2,...XN}。对于任何图像Xn，其大小均被调整为H×W，其中H和W分别表示图像的高度和宽度。对于RGB图像，使用加权平均方法将它们转换为灰度图像。步骤202，使用细胞图像(例如卵母细胞或受精卵图像)的数据集中标记的图像来构建用于神经网络训练的数据集。在实施方式中，标记的图像可以包括卵母细胞图像的细胞质区域和透明带区域，或者标记的图像可以包括受精卵图像的细胞质区域、透明带区域和细胞核区域。标记的区域可以是封闭的，即，所述区域用封闭的边界标记。在实施方式中，通过满足特定边界(细胞质、透明带或细胞核)内的区域来对图像的每个像素进行分类。例如，Zn∈{0,1,2,3}H×W被设置为像素类别的标签，其中本文档来自技高网...

【技术保护点】
1.用于分割细胞图像的方法，所述方法包括：/n获取细胞图像；/n使用生成式对抗网络增强所述细胞图像以获得增强的细胞图像；以及/n使用用于图像分割的分层全卷积网络分割所述增强的细胞图像以获得所述细胞图像中的细胞质区域和透明带区域。/n

【技术特征摘要】
20181023 US 62/749,3491.用于分割细胞图像的方法，所述方法包括：
获取细胞图像；
使用生成式对抗网络增强所述细胞图像以获得增强的细胞图像；以及
使用用于图像分割的分层全卷积网络分割所述增强的细胞图像以获得所述细胞图像中的细胞质区域和透明带区域。


2.根据权利要求1所述的方法，其中，所述细胞图像是卵母细胞图像和受精卵图像中的一种。


3.根据权利要求2所述的方法，其中，当所述细胞图像是所述受精卵图像时，使用用于图像分割的分层全卷积网络分割所述增强的细胞图像以获得所述细胞图像中的细胞质区域和透明带区域包括：
使用所述分层全卷积网络分割所述增强的细胞图像，以获得所述细胞图像中的细胞质区域、透明带区域和细胞核区域。


4.根据权利要求3所述的方法，其中，首先分割所述细胞质区域，接下来分割所述细胞质区域外部的所述透明带区域，然后分割所述细胞质区域内部的所述细胞核区域。


5.根据权利要求1所述的方法，其中，所述生成式对抗网络通过以下步骤训练：
收集细胞图像的数据集；
使用所述细胞图像的数据集中标记的图像构建用于神经网络训练的数据集，所述标记的图像包括针对卵母细胞图像的细胞质区域和透明带区域，或者所述标记的图像包括针对受精卵图像的细胞质区域、透明带区域和细胞核区域；
增强细胞质区域和细胞核区域的平滑度和边缘，以获得增强的训练数据集；以及
使用所述增强的训练数据集训练所述生成式对抗网络。


6.根据权利要求5所述的方法，其中，所述分层全卷积网络通过以下步骤训练：
使用所述生成式对抗网络增强所述细胞图像的数据集以获得图像分割训练数据集；以及
使用所述图像分割训练数据集训练所述分层全卷积网络。


7.根据权利要求5所述的方法，其中，在训练所述生成式对抗网络期间，输入图像是单个卵母细胞图像或受精卵图像，而相应的输出图像是高分辨且增强的。


8.根据权利要求1所述的方法，其中，所述增强的细胞图像是高分辨且增强的。


9.用于分割细胞图像的装置，所述装置包括：
至少一个处理器；以及
存储器，存储指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器执行操作，所述操作包括：
获取细胞图像；

【专利技术属性】
技术研发人员：陈耀樑，赵铭鹏，黎汉汇，李天照，
申请(专利权)人：香港中文大学，
类型：发明
国别省市：中国香港;81