用于细胞检测和分割的弱监督多任务学习制造技术

本公开涉及用于使用迁移学习和多任务调度器来分割和检测图像数据内的细胞的技术。特别地，本公开的各方面涉及：访问一个或多个细胞的多个图像；从所述多个图像中提取三个标签，其中所述三个标签是使用Voronoi变换、局部聚类和repel代码应用来提取的；通过所述多任务调度器，基于与所述三个标签对应的三个损失函数来训练卷积神经网络模型；通过所述卷积神经网络模型，基于用所述三个损失函数进行的所述训练，针对所述多个图像中的每个图像生成核概率图和背景概率图；以及提供所述核概率图和所述背景概率图。所述背景概率图。所述背景概率图。

【技术实现步骤摘要】
【国外来华专利技术】用于细胞检测和分割的弱监督多任务学习
[0001]相关申请的交叉引用
[0002]本申请要求2019年10月14日提交的名称为“WEAKLY SUPERVISED MULTI
‑
TASK LEARNING FOR CELL DETECTION AND SEGMENTATION(用于细胞检测和分割的弱监督多任务学习)”的美国临时申请号62,914,966的优先权和权益，其全部内容以引用方式并入本文以用于所有目的。


[0003]本公开涉及生物学图像分析，并且特别地涉及用于使用弱监督迁移学习和多任务调度器来分割和检测细胞的系统和方法。

技术介绍

[0004]在对诸如组织切片、血液、细胞培养物等生物学样本进行的分析中，通常用染色剂或测定的一种或多种组合对生物学样本进行染色，并且随后对染色的生物学样本进行观察或成像以进行进一步分析。通过观察染色或测定的生物学样本可实现各种过程，包括诊断疾病、评定对治疗的应答以及开发新的抗病药物。例如，识别生物学图像(例如，组织病理学图像)中的某些对象或结构，诸如淋巴细胞、癌细胞、癌细胞核等，通常是对获得这些生物学图像的患者的疾病进行分级或诊断的先决条件。这些对象或结构的存在、范围、大小、形状和其他形态外观可以是疾病的存在或严重程度的重要指标。此外，特定对象或结构(诸如细胞或细胞核)的数量或比例对于一些疾病病症具有诊断意义，进一步激发了准确识别特定对象或结构的需求。
[0005]在采集生物学图像时，可以导出图像数据的多个通道，例如RGB颜色通道，每个观察到的通道包括多个信号的混合体。该图像数据的处理可以包括颜色分离、光谱解混、颜色反卷积等方法，这些方法被用来确定来自观察到的图像数据的一个或多个通道的特定染色的浓度。对于通过自动化方法处理的、显示在显示器上的图像数据，或对于观察者观察到的测定，可以确定组织的颜色与染色的颜色之间的关系，以确定染色的组织中生物标志物分布的模型。染色的局部存在和量可以指示组织中被查询的生物标志物的存在和浓度。免疫组化(IHC)载玻片染色为一种可以用来识别组织切片的细胞中的特定蛋白质(例如，生物标志物)并被广泛用于研究不同类型的细胞，诸如生物学组织中的癌细胞和免疫细胞的技术。例如，在PMS2 IHC核染色的结直肠癌(CRC)图像中，呈不同形状和大小的(例如，细长且高度聚集的)被染色为棕色的阳性肿瘤核、被弱染色为浅棕色的阳性肿瘤核以及被染色蓝色的阴性肿瘤核可被识别和/或量化以区分患有林奇综合征(LS)的患者和患有DNA错配修复缺陷(dMMR)的患者。

技术实现思路

[0006]在各种实施例中，提供了一种计算机实现的方法，该方法包括：通过数据处理系统访问一个或多个细胞的多个图像；通过该数据处理系统从多个图像中提取三个标签，其中
三个标签是使用Voronoi变换、局部聚类和应用Repel代码来提取的；通过该数据处理系统的多任务调度器基于与三个标签对应的三个损失函数来训练卷积神经网络模型；通过该卷积神经网络模型基于用三个损失函数进行的训练，为多个图像中的每个图像生成核概率图和背景概率图；以及通过该数据处理系统提供核概率图和背景概率图。
[0007]在各种实施例中，提供了一种计算机实现的方法，该方法包括：通过数据处理系统访问一个或多个细胞的多个图像；通过该数据处理系统从多个图像中提取三个标签，其中三个标签是使用Voronoi变换、局部聚类和应用Repel代码来提取的；通过该数据处理系统的多任务调度器基于与三个标签对应的三个损失函数来训练卷积神经网络模型，其中该卷积神经网络模型包括多个模型参数；通过该卷积神经网络模型基于用三个损失函数进行的训练，为多个图像中的每个图像生成核概率图和背景概率图；通过该数据处理系统对核概率图和背景概率图与三个标签进行比较；通过该数据处理系统基于对核概率图和背景概率图与三个标签的比较来更新多个模型参数，以最小化三个损失函数；以及通过该数据处理系统为经训练的卷积神经网络模型提供更新的多个模型参数。
[0008]在一些实施例中，多个图像包括核点标签。
[0009]在一些实施例中，Voronoi变换提取一个或多个细胞之间的脊线。
[0010]在一些实施例中，局部聚类包括应用k均值聚类算法以基于与距离变换特征相级联的RGB通道颜色特征来局部地提取背景簇和核簇，该距离变换特征是每个通过Voronoi变换创建的细胞或多边形中的每个像素到核点标签的距离。
[0011]在一些实施例中，卷积神经网络模型包括修改的U
‑
Net模型。
[0012]在一些实施例中，训练包括：对于每次训练迭代，通过多任务调度器选择三个损失函数中的一个损失函数；以及通过该数据处理系统基于选择的损失函数的梯度来更新卷积神经网络模型的一个或多个权重。
[0013]在一些实施例中，损失函数通过多任务调度器基于以下来选择：如果“i％3＝0”，则选择与Voronoi标签相关联的损失函数；如果“i％3＝1”，则选择与Repel标签相关联的损失函数；以及如果“i％3＝2”，则选择与局部簇标签相关联的损失函数，其中“i”是训练迭代的指数。
[0014]在一些实施例中，生成和提供核概率图和背景概率图包括在该核概率图和该背景概率图、分割二元掩膜、以及检测到的细胞的坐标上应用argmax函数和局部maxima函数。
[0015]在各种实施例中，提供了一种计算机实现的方法，该方法包括：通过数据处理系统获得一个或多个细胞的多个图像；将多个图像输入到卷积神经网络模型中，该卷积神经网络模型是使用与Voronoi变换、局部聚类和应用Repel代码对应的至少三个损失函数的组合而构建；通过该卷积神经网络模型为多个图像中的每个图像生成核概率图和背景概率图；以及通过该数据处理系统提供核概率图和背景概率图。
[0016]在一些实施例中，Voronoi变换提取一个或多个细胞之间的脊线。
[0017]在一些实施例中，局部聚类包括应用k均值聚类算法以基于与距离变换特征相级联的RGB通道颜色特征来局部地提取背景簇和核簇，该距离变换特征是每个通过Voronoi变换创建的细胞或多边形中的每个像素到核点标签的距离。
[0018]在一些实施例中，卷积神经网络模型包括修改的U
‑
Net模型。
[0019]在一些实施例中，卷积神经网络模型包括使用训练数据集识别的多个参数，该训
练数据集包括多个医学图像，该多个医学图像具有至少三个使用Voronoi变换、局部聚类和应用Repel代码提取的标签；并且该多个模型参数是使用该训练数据集基于最小化至少三个损失函数来识别的。
[0020]在一些实施例中，使用训练数据集包括：对于每次训练迭代，通过多任务调度器选择三个损失函数中的一个损失函数；以及通过该数据处理系统基于选择的损失函数的梯度来更新卷积神经网络模型的多个参数中一个或多个参数。
[0021]在一些实施例中，损失函数通过多任务调度器基于以下来选择：如果“i％3＝0”，则选择本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，其包括：通过数据处理系统访问一个或多个细胞的多个图像；通过所述数据处理系统从所述多个图像中提取三个标签，其中使用Voronoi变换、局部聚类和repel代码应用来提取所述三个标签；通过所述数据处理系统的多任务调度器，基于与所述三个标签对应的三个损失函数来训练卷积神经网络模型，其中所述卷积网络模型包括多个模型参数；通过所述卷积神经网络模型，基于用所述三个损失函数进行的所述训练，针对所述多个图像中的每个图像生成核概率图和背景概率图；通过所述数据处理系统将所述核概率图和所述背景概率图与所述三个标签进行比较；通过所述数据处理系统，基于所述核概率图和所述背景概率图与所述三个标签的所述比较来更新所述多个模型参数，以最小化所述三个损失函数；以及通过所述数据处理系统将更新的多个模型参数提供给经训练的卷积神经网络模型。2.根据权利要求1所述的方法，其中所述多个图像包括核点标签。3.根据权利要求1或2所述的方法，其中所述Voronoi变换提取所述一个或多个细胞之间的脊线。4.根据权利要求2所述的方法，其中所述局部聚类包括应用k均值聚类算法以基于与距离变换特征相级联的RGB通道颜色特征来局部地提取背景簇和核簇，所述距离变换特征是每个细胞或通过所述Voronoi变换创建的多边形中的每个像素到所述核点标签的距离。5.根据权利要求1至4中任一项所述的方法，其中所述卷积神经网络模型包括修改的U
‑
Net模型。6.根据权利要求1至5中任一项所述的方法，其中训练包括：对于每次训练迭代，通过所述多任务调度器选择所述三个损失函数中的一个损失函数；以及通过所述数据处理系统，基于选择的损失函数的梯度来更新所述卷积神经网络模型的一个或多个权重。7.根据权利要求6所述的方法，其中所述损失函数通过所述多任务调度器基于以下来选择：如果“i％3＝0”，则选择与Voronoi标签相关联的损失函数；如果“i％3＝1”，则选择与repel标签相关联的损失函数；以及如果“i％3＝2”，则选择与局部簇标签相关联的损失函数，其中“i”是所述训练迭代的指数。8.根据权利要求1至7中任一项所述的方法，其中生成所述核概率图和所述背景概率图包括对所述核概率图和所述背景概率图、分割二元掩膜以及检测到的细胞的坐标应用argmax函数和局部maxima函数。9.一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行包括以下的动作：通过数据处理系统访问一个或多个细胞的多个图像；通过所述数据处理系统从所述多个图像中提取三个标签，其中使用Voronoi变换、局部聚类和repel代码应用来提取所述三个标签；通过所述数据处理系统的多任务调度器，基于与所述三个标签对应的三个损失函数来训练卷积神经网络模型，其中所述卷积网络模型包括多个模型参数；通过所述卷积神经网络模型，基于用所述三个损失函数进行的所述训练，针对所述多个图像中的每个图像生成核概率图和背景概率图；
通过所述数据处理系统将所述核概率图和所述背景概率图与所述三个标签进行比较；通过所述数据处理系统，基于所述核概率图和所述背景概率图与所述三个标签的所述比较来更新所述多个模型参数，以最小化所述三个损失函数；以及通过所述数据处理系统将更新的多个模型参数提供给经训练的卷积神经网络模型。10.根据权利要求9所述的计算机程序产品，其中所述多个图像包括核点标签。11.根据权利要求9或10所述的计算机程序产品，其中所述Voronoi变换提取所述一个或多个细胞之间的脊线。12.根据权利要求10所述的计算机程序产品，其中所述局部聚类包括应用k均值聚类算法以基于与距离变换特征相级联的RGB通道颜色特征来局部地提取背景簇和核簇，所述距离变换特征是每个细胞或通过所述Voronoi变换创建的多边形中的每个像素到所述核点标签的距离。13.根据权利要求9至12中任一项所述的计算机程序产品，其中：训练包括：对于每次训练迭代，通过所述多任务调度器选择所述三个损失函数中的一个损失函数；以及通过所述数据处理系统，基于选择的损失函数的梯度来更新所述卷积神经网络模型的一个或多个权重；并且所述损失函数通过所述多任务调度器基于以下来选择：如果“i％3＝0”，则选择与Voronoi标签相关联的损失函数；如果“i％3＝1”，则选择与repel标签相关联的损失函数；以及如果“i％3＝2”，则选择与局部簇标签相关联的损失函数，其中“i”是所述训练迭代的指数。14.根据权利要求9至13中任一项所述的计算机程序产品，其中生成所述核概率图和所述背景概率图包括对所述核概率图和所述背景概率图、分割二元掩膜以及检测到的细胞的坐标应用argmax函数和局部maxima函数。15.一种系统，其包括：一个或多个数据处理器；以及非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包含指令，所述指令在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行包括以下的动作：通过数据处理系统访问一个或多个细胞的多个图像；通过所述数据处理系统从所述多个图像中提取三个标签，其中使用Voronoi变换、局部聚类和repel代码应用来提取所述三个标签；通过所述数据处理系统的多任务调度器，基于与所述三个标签对应的三个损失函数来训练卷积神经网络模型，其中所述卷积网络模型包括多个模型参数；通过所述卷积神经网络模型，基于用所述三个损失函数进行的所述训练，针对所述多个图像中的每个图像生成核概率图和背景概率图；通过所述数据处理系统将所述核概率图和所述背景概率图与所述三个标签进行比较；通过所述数据处理系统，基于所述核概率图和所述背景概率图与所述三个标签的所述比较来更新所述多个模型参数，以最小化所述三个损失函数；以及通过所述数据处理系统将更新的多个模型参数提供给经训练的卷积神经网络模型。16.根据权利要求15所述的系统，其中所述多个图像包括核点标签。
17.根据权利要求15或16所述的系统，其中所述Voronoi变换提取所述一个或多个细胞之间的脊线。18.根据权利要求17所述的系统，其中所述局部聚类包括应用k均值聚类算法以基于与距离变换特征相级联的RGB通道颜色特征来局部地提取背景簇和核簇，所述距离变换特征是每个细胞或通过所述Voronoi变换创建的多边形中的每个像素到所述核点标签的距离。19.根据权利要求15至18中任一项所述的系统，其中：训练包括：对于每次训练迭代，通过所述多任务调度器选择所述三个损失函数中的一个损失函数；以及通过所述数据处理系统，基于选择的损失函数的梯度来更新所述卷积神经网络模型的一个或多个权重；并且所述损失函数通过所述多任务调度器基于以下来选择：如果“i％3＝0”，则选择与Voronoi标签相关联的损失函数；如果“i％3＝1”，则选择与repel标签相关联的损失函数；以及如果“i％3＝2”，则选择与局部簇标签相关联的损失函数，其中“i”是所述训练迭代的指数。20.根据权利要求15至19中任一项所述的系统，其中生成所述核概率图和所述背景概率图包括对所述核概率图和所述背景概率图、分割二元掩膜以及检测到的细胞的坐标应用argmax函数和局部maxima函数。21.一种方法，其包括：通过数据处理系统获得一个或多个细...

【专利技术属性】
技术研发人员：聂垚，A，
申请(专利权)人：文塔纳医疗系统公司，
类型：发明
国别省市：