【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般而言涉及机器学习和计算机视觉，并且更具体地涉及图像预处理和分类。
技术介绍
1、组织病理学图像分析(hia)是许多医学领域，尤其是肿瘤学中诊断的关键要素。胰腺导管腺癌(缩写为“pac”或“pda”)预计将在2030年成为第二大癌症死亡原因，并且其预后在过去几十年中几乎没有改善。pac是异质性非常强的肿瘤，具有显著的间质和多个组织学方面。基因组和蛋白质组研究已经证实了pac的分子异质性，并且可能是解释大多数临床试验的失败的因素之一。pac的转录组亚型已被描述为具有重大的预后和预测意义。例如，rashid等人，clinical cancer research(2020)；26:82-92，描述了一种用于名为肿瘤纯度独立亚型分型(purist)的pac亚型分型的单样本分类器，该分类器基于得自rnaseq、nanostring或微阵列的基因表达数据。两种purist亚型(经典亚型和基础样亚型)与患者预后和治疗反应具有有意义的关联。在肿瘤细胞内，与以祖上皮表型为特征的经典亚型相比，基础样亚型由与早期转移和folfirinox耐药相关的较差预后定义。在间质(stroma)内，活化的间质富含无组织的促肿瘤癌症相关成纤维细胞，几乎没有细胞外基质(matrix)，而失活的间质由更静止的肌成纤维细胞分泌丰富且致密的胶原蛋白表征。此外，puleo等人，gastroenterology(2018)，155:1999-2013，描述了一种基于福尔马林固定的pda样本的基因表达分析的pda分类系统。这种分类系统基于通过转录组数据的独立成分分析
技术实现思路
1、本文描述了用于图像分类的方法、系统和设备及其用途。
2、一方面，本文公开了一种用于处理胰腺导管腺癌(pda)样本的数字图像的计算机实现的方法，该方法包括接收源自受试者的pda样本的数字图像，将机器学习模型应用于该数字图像，并使用机器学习模型确定图像的pda亚型；已经通过处理多个训练图像训练了机器学习模型以预测pda亚型，其中训练图像包括指示已知pda亚型的全局标签。
3、在一些实施例中，数字图像是pda样本的h&e染色切片。
4、在一些实施例中，基于得自与训练图像相同的源的pda样本的基因表达剖析(例如，rnaseq或nanostring)来指派已知的pda亚型。在一些实施例中，已知的pda亚型根据purist分类方案进行分类。在一些实施例中，已知的pda亚型是经典和/或基础样。在一些实施例中，根据分子亚型分类方案对已知的pda亚型进行分类。在一些实施例中，根据分子成分剖析方案对已知的pda亚型进行分类。在一些实施例中，已知的pda亚型是经典、基础样、间质活动或间质非活动。在其它实施例中，已知的pda亚型包括指派给每个训练图像的连续分数，这些图像与以下分类中的一个或两个对应：经典和基础样。在其它实施例中，已知的pda亚型包括指派给每个训练图像的连续分数，这些图像与以下分类中的一个或多个、两个或更多个、三个或更多个或四个对应：经典、基础样、间质活动或间质非活动。
5、在一些实施例中，确定图像的pda亚型的步骤包括确定表示在图像中表示的组织属于两个pda亚型之一的可能性的连续分数。例如，模型可以生成第一值和第二值之间的用于图像(或用于从图像得出的各个图块)的分数，其中更接近第一值的分数指示图像中表示的组织属于第一亚型的更高可能性，并且更接近第二值的分数指示图像中表示的组织属于第二亚型的更高可能性。在本文描述的一些实施例中，模型生成0和1之间的用于图像的分数。当分数接近0时，模型预测图像中表示的组织属于第一亚型(例如，经典)的可能性更高，而当分数接近1时，模型预测图像中表示的组织属于第二亚型(例如，基础样)的可能性更高。在这个示例中，被指派分数0.9的图像比指派分数0.7的图像更有可能包含基础亚型的组织。类似地，被指派分数0.2的图像比被指派分数0.4的图像更有可能包含经典亚型的组织。被指派分数0.5的图像包含经典亚型和基础亚型的组织的可能性大致相等。
6、在其它实施例中，确定用于图像的pda亚型的步骤包括确定表示图像中所表示的组织样本的一个或多个pda亚型特征的一个或多个分数。例如，模型可以向图像(或向从图像得出的各个图块)指派量化图像(或从其得出的各个图块)中表示特定亚型特征的多强的值。以这种方式，通过编译指派给图像内各个pda亚型特征的分数，可以确定用于pda样本的分子谱。例如，在一些实施例中，模型可以确定图像(或从其得出的图块)内以下pda亚型特征中的每一个的分数：经典、基础、间质活动、间质非活动。因而，在这个实施例中，模型将生成四个分数，每个分数指示图像(或图块)中所表示的组织样本包含经典特征、基础特征、间质活动特征或间质非活动特征的程度。例如，模型可以为每个图像或从其得出的图块分配0-1之间的经典特征分数，其中接近0的分数指示图像中所表示的组织样本包含非常少的经典特征，而接近1的分数指示图像中所表示的组织样本包含许多经典特征。此外，模型可以为图像或从其得出的图块指派0-1之间的基础特征分数、0-1之间的间质活动特征分数以及0-1之间的间质非活动特征分数。以这种方式，可以通过评估分数并确定pda样本具有例如基础和间质活动特征的高代表性以及经典和间质非活动特征的最低代表性来确定样本的分子谱。前面的描述呈现了用于本文提供的模型的一般框架。由模型确定的特定pda亚型特征以及要指派给每个特征的可能分数的范围可以通过例如指派给训练图像的标签来调整。
7、前述方法还可以包括如本文所提供的一个或多个附加图像处理或预处理步骤，包括但不限于(i)选择图像中存在的一个或多个肿瘤组织片段；(ii)将肿瘤组织片段平铺成图块的集合；和/或(iii)对图块的集合执行特征提取以提取特征的集合。
8、在一些方面，本文提供了用于处理胰腺导管腺癌(pac)样本的数字图像的计算机实现的方法，该方法包括接收得自受试者的pac样本的数字图像，将机器学习模型应用于该数字图像，以及使用机器学习模型确定图像的pac分类，其中机器学习模型已经通过处理多个训练图像进行了训练。
9、在一些实施例中，数字图像是整个切片图像(wsi)。
10、在一些实施例中，该方法还包括一个或多个图像预处理步骤。
11、例如，本文档来自技高网...
【技术保护点】
1.一种用于处理胰腺导管腺癌(PAC)样本的数字图像的计算机实现的方法，该方法包括接收得自受试者的PAC样本的数字图像，将机器学习模型应用于该数字图像，以及使用机器学习模型确定图像的PAC分类，其中机器学习模型已经通过处理多个训练图像进行了训练。
2.如权利要求1所述的计算机实现的方法，其中数字图像是整个切片图像(WSI)。
3.如权利要求1或权利要求2所述的计算机实现的方法，其中该方法还包括一个或多个图像预处理步骤。
4.如权利要求3所述的计算机实现的方法，其中图像预处理步骤包括以下一个或多个：
5.如权利要求4所述的计算机实现的方法，其中图像预处理步骤包括(a)、(b)和(c)。
6.如权利要求1至权利要求5中的任一项所述的计算机实现的方法，其中PAC分类是在切片级别进行的。
7.如权利要求4或权利要求5所述的计算机实现的方法，其中PAC分类是在图块级别进行的。
8.如权利要求7所述的计算机实现的方法，其中PAC分类将图块分类为包含肿瘤性区域或不包含肿瘤性区域，其中肿瘤性区域能够包括肿瘤细胞和
9.如权利要求6所述的计算机实现的方法，其中PAC分类包括表示图像中所表示的PAC样本属于两个PDA亚型之一的可能性的连续分数。
10.如权利要求7所述的计算机实现的方法，其中PAC分类包括表示在图块中所表示的PAC样本中一个或多个PDA亚型特征的普遍性的一个或多个连续分数。
11.一种确定与患有胰腺导管腺癌PDA的受试者的PDA分类方案对应的胰腺导管腺癌(PDA)亚型的计算机实现的方法，包括：
12.如权利要求11所述的计算机实现的模型，还包括：使用机器学习模型计算用于图块的子集中的每个图块的一个或多个PDA分子成分分数。
13.如权利要求11所述的计算机实现的模型，其中机器学习模型被进一步训练以计算用于分类方案的每个PDA亚型的分数。
14.如权利要求11所述的计算机实现的模型，其中PDA分类方案是PurIST，并且其中PDA亚型包括经典的和基础样。
15.如权利要求11所述的计算机实现的模型，其中PDA分类方案是分子成分剖析，并且其中PDA分子成分包括经典的、基础、间质活动和间质非活动。
16.如权利要求11所述的计算机实现的方法，其中PDA分类方案是多个PDA分类方案之一。
17.如权利要求11所述的计算机实现的方法，其中所述多个PDA分类方案中的每个PDA分类方案包括多个可能的PDA亚型。
18.如权利要求11所述的计算机实现的方法，其中PDA样本的组织学切片已经用染料染色。
19.如权利要求18所述的计算机实现的方法，其中染料是苏木精和曙红(H&E)。
20.如权利要求11至权利要求19中的任一项所述的计算机实现的方法，其中数字图像是整个切片图像(WSI)。
21.如权利要求11至权利要求20中的任一项所述的计算机实现的方法，其中PDA样本是原发性胰腺导管腺癌或其一部分。
22.如权利要求11至权利要求20中的任一项所述的计算机实现的方法，其中PDA样本是转移性胰腺导管腺癌或其一部分。
23.如权利要求22所述的计算机实现的方法，其中转移性胰腺导管腺癌或其部分得自受试者的肝脏。
24.如权利要求11所述的计算机实现的方法，其中预处理步骤还包括从图像中去除背景片段。
25.如权利要求24所述的计算机实现的方法，其中从图像中去除背景片段是使用卷积神经网络执行的。
26.如权利要求11所述的计算机实现的方法，其中图块的子集的选择是使用被训练为区分包括肿瘤区域的图块与包括正常区域的图块的肿瘤模型执行的。
27.如权利要求26所述的计算机实现的方法，其中肿瘤模型包括多层感知器。
28.如权利要求11所述的计算机实现的方法，其中特征提取是使用动量对比度或动量对比度v2执行的。
29.如权利要求11所述的方法，其中确定用于肿瘤组织片段中的每个肿瘤组织片段的PDA亚型包括：
30.如权利要求29所述的方法，其中确定PDA亚型包括基于对从图块的子集提取的特征的子集的分析来计算切片级别的PurIST分数。
31.如权利要求11所述的计算机实现的方法，其中已经使用多个训练图像训练了机器学习模型，所述多个训练图像包括得自具有PDA分类方案的已知PDA亚型的受试者的PDA样本的组织学切片的数字图像。
32.如权利要求31所述的计算机实现的方法...
【技术特征摘要】
【国外来华专利技术】
1.一种用于处理胰腺导管腺癌(pac)样本的数字图像的计算机实现的方法，该方法包括接收得自受试者的pac样本的数字图像，将机器学习模型应用于该数字图像，以及使用机器学习模型确定图像的pac分类，其中机器学习模型已经通过处理多个训练图像进行了训练。
2.如权利要求1所述的计算机实现的方法，其中数字图像是整个切片图像(wsi)。
3.如权利要求1或权利要求2所述的计算机实现的方法，其中该方法还包括一个或多个图像预处理步骤。
4.如权利要求3所述的计算机实现的方法，其中图像预处理步骤包括以下一个或多个：
5.如权利要求4所述的计算机实现的方法，其中图像预处理步骤包括(a)、(b)和(c)。
6.如权利要求1至权利要求5中的任一项所述的计算机实现的方法，其中pac分类是在切片级别进行的。
7.如权利要求4或权利要求5所述的计算机实现的方法，其中pac分类是在图块级别进行的。
8.如权利要求7所述的计算机实现的方法，其中pac分类将图块分类为包含肿瘤性区域或不包含肿瘤性区域，其中肿瘤性区域能够包括肿瘤细胞和/或肿瘤相关联的间质细胞。
9.如权利要求6所述的计算机实现的方法，其中pac分类包括表示图像中所表示的pac样本属于两个pda亚型之一的可能性的连续分数。
10.如权利要求7所述的计算机实现的方法，其中pac分类包括表示在图块中所表示的pac样本中一个或多个pda亚型特征的普遍性的一个或多个连续分数。
11.一种确定与患有胰腺导管腺癌pda的受试者的pda分类方案对应的胰腺导管腺癌(pda)亚型的计算机实现的方法，包括：
12.如权利要求11所述的计算机实现的模型，还包括：使用机器学习模型计算用于图块的子集中的每个图块的一个或多个pda分子成分分数。
13.如权利要求11所述的计算机实现的模型，其中机器学习模型被进一步训练以计算用于分类方案的每个pda亚型的分数。
14.如权利要求11所述的计算机实现的模型，其中pda分类方案是purist，并且其中pda亚型包括经典的和基础样。
15.如权利要求11所述的计算机实现的模型，其中pda分类方案是分子成分剖析，并且其中pda分子成分包括经典的、基础、间质活动和间质非活动。
16.如权利要求11所述的计算机实现的方法，其中pda分类方案是多个pda分类方案之一。
17.如权利要求11所述的计算机实现的方法，其中所述多个pda分类方案中的每个pda分类方案包括多个可能的pda亚型。
18.如权利要求11所述的计算机实现的方法，其中pda样本的组织学切片已经用染料染色。
19.如权利要求18所述的计算机实现的方法，其中染料是苏木精和曙红(h&e)。
20.如权利要求11至权利要求19中的任一项所述的计算机实现的方法，其中数字图像是整个切片图像(wsi)。
21.如权利要求11至权利要求20中的任一项所述的计算机实现的方法，其中pda样本是原发性胰腺导管腺癌或其一部分。
22.如权利要求11至权利要求20中的任一项所述的计算机实现的方法，其中pda样本是转移性胰腺导管腺癌或其一部分。
23.如权利要求22所述的计算机实现的方法，其中转移性胰腺导管腺癌或其部分得自受试者的肝脏。
24.如权利要求11所述的计算机实现的方法，其中预处理步骤还包括从图像中去除背景片段。
25.如权利要求24所述的计算机实现的方法，其中从图像中去除背景片段是使用卷积神经网络执行的。
26.如权利要求11所述的计算机实现的方法，其中图块的子集的选择是使用被训练为区分包括肿瘤区域的图块与包括正常区域的图块的肿瘤模型执行的。
27.如权利要求26所述的计算机实现的方法，其中肿瘤模型包括多层感知器。
28.如权利要求11所述的计算机实现的方法，其中特征提取是使用动量对比度或动量对比度v2执行的。
29.如权利要求11所述的方法，其中确定用于肿瘤组织片段中的每个肿瘤组织片段的pda亚型包括：
30.如权利要求29所述的方法，其中确定pda亚型包括基于对从图块的子集提取的特征的子集的分析来计算切片级别的purist分数。
31.如权利要求11所述的计算机实现的方法，其中已经使用多个训练图像训练了机器学习模型，所述多个训练图像包括得自具有pda分类方案的已知pda亚型的受试者的pda样本的组织学切片的数字图像。
32.如权利要求31所述的计算机实现的方法，其中训练图像各自包括指示已知pda亚型的全局标签。
33.如权利要求29至权利要求32中的任一项所述的计算机实现的方法，其中机器学习模型是深度多实例学习模型。
34.如权利要求29所述的计算机实现的方法，其中pda剖析方案是分子成分，并且全局标签是经典、基础、间质活动、间质非活动分子成分中的每一个的值。
35.如权利要求29至权利要求31或权利要求33中的任一项所述的计算机实现的方法，其中机器学习模型是weldon模型。
36.如权利要求30至权利要求32中的任一项所述的计算机实现的方法，其中已知的pda亚型是使用pda样本的基因表达谱来识别的。
37.如权利要求35所述的计算机实现的方法，其中基因表达谱包括rnaseq数据或nanostring数据。
38.如权利要求12所述的计算机实现的方法，还包括汇集与图块的子集中的每个图块对应的pda分子成分分数，以生成切片级别分子成分分数，其中切片级别分子成分分数指示具有最高预测分数的分子成分。
39.如权利要求12所述的计算机实现的方法，还包括将数字图像与代表与图块的子集中的每个图块对应的pda分子成分分数的信息叠加，以生成用代表pda分子成分分数的信息标记的数字图像。
40.如权利要求37所述的计算机实现的方法，其中代表每个图块的pda分子成分分数的信息包括指示具有在图块中所包含的所述一个或多个肿瘤组织片段的最高预测分数的分子成分的标签。
41.如权利要求11所述的计算机实现的方法，还包括：
42.一种pda样本的组织学切片的数字图像，其中图像内的肿瘤组织片段包括将所述一个或多个肿瘤组织片段与多个pda亚型中的一个或多个pda亚型相关联的标签...
【专利技术属性】
技术研发人员：C·塞拉德，B·施莫奇，V·奥伯特，K·奥雷利，M·拉克鲁瓦缇基，I·加尔贝里斯，D·德鲁贝，F·安德烈，J·克罗斯，
申请(专利权)人：奥金股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。