对病理样本提供判断结果的人工神经网络的学习方法及执行其的计算系统技术方案

本发明专利技术涉及可通过利用不同的多种染色试剂分别对与单一样本相关的连续的多个切片(serial sections)进行染色的多个病理标本学习人工神经网络来对疾病执行高准确度判断的方法及执行其的计算系统。根据本发明专利技术的一实施方式，本发明专利技术所提供的人工神经网络学习方法包括如下步骤：神经网络学习系统生成包含M个单个学习数据(其中，M为2以上的自然数)的学习数据集；以及上述神经网络学习系统基于上述学习数据集学习上述人工神经网络，生成包含上述M个单个学习数据的学习数据集的步骤包括如下步骤，即，对于1≤m≤M的所有m，生成将要包含在上述学习数据集的第m学习数据，生成上述第m学习数据的步骤包括如下步骤：获取第一病理标本图像至第N病理标本图像(其中，N为2以上的自然数)，其中，上述第一病理标本图像至第N病理标本图像为用不同的染色试剂对与单一病理样本相关的连续的切片(serial section)进行染色的病理标本图像；以及基于上述第一病理标本图像至上述第N病理标本图像生成上述第m学习数据。据。据。

【技术实现步骤摘要】
【国外来华专利技术】对病理样本提供判断结果的人工神经网络的学习方法及执行其的计算系统


[0001]本专利技术涉及一种对病理样本提供判断结果的人工神经网络的学习方法及执行其的计算系统。更详细地，涉及可通过利用用不同的多种染色试剂分别对与单一样本相关的连续的多个切片(serial sections)进行染色的多个病理标本学习人工神经网络来对疾病执行高准确度判断的方法及执行其的计算系统。
[0002]
技术介绍

[0003]通常，将在肿瘤周边与肿瘤细胞起到相互作用并对肿瘤的增殖产生影响的多个相邻细胞称作肿瘤微细环境。对于肿瘤微细环境的研究对癌症当前状态的诊断、预后以及掌握对于特定治疗方法的反应性并研发新治疗方法意义重大。
[0004]以往，为了分析肿瘤微细环境而使用了免疫组织化学(immunohistochemistry；以下称作IHC)染色试剂，其将预计存在于肿瘤微细环境内的特定免疫细胞或蛋白质作为目标。即，用特定目标的IHC染色试剂对病理样本进行染色，病理专家通过光学显微镜肉眼判断染色结果，来掌握多个目标的位置关系并计算量。在此情况下，由于需要综合观察多种免疫细胞或蛋白质来进行判断，因而制作了由与单一样本相关的连续的多个切片(serial sections)构成的多个标本，分别用H&E以及多种目标IHC染色试剂进行染色后分别由病理专家判断并综合判断结果。由于构成肿瘤微细环境的多种要素的位置关系非常重要，因而这种方式的分析存在局限性，为了打破这种局限性，出现了一次性对多种目标进行染色的multiplex IHC方式的染色方法，但其费用不菲，也没有得到普及。
[0005]另一方面，使用深度学习，尤其通过使用卷积神经网络(convolutional neural network；CNN)的病理标本图像分析来进行癌症当前状态的诊断、基于病重程度的预后，对于特定IHC染色结果的计测等的技术得到研发并投入使用。当前开发的多种技术将单一染色病理标本图像作为对象，分析结果将以特定分类或数值形态提供，因而通过简单的组合掌握将位置关系包括在内的肿瘤微细环境并不容易。例如，根据现有的专利(JP6650453B2)，虽然为了癌症的预后而使用由连续的多个切片构成的标本图像，但将对单独分析各个标本图像的结果分数进行综合来判断预后，并不会进行对所有标本图像的位置关系进行综合的分析。
[0006]因此，需要一种以将位置关系包括在内的方式对由与单一样本相关的连续的多个切片构成的多种染色标本进行综合分析的技术思想，以可在不使用multiplex IHC方法的情况下分析肿瘤微细环境。
[0007][0008]现有技术文献
[0009]专利文献
[0010]日本授权公报JP6650453 B2
[0011]
技术实现思路

技术问题
[0012]本专利技术的目的在于提供如下的方法及系统，即，通过利用分别用H&E或多种目标IHC染色试剂等对与单一样本相关的连续的多个切片进行染色的多个病理标本学习人工神经网络，可使得学习后的人工神经网络综合分析肿瘤微细环境，从而能够以高准确度进行癌症当前状态的诊断、预后以及掌握对于特定治疗方法的反应性。
[0013]技术方案
[0014]根据本专利技术的一实施方式，本专利技术提供一种人工神经网络学习方法，用于学习人工神经网络，其包括如下步骤：神经网络学习系统生成包含M个单个学习数据(其中，M为2以上的自然数)的学习数据集；以及上述神经网络学习系统基于上述学习数据集学习上述人工神经网络，生成包含上述M个单个学习数据的学习数据集的步骤包括如下步骤，即，对于1≤m≤M的所有m，生成将要包含在上述学习数据集的第m学习数据，生成上述第m学习数据的步骤包括如下步骤：获取第一病理标本图像至第N病理标本图像(其中，N为2以上的自然数)，其中，上述第一病理标本图像至第N病理标本图像为用不同的染色试剂对与单一病理样本相关的连续的切片进行染色的病理标本图像；以及基于上述第一病理标本图像至上述第N病理标本图像生成上述第m学习数据。
[0016]在一实施例中，基于上述第一病理标本图像至上述第N病理标本图像生成上述第m学习数据的步骤可包括如下步骤，即，通过通道堆叠(channel stacking)来将上述第一病理标本图像至上述第N病理标本图像变换成一个多通道图像，上述第m学习数据可包含上述多通道图像。
[0017]在一实施例中，上述学习数据可包括N个通道，通过通道堆叠来将上述第一病理标本图像至上述第N病理标本图像变换成一个多通道图像的步骤可包括如下步骤，即，对于1≤n≤N的所有自然数n，用第N病理标本图像的各个像素值构成上述多通道图像的第N通道。
[0018]在一实施例中，基于上述第一病理标本图像至上述第N病理标本图像生成上述第m学习数据的步骤可包括如下步骤：指定上述第一病理标本图像至上述第N病理标本图像内存在的生物体组织区域；以使分别存在于上述第一病理标本图像至上述第N病理标本图像的生物体组织区域之间的位置及形态相一致的方式整合上述第一病理标本图像至上述第N病理标本图像；以及通过通道堆叠来将整合的上述第一病理标本图像至整合的上述第N病理标本图像变换成一个多通道图像，上述第m学习数据可包含上述多通道图像。
[0019]在一实施例中，上述学习数据可包括N个通道，通过通道堆叠来将整合的上述第一病理标本图像至整合的上述第N病理标本图像变换成一个多通道图像的步骤可包括如下步骤，即，对于1≤n≤N的所有自然数n，用整合的第N病理标本图像的各个像素值构成上述多通道图像的第N通道。
[0020]在一实施例中，以使分别存在于上述第一病理标本图像至上述第N病理标本图像的生物体组织区域之间的位置及形态相一致的方式整合上述第一病理标本图像至上述第N病理标本图像的步骤可包括如下步骤，即，对于1≤i≤N的所有自然数i，计算与第i病理标
本图像相对应的变换关系，(其中，与上述第i病理标本图像相对应的变换关系为上述第i病理标本图像和与之相对应的整合的第i病理标本图像之间的变换关系)，基于上述第一病理标本图像至上述第N病理标本图像生成上述第m学习数据的步骤还可包括如下步骤：对于1≤j≤N的所有自然数j，利用与上述第j病理标本图像相对应的变换关系来对向第j病理标本图像赋予的病变注释区域进行变形；以及通过通道堆叠来将变形的上述第一病理标本图像的病变注释区域至变形的上述第N病理标本图像的病变注释区域变换成一个多通道病变注释区域，上述第m学习数据还可包含上述多通道病变注释区域。
[0021]根据本专利技术的再一实施方式，本专利技术提供一种方法，通过经上述人工神经网络学习方法学习的人工神经网络来对规定的判断对象病理样本提供判断结果，其包括如下步骤：计算系统获取第一判断对象病理标本图像至第N判断对象病理标本图像(其中，N为2以上的自然数)，其中，上述第一判断对象病理标本图像至上述第N判断对象病理标本图像为用不同的染色试剂对与上述判断对象病理样本相关的连续的切片进行染色的病理标本图像；以及上述计算系统输出上本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种人工神经网络学习方法，其特征在于，包括如下步骤：神经网络学习系统生成包含M个单个学习数据的学习数据集，其中，M为2以上的自然数；以及上述神经网络学习系统基于上述学习数据集学习上述人工神经网络，上述神经网络学习系统通过将包含在上述学习数据集的M个单个学习数据分别输入到上述人工神经网络的输入层来学习上述人工神经网络，生成包含上述M个单个学习数据的学习数据集的步骤包括如下步骤，即，对于1≤m≤M的所有m，生成将要包含在上述学习数据集的第m学习数据，生成上述第m学习数据的步骤包括如下步骤：获取第一病理标本图像至第N病理标本图像，其中，N为2以上的自然数，其中，上述第一病理标本图像至第N病理标本图像为用不同的染色试剂对与单一病理样本相关的连续的切片进行染色的病理标本图像；以及基于上述第一病理标本图像至上述第N病理标本图像生成上述第m学习数据。2.根据权利要求1所述的人工神经网络学习方法，其特征在于，基于上述第一病理标本图像至上述第N病理标本图像生成上述第m学习数据的步骤包括如下步骤，即，通过通道堆叠来将上述第一病理标本图像至上述第N病理标本图像变换成一个多通道图像，上述第m学习数据包含上述多通道图像。3.根据权利要求1所述的人工神经网络学习方法，其特征在于，基于上述第一病理标本图像至上述第N病理标本图像生成上述第m学习数据的步骤包括如下步骤：指定上述第一病理标本图像至上述第N病理标本图像内存在的生物体组织区域；以使分别存在于上述第一病理标本图像至上述第N病理标本图像的生物体组织区域之间的位置及形态相一致的方式整合上述第一病理标本图像至上述第N病理标本图像；以及通过通道堆叠来将整合的上述第一病理标本图像至整合的上述第N病理标本图像变换成一个多通道图像，上述第m学习数据包含上述多通道图像。4.根据权利要求3所述的人工神经网络学习方法，其特征在于，以使分别存在于上述第一病理标本图像至上述第N病理标本图像的生物体组织区域之间的位置及形态相一致的方式整合上述第一病理标本图像至上述第N病理标本图像的步骤包括如下步骤，即，对于1≤i≤N的所有自然数i，计算与第i病理标本图像相对应的变换关系，其中，与上述第i病理标本图像相对应的变换关系为上述第i病理标本图像和与之相对应的整合的第i病理标本图像之间的变换关系，基于上述第一病理标本图像至上述第N病理标本图像生成上述第m学习数据的步骤还包括如下步骤：对于1≤j≤N的所有自然数j，利用与上述第j病理标本图像相对应的变换关系来对向第j病理标本图像赋予的病变注释区域进行变形；以及通过通道堆叠来将变形的上述第一病理标本图像的病变注释区域至变形的上述第N病
理标本图像的病变注释区域变换成一个多通道病变注释区域，上述第m学习数据还包含上述多通道病变注释区域。5.一种方法，通过经根据权利要求1所述的人工神经网络学习方法学习的人工神经网络来提供对于规定的判断对象病理样本的判断结果，其特征在于，包括如下步骤：计算系统获取第一判断对象病理标本图像至第N判断对象病理标本图像，其中，N为2以上的自然数，其中，上述第一判断对象病理标本图像至上述第N判断对象病理标本图像为用不同的染色试剂对与上述判断对象病理样本相关的连续的切片进行染色的病理标本图像；以及上述计算系统输出上述人工神经网络基于上述第一判断对象病理标本图像至上述第N判断对象病理标本图像判断的与上述判断对象病理样本相关的判断结果。6.一种计算机程序，其特征在于，记录在设置于数据处理装置并用于执行根据权利要求1至5中任一项所述的方法的介质。7.一种计算机可读记录介质，其特征在于，记录有用于执行根据权利要求1至5中任一项所述的...

【专利技术属性】
技术研发人员：郭兌荣，白寅暎，金善禹，
申请(专利权)人：第一百欧有限公司，
类型：发明
国别省市：