用于医疗保健应用中的机器学习定位模型的交互式阴性解释的系统、用户接口和方法技术方案

一种方法和系统，用于评估机器学习模型，该机器学习模型从患者或者从其获得的样本的2D或3D图像提供关于患者的疾病状态的预测。机器学习模型从图像产生疾病状态的预测。该方法涉及在工作站的显示器上呈现患者或者从其获得的样本的图像，以及与预测相关联的风险得分或分类。该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域。提供工具，用户可通过该工具来突出图像中用户认为对于疾病状态而言可疑的一个或多个区域。由机器学习模型对用户突出的区域执行推理。经由显示器向用户呈现推理的结果。

【技术实现步骤摘要】
【国外来华专利技术】用于医疗保健应用中的机器学习定位模型的交互式阴性解释的系统、用户接口和方法优先权本申请要求2019年1月11日递交的序列号为16/246,156的美国专利申请的优先权权益。
技术介绍
本公开涉及一种用于机器学习定位模型生成的阴性预测的交互式评估的系统、用户接口和方法。本公开的教导在各种领域中有应用，包括在机器学习医疗保健应用中，例如检查显微镜切片，诊断乳房X光片中的乳腺癌，或者其他放射学形态(例如，X射线、CT、MRI)、摄影图像(皮肤科)以及其他中的其他类型的癌症。本教导也可应用于其他领域，例如冶金学、零件检查、半导体制造及其他，其中机器学习定位模型基于输入的图像数据集合进行预测，预测是阴性的，并且用户试图进一步查询该模型。在专利和技术文献中描述了将机器学习模型用于若干医疗保健应用的情况。在一个示例中，开发这样的模型是为了协助病理学家识别患者或者从患者得到的标本的2D或3D体积图像中的疾病的存在。例如，病理学家可能试图确定肿瘤细胞(即，癌症)是否存在于组织的放大数字图像中，例如，从活检中获得的淋巴结组织、乳腺癌或前列腺癌组织。作为另一示例，机器学习模型可协助放射科医生检测乳房X光片或胸部X光片中的癌细胞。机器学习模型被训练为从训练数据的集合(图像集合)中识别癌细胞或组织，通常使用卷积神经网络或本领域已知的其他分类过程。各种技术和工具是已知的，它们解决了“模型解释”的问题。模型解释是一个以人类可读的方式证明机器学习模型为何做出某种建议(例如，诊断出患者患有癌症)的过程。深度学习模型预测是出了名地难以解释。这在诸如YouTube视频排名之类的用例中是可容忍的，但对于诸如医学之类的高影响力应用中的用例来说则是完全不可接受的。病理学家和其他医疗专业人员，不仅想要知道模型的预测是什么，还想要知道为什么会这样，以便对预测有信心。本受让人的研究人员已经开发了一些解释模型预测的基本方法。例如，如果一样本或图像被诊断为“阳性”(例如，有癌症，或者癌症的可能性很高)，则已经使用了以下方法：(1)向用户呈现由检测模型产生并随后由分类模型分类的疑似病变周围的边界框，示例在图1A中示出；(2)呈现“热图”，通常有颜色编码来示出特定区域或像素为癌症的可能性的置信度，示例在图1B中示出，参见https://ai.googleblog.com/2017/03/assisting-pathologists-in-detecting.html；以及(3)向用户呈现注意力掩码(attentionmask)，其示例在图1C中示出。尽管有这些进展，关于解释没有发现(例如，没有癌症)的选项是有限的，因为证明阴性是很困难的。对于大多数计算机辅助检测系统，认为某个感兴趣的区域是可疑疾病的医学专家/病理学家/放射科医生，无法知道产生阴性预测的模型是否遗漏了该区域，或者该模型是否检查了该区域并且将其归类为正常/良性。由于计算资源有限，在本领域中的机器学习的一些实现方式中，最初使用检测模型来寻找可疑的癌症组织，随后只有被检测模型发现的那些区域才被用分类模型来进行分类。因此，存在一些风险，即检测模型可能遗漏了可能是癌症的区域，并且因此，总体上得到的“阴性”预测可能是不正确的。在“阴性”预测的情境中，模型解释的这个问题导致了市场上现有的许多计算机辅助检测/诊断(ComputerAidedDetection/Diagnosis，CAD)系统无法提供改善的结果。例如，乳房摄影CAD系统已被证明降低了特异性，部分原因是这种系统采用了这样的用户接口：这些用户接口虽然用大量的发现提醒放射科医生，但它们未能向放射科医生确保，放射科医生自己识别为可疑的发现被机器学习模型视为了良性。本公开解决了这个未满足的需求。
技术实现思路
在一个方面中，公开了一种方法，用于评估机器学习模型，该机器学习模型从患者或从其获得的样本的2D或3D影像，例如X光片、CT扫描、病理标本，提供关于患者的疾病状态的预测。机器学习模型被训练来从2D或3D影像做出预测，例如，癌变、良性、钙化、病变，等等。该方法包括以下步骤：a)呈现带有与预测相关联的风险得分或分类的图像，其中该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域；b)提供用于突出图像的一个或多个区域的用户接口工具，c)接收突出图像的一个或多个区域的用户输入；d)让突出的一个或多个区域经历由机器学习模型进行的推理；并且e)经由显示器向用户呈现对一个或多个区域的推理的结果。在另一方面中，描述了一种工作站，其被配置为评估从2D或3D影像提供患者的预测的机器学习模型。该工作站包括：a)显示器，用于显示患者或者从其获得的样本的图像，以及与预测相关联的风险得分或分类，其中该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域；以及b)用户接口工具，通过该工具，用户可在显示器上突出图像中用户认为对于疾病状态而言可疑的一个或多个区域，其中用户调用工具从而突出一个或多个区域。显示器还被配置为呈现由机器学习模型对用户突出的一个或多个区域执行的推理的结果。附图说明图1A是乳房X光片，其中在由检测模型产生并随后由分类模型分类的疑似病变周围有边界框。图1B是CT扫描，其中有与形成指示癌症可能性高的区域的“热图”的彩色区域相对应的阴影。图1C是视网膜照片，其中有指示出视网膜照片中有助于特定眼疾病的模型预测的那些部分的注意力掩码(用实线突出的区域)。图2是乳房X光片，其中包含风险得分(癌症得分，＝0.6％，在本示例中可能是良性的)，同时还有矩形形式的覆盖，识别出影响了机器学习模型的诊断预测的区域。图3是图2的乳房X光片的图示，但用户已在乳房X光片上绘出新的区域，用户发现该区域可疑并请求额外的发现。该区域可借助光标、手指或笔来绘出，如果乳房X光片是在触摸敏感显示器上呈现的话；识别该区域的方式并不特别重要。图4是在机器学习模型对图3中用户突出的区域执行了推理后，图3的乳房X光片的图示。该显示示出了对用户识别的区域的分类以及局部区域风险得分，在这种情况下，是0.02％的癌症得分。推理的结果可包括局部区域得分、分类特性、回归值和其他有助于该区域的解读的特征。这样的结果可选地与整体病例的更新后风险得分一起被呈现给用户。用户根据图3识别和突出新的区域，执行推理并且根据图4呈现结果的过程可根据用户的需要继续进行。图5A是组织图像的图示，其中包含风险得分以及矩形形式的覆盖，识别出影响了机器学习模型的诊断预测的细胞集群。图5B是图5A的组织图像的图示，但用户在该组织图像上绘出了用户认为可疑并且请求额外发现的新区域。对用户所绘出的区域执行的推理的结果被呈现在显示器上。图5C是图5A的组织图像的图示，其中用户在该图像上绘出了另一个被认为是可疑的新区域。对该新区域执行推理的结果被呈现在显示器上。图6是其中可实现本公开的方法的计算环境的一个示例的图示。图7是示出在图6的计算环境中为了执行该方法而执行的本文档来自技高网...

【技术保护点】
1.一种用于评估从2D或3D影像提供关于患者的疾病状态的预测的机器学习模型的方法，包括以下步骤：/na)呈现图像以及与所述预测相关联的风险得分或分类，其中所述图像被用突出来进一步增强，以指示出所述图像中影响了所述机器学习模型所产生的预测的一个或多个区域；/nb)提供用于突出所述图像的一个或多个区域的用户接口工具；/nc)接收突出所述图像的一个或多个区域的用户输入；/nd)让突出的一个或多个区域经历由所述机器学习模型进行的推理；并且/ne)经由显示器向用户呈现对所述一个或多个区域的推理的结果。/n

【技术特征摘要】
【国外来华专利技术】20190111 US 16/246,1561.一种用于评估从2D或3D影像提供关于患者的疾病状态的预测的机器学习模型的方法，包括以下步骤：
a)呈现图像以及与所述预测相关联的风险得分或分类，其中所述图像被用突出来进一步增强，以指示出所述图像中影响了所述机器学习模型所产生的预测的一个或多个区域；
b)提供用于突出所述图像的一个或多个区域的用户接口工具；
c)接收突出所述图像的一个或多个区域的用户输入；
d)让突出的一个或多个区域经历由所述机器学习模型进行的推理；并且
e)经由显示器向用户呈现对所述一个或多个区域的推理的结果。


2.如权利要求1所述的方法，还包括以下步骤：接收突出所述图像的其他另外区域的用户输入并且对于这种其他另外区域执行步骤d)和e)。


3.如权利要求1或权利要求2所述的方法，其中所述预测与风险得分相关联，并且其中步骤e)包括生成新的风险得分的步骤。


4.如权利要求1或权利要求2所述的方法，其中所述机器学习模型包括被训练来识别所述图像中的癌细胞的存在的卷积神经网络。


5.如权利要求1或权利要求2所述的方法，其中所述图像包括组织图像。


6.如权利要求1或权利要求2所述的方法，其中所述图像包括2D放射图像。


7.如权利要求6所述的方法，其中所述图像是从由乳房X光片和胸部X光片构成的图像群组中选择的。


8.如权利要求1或权利要求2所述的方法，其中所述图像包括从核磁共振(NMR)或者计算机断层扫描(CT)获得的3D放射图像。


9.如权利要求1或权利要求2所述的方法，其中所述工具包括与所述显示器相关联的鼠标。


10.如权利要求1或权利要求2所述的方法，其中所述显示器是触摸敏感的，并且其中所述工具包括图形处理，所述图形处理记录所述显示器上被用户直接或间接触摸的位置并且将这样的位置转化为所述图像内的位置。


11.一种工作站，被配置为评估机器学习模型，该机器学习模型从患者或者从其获得的样本的2D或3D图像提供关于该患者的疾病状态的预测，其中所述机器学习模型从所述图像产生所述疾病状态的预测，其中所述工作站包括：
a)显示器，用于显示所述患者或者从其获得的样本的图像，以及与所述...

【专利技术属性】
技术研发人员：M西尼克，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US