基于机器学习的医学数据检查器制造技术

本文提出了一种验证多模态医学数据的方法。所述方法包括：访问受试者的多模态医学数据，所述多模态医学数据包括样本载玻片的医学图像，其中所述样本载玻片中的样本是从所述受试者收集的；基于所述医学图像生成与所述医学图像的生物学属性有关的预测；确定所述医学图像的所述生物学属性与所述多模态医学数据的其他模态之间的一致性程度；以及基于所述一致性程度输出对所述多模态医学数据是否包含不一致性的指示。一致性的指示。一致性的指示。

【技术实现步骤摘要】
【国外来华专利技术】基于机器学习的医学数据检查器
[0001]相关专利申请的交叉引用本申请要求 2020 年 6 月 24 日提交的美国临时专利申请第 63/043,691 号的优先权权益，出于所有目的通过引用将其并入。

技术介绍

[0002]医疗服务提供者每天为不同的受试者（例如，患者）创建大量的医学数据。每个受试者的医学数据可以包括多模态医学数据。例如，对于癌症患者，多模态医学数据可以包括受试者的生平数据、受试者的组织样本的医学图像、组织样本的分析信息、受试者的突变状态等。多模态医学数据可以存储在一个或多个数据库中。临床医生可以从数据库中获取受试者的多模态医学数据，基于医学数据进行诊断并为受试者确定治疗计划以及治疗的预后。例如，基于肿瘤大小，临床医生可以确定受试者所处的癌症的阶段，并决定受试者应该接受的治疗形式（例如，化学疗法、放射疗法或手术）以延长受试者的存活期。此外，临床医生可以在确定治疗时考虑受试者的突变状态。例如，对于某些类型的疗法，一些携带某些基因中的突变的受试者可能比不携带这些突变的受试者更有反应，这可以帮助临床医生决定受试者的治疗方法。
[0003]多模态医学数据通常从多个数据源汇集而来，并由不同的医疗服务提供者准备。例如，医学图像可以由医学成像部门准备，而生平数据可以由接收部门准备。这种安排可能容易出错。例如，可能将身份识别错误引入到多模态医学数据，在这种情况下，特定患者的部分或全部医学数据被换成另一患者的医学数据。身份识别错误的一个示例是样本出处复杂化（也称为错误归属），其中一名患者的一条数据已经被换成了另一患者的数据。识别错误可能发生在医疗过程的任何阶段——在分析前阶段、在分析阶段以及在分析后阶段。例如，当一名患者的组织样本（或其图像）已经与被换成了另一患者的组织样本（或其图像）时，可能会出现身份识别错误。
[0004]如果为患者做出的临床决策（例如，诊断决策或治疗决策）是基于另一患者的医学数据，则未检测到的身份识别错误可能会严重影响临床护理。因此，需要验证或检查大量的医学数据的有效方法，以检测和标示身份识别错误。

技术实现思路

[0005]本文公开了用于自动验证受试者（例如，患者）的多模态医学数据的技术。在提供给医学应用程序之前，可以使用所公开技术来验证多模态医学数据。例如，多模态医学数据可以是受试者的数据并且可以包括样本载玻片的输入医学图像，该样本载玻片可以由从受试者移除的组织样本制备。多模态医学数据还可以包括医学数据的其他模态，诸如组织样本的分析数据。分析数据可以包括例如肿瘤的部位/位置、组织样本的类型（例如，活检或切除）以及受试者的突变状态。多模态医学数据还可以包括受试者的生平数据。可以在医学数据在医学应用程序上可访问之前验证受试者的多模态医学数据，以确保向该医学应用程序的用户（例如，临床医生）提供经验证在不同模态之间一致的多模态医学数据。
[0006]在一些示例中，该技术包括使用一个或多个机器学习模型并基于多模态医学数据的输入医学图像来预测输入医学图像的生物学属性。生物学属性可以与类型相关联，并且对于每个生物学属性类型可以有一系列生物学属性，从这些生物学属性可以针对输入医学图像预测生物学属性。例如，生物学属性的类型可以包括从中提取组织的器官的类型，并且该器官类型的一系列生物学属性可以包括例如脑、乳腺、支气管及肺或肾。生物学属性的类型还可以包括在图像中被观察的组织样本的提取方法的类型，提取方法类型的一系列生物学属性可以包括例如活检或切除。进一步地，生物学属性的类型还可以包括蛋白质表达的类型，并且蛋白质表达类型的一系列生物学属性可以包括例如表皮生长因子受体 (EGFR) 蛋白、KRAS 蛋白或肿瘤蛋白 p53。生物学属性的类型还可以包括其他信息，诸如样本中的肿瘤细胞的类型。
[0007]另外，输入医学图像可以包括图块集，每个图块包括像素块。在一些示例中，可以基于使用一个或多个机器学习模型针对每个图块执行图块级预测，随后聚合图块级预测，来针对输入医学图像进行对生物学属性的载玻片级预测。在一些示例中，还可以基于将输入医学图像的载玻片级表示输入到一个或多个机器学习模型来进行载玻片级预测。在一些示例中，载玻片级表示可以例如基于以下生成：生成图块的图块级表示以及基于比较图块级表示与参考图块级，将输入医学图像的图块分配到参考医学图像的参考图块集群。可以将图块级表示生成为嵌入向量。
[0008]该技术进一步包括确定输入医学图像的经预测的生物学属性与医学数据的其他模态之间的一致性；以及输出对多模态医学数据是否包括潜在一致性的指示，该指示可以指示由例如生平数据中列出的不正确姓名、组织样本被换成另一受试者的组织样本或分析数据被换成另一受试者的分析数据引起的误身份识别错误。可以在医学应用程序中输出指示以警示该医学应用程序的用户多模态医学数据包含潜在的不一致，并且在用户可以基于该多模态医学数据做出临床决策之前可能需要进一步调查。在一些示例中，输入医学图像的载玻片级表示可用于对相似医学图像和与医学图像相关联的受试者的其他医学数据（例如，诊断、治疗史等）执行相似性搜索，以促进对输入医学图像的主题的临床决策。
[0009]以下详细描述了本公开的这些和其他示例。例如，其他实施方案涉及与本文描述的方法相关联的系统、装置和计算机可读介质。
[0010]参考以下具体实施方式和附图，可以更好地理解所公开技术的性质和优点。
附图说明
[0011]参考附图给出详细说明。
[0012]图 1A 和图 1B 示出了涉及多模态医学数据的临床过程的示例。
[0013]图 2A 和图 2B 根据本公开的某些方面，示出了可以在图 1A 和图 1B 的示例性临床过程中使用的医学数据检查器系统的示例。
[0014]图 3A、图 3B 和图 3C 根据本公开的某些方面，示出了图 2A 和图 2B 的医学数据检查器系统的示例性操作。
[0015]图 4A 和图 4B 根据本公开的某些方面，示出了图 2A 和图 2B 的医学数据检查器系统的示例性组件。
[0016]图 5 根据本公开的某些方面，示出了图 2A 至图 4B 的医学数据检查器系统的
示例性训练操作。
[0017]图 6 根据本公开的某些方面，示出了的图 2A 和图 2B 的医学数据检查器系统的示例性组件。
[0018]图 7A、图 7B 和图 7C 根据本公开的某些方面，示出了图 2A 和图 2B 的医学数据检查器系统的示例性组件以及这些组件的操作。
[0019]图 8A、图 8B 和图 8C 根据本公开的某些方面，示出了图 2A 和图 2B 的医学数据检查器系统的示例性组件以及这些组件的操作。
[0020]图 9 根据本公开的某些方面，示出了图 2A 和图 2B 的医学数据检查器系统的示例性组件。
[0021]图 10 根据本公开的某些方面，示出了图 6 至图 9 的医学数据检查器系统组件的性能的示例。
[0022]如图 11A 和图 11B 根据本公开的某些方面，示出了验证本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，其包括：访问受试者的多模态医学数据，所述多模态医学数据包括样本载玻片的医学图像，其中所述样本载玻片中的样本是从所述受试者收集的；基于所述医学图像生成与所述医学图像的生物学属性有关的预测；确定所述医学图像的所述生物学属性与所述多模态医学数据的其他模态之间的一致性程度；以及基于所述一致性程度输出对所述多模态医学数据是否包含不一致性的指示。2. 根据权利要求 1 所述的方法，其中所述生物学属性与一个或多个生物学属性类型相关联，所述一个或多个生物学属性类型包括以下中的至少一者：所述样本的源器官、所述样本的提取方法、所述样本的蛋白质表达或所述样本中肿瘤细胞的类型。3. 根据权利要求 1 或 2 所述的方法，其进一步包括：定义图块集，其中所述图块集中的每一个图块包括所述医学图像的不同部分；针对所述图块集中的每一个图块，生成与所述图块的生物学属性有关的图块级预测，其中与所述医学图像的所述生物学属性有关的所述预测是基于聚合对所述图块集的所述图块级预测所生成的。4. 根据权利要求 3 所述的方法，其中所述图块集的所述图块级预测包括对针对所述图块集的第一子集的第一生物学属性以及针对所述图块集的第二子集的第二生物学属性的图块级预测；并且其中基于聚合所述图块级预测生成与所述医学图像的所述生物学属性有关的所述预测包括：确定所述图块集的所述第一子集中图块的第一数量；确定所述图块集的所述第二子集中图块的第二数量；以及基于所述第一数量大于所述第二数量，选择所述第一生物学属性作为所述医学图像的所述生物学属性。5. 根据权利要求 4 所述的方法，其中所述图块集的所述第二子集中的每一个图块与缩放因子相关联；并且其中所述第二数量是基于所述图块集的所述第二子集中所述图块的计数和所述缩放因子确定的。6. 根据权利要求 5 所述的方法，其中所述图块的所述缩放因子是基于以下中的至少一者：对针对所述图块的所述第二生物学属性的所述图块级预测的置信水平或相关程度。7. 根据权利要求 6 所述的方法，其中针对所述图块集中的每一个图块，生成与所述图块的所述生物学属性有关的所述图块级预测包括：针对每一个图块，生成所述图块具有针对候选生物学属性集中的每一个候选生物学属性的候选生物学属性的可能性；以及从所述候选生物学属性集中选择具有最高可能性的候选生物学属性；并且其中对针对每一个图块的所述图块级预测的所述置信水平是基于针对所述图块所选择的候选生物学属性的第一可能性值与针对所述图块未选择的另一候选生物学属性的第二可能性值之间的差异。
8. 根据权利要求 6 或 7 所述的方法，其中所述相关程度是基于所述图块的位置。9. 根据权利要求 3 至 8 中任一项所述的方法，其中所述图块级预测是使用机器学习模型生成的，所述机器学习模型包括卷积神经网络和完全连接的网络；其中所述卷积神经网络基于图块的像素数据的块来生成卷积输出集；并且其中所述完全连接的网络基于所述卷积输出集将所述图块分类为候选生物学属性集中的一个候选生物学属性。10. 根据权利要求 1 至 9 中任一项所述的方法，其中所述指示被输出到呈现所述多模态医学数据的医学应用程序。11.一种计算机产品，其包括存储多个指令的计算机可读介质，所述多个指令用于控制计算机系统以进行以上方法中的任何方法的操作。12. 一种系统，其包括：根据权利要求 11 所述的计算机产品；以及一个或多个处理器，其用于执行存储在所述计算机可读介质上的指令。13.一种系统，其包括用于进行以上方法中的任何方法的装置。14.一种系统，其经配置为进行以上方法中的任何方法。15.一种系统，其包括分别进行以上方法中的任何方法的步骤的模块。16.一种方法，其包括：访问样本载玻片的医学图像，其中所述样本载玻片中的样本是从受试者收集的，所述医学图像是所述受试者的多模态医学数据的一部分；定义图块集，其中所述图块集中的每一个图块包括所述医学图像的不同部分；针对所述图块集中的每一个图块，生成所述图块的图块级表示；针对所述图块集中的每一个图块，基于所述图块的所述图块级表示将所述图块分配到集群集中的特定集群；基于图块分配，确定跨所述集群集的集群分配的分布；以及基于所述分布，生成所述医学图像的载玻片级表示；以及基于所述载玻片级表示，生成与所述医学图像的生物学属性有关的预测。17. 根据权利要求 16 所述的方法，其中所述生物学属性与一个或多个生物学属性类型相关联，所述一个或多个生物学属性类型包括以下中的至少一者：所述样本的源器官、所述样本的提取方法、所述样本的蛋白质表达或肿瘤...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：豪夫迈，
类型：发明
国别省市：