从医学图像自动提取超声心动图测量结果制造技术

提供了用于实现自动超声心动图测量结果提取系统的机制。所述自动超声心动图测量结果提取系统接收包括一个或多个医学图像的医学成像数据，并将所述一个或多个医学图像输入到深度学习网络中。所述深度学习网络自动处理所述一个或多个医学图像以生成提取的超声心动图测量向量输出，所述提取的超声心动图测量向量输出包括从所述一个或多个医学图像提取的超声心动图测量结果的一个或多个值。所述深度学习网络将所述提取的超声心动图测量向量输出输出到医学图像查看器。

【技术实现步骤摘要】
【国外来华专利技术】从医学图像自动提取超声心动图测量结果
技术介绍
本申请一般涉及改进的数据处理装置和方法，并且更具体地涉及用于执行从医学图像自动提取超声心动图测量结果的机制。超声心动图(有时也称为诊断心脏超声)是一种被广泛接受的医学测试，其使用高频声波(超声)来生成患者心脏的图像。超声心动图使用声波来创建心脏的腔室、瓣膜、壁和附接到心脏的血管(主动脉、动脉、静脉)的图像。在超声心动图期间，称为换能器的探头在患者胸部上通过，并用于产生从心脏结构弹回并“回波”回到探头的声波。将检测到的“回波”转换成可以在计算机显示器上观看的数字图像。超声心动图用于识别患者的各种不同的心脏状况，以及提供关于心脏的结构和功能的医务人员信息。例如，使用超声心动图，医学专业人员能够识别：(1)心脏的大小和形状；(2)心脏壁的尺寸、厚度和运动；(3)心脏的运动；(4)心脏的泵送强度；(5)心脏瓣膜是否正常工作；(6)血液是否通过心脏瓣膜向后渗漏(反流)；(7)心脏瓣膜是否太窄(狭窄)；(8)是否在心脏瓣膜周围生长有肿瘤或感染物；(9)心脏的外衬(心包膜)的问题；(10)进入和离开心脏的大血管的问题；(11)心脏的腔室中的血凝块；和(12)心室之间的异常孔。
技术实现思路
提供本概述以便以简化形式介绍将在此在详细描述中进一步描述的一些概念。本
技术实现思路
不旨在标识所要求保护的主题的关键因素或必要特征，也不旨在用于限制所要求保护的主题的范围。在一个说明性的实施方案中，提供了一种在数据处理系统中的方法，所述数据处理系统包括至少一个处理器和至少一个存储器，所述至少一个存储器包括由所述至少一个处理器执行以使所述至少一个处理器实施自动超声心动图测量结果提取系统的指令。所述方法包括通过在所述数据处理系统上执行的所述自动超声心动图测量结果提取系统接收包括一个或多个医学图像的医学成像数据。所述方法还包括通过所述自动超声心动图测量结果提取系统将所述一个或多个医学图像输入到深度学习网络中。此外，该方法包括由所述深度学习网络自动处理所述一个或多个医学图像以生成提取的超声心动图测量向量输出，所述提取的超声心动图测量向量输出包括从所述一个或多个医学图像提取的超声心动图测量结果的一个或多个值。另外，所述方法包括通过所述深度学习网络将所提取的超声心动图测量向量输出输出到医学图像查看器。在其他说明性实施例中，提供了一种计算机程序产品，其包括具有计算机可读程序的计算机可用或可读介质。当在计算设备上执行所述计算机可读程序时，所述计算机可读程序使得所述计算设备执行上面关于方法说明性实施例概述的操作中的各种操作和操作的组合。在又一说明性实施例中，提供了一种系统/装置。该系统/装置可以包括一个或多个处理器和耦合到该一个或多个处理器的存储器。所述存储器可以包括指令，当由一个或多个处理器执行所述指令时，所述指令使一个或多个处理器执行上面关于方法说明性实施例概述的操作中的各种操作和操作的组合。本专利技术的这些和其它特征和优点将在以下本专利技术的示例性实施例的详细描述中描述，或者鉴于以下本专利技术的示例性实施例的详细描述，本专利技术的这些和其它特征和优点将对于本领域的普通技术人员变得显而易见。附图说明当结合附图阅读时，通过参考以下对说明性实施例的详细描述，将最好地理解本专利技术及其优选使用模式和进一步的目的和优点，在附图中：图1A是根据一个说明性实施例的自动超声心动图测量结果提取系统的主要操作部件的示例图；图1B和1C是根据一个说明性实施例的用于从医学图像自动提取超声心动图测量结果的卷积神经网络(CNN)和对应数据流的实施例的示例图；图2示出了根据一个说明性实施例的认知系统的一个说明性实施例的示意图，所述认知系统与自动超声心动图测量结果提取系统联合操作；图3是其中实现说明性实施例的各方面的示例数据处理系统的框图；以及图4是根据一个说明性实施例的概述用于执行医学图像的常态分类的示例操作的流程图。具体实施方式如上所述，超声心动图，即心脏的超声研究，是一种用于测量关于多种因素的心脏健康的常用工具。利用超声心动图，在各种心期拍摄不同模式(例如，A模式，其中单个换能器扫描穿过身体的线，回波被绘制为深度的函数，或者B模式，其显示组织的二维横截面的声阻抗)和医学图像的视点。在针对心脏状况对患者进行评估和治疗时，临床医生和其他医务人员通常需要确定心脏的解剖结构的测量结果，例如，心室的大小、心脏的壁厚、关于主动脉、肺静脉、瓣膜等的测量结果。这种测量结果通常指示不同类型的心脏医学状况。例如，测量室间隔和后壁厚度可以用于诊断肥大。作为另一个例子，左心室(LV)舒张直径、LV舒张直径/BSA或LV舒张直径/高度可用来利用测量结果的临床指南将病人的病例分类成正常、轻度异常、中度异常或严重异常。然而，生成这样的测量结果是手动过程，其需要受过训练的超声声谱仪操作员手动测量和记录每个患者的心脏测量结果，并且将这些测量结果编辑到医学报告文档中。手动过程是耗时的、资源密集的、易受人为错误的影响，并且由于这种人为错误可能导致不完整的测量结果集合。因此，可以自身从超声心动图医学图像生成心脏解剖结构的完整测量结果集的自动化机制在提供决策支持服务方面将是非常有益的。在特定配置的计算设备中实现的这种自动化机制加速了生成超声心动图医学报告文档的过程并加快了工作流程。从保健提供者的角度来看，这种类型的自动化机制可以消除使人类超声医师手动测量和记录心脏解剖结构的测量结果的必要性，这提高了超声心动图工作流程和流水线的效率，从而导致更好的患者治疗以及医务人员更多的补偿和保健提供者的价值。说明性实施例提供了用于从超声心动图图像自动提取心脏解剖结构的测量结果的机制。说明性实施例的自动化机制可以执行这样的测量结果提取，而不必执行图像分割，即不必执行将医学图像分割成与不同组织类别、器官、病理或其他生物相关结构相对应的不同有意义段的过程。因为图像分割可能是耗时的过程，所以从超声心动图图像的评估中移除分割过程的能力加速了生成与超声心动图图像集相关联的心脏医学报告文档的过程，并加快了整个工作流程。此外，分割在医疗记录中不容易获得，因此，为了生成高性能分割单元，需要由人类专家产生大量的分割，这通常是不可行的。然而，在说明性实施例中，图像和相应的测量结果用于训练，这两者在患者记录中都是容易获得的。因此，利用不需要图像分割的说明性实施例的机制，使得大规模训练成为可能。利用说明性实施例的机制，提供了自动化测量结果提取引擎，其对输入到自动化测量结果提取引擎的一个或多个图像进行操作，并且提供医学图像中存在的解剖结构的测量结果的对应集合作为输出。自动化测量结果提取引擎可以采用经训练的机器学习或深度学习网络(以下称为“经训练的网络”)，诸如神经网络、支持向量机、随机森林或多层感知器(MLP)，其在不执行图像分割的情况下生成测量结果。经训练的网络基于对哪些测量结果是通过应用于网络的训练过程从哪些类型的图像获得的学习来估计测量结果。在一个说明性实施例中，多层卷积神经网络(CNN)模型用于同时使用多个视图本文档来自技高网...

【技术保护点】
1.一种方法，在包括至少一个处理器和至少一个存储器的数据处理系统中，所述至少一个存储器包括由所述至少一个处理器执行以使所述至少一个处理器实施自动化超声心动图测量结果提取系统的指令，所述方法包括：/n由在所述数据处理系统上执行的所述自动化超声心动图测量结果提取系统接收包括一个或多个医学图像的医学成像数据；/n通过所述自动化超声心动图测量结果提取系统将所述一个或多个医学图像输入到深度学习网络中；/n由所述深度学习网络自动处理所述一个或多个医学图像以生成提取的超声心动图测量向量输出，所述提取的超声心动图测量向量输出包括从所述一个或多个医学图像提取的超声心动图测量结果的一个或多个值；以及/n由所述深度学习网络将所提取的超声心动图测量向量输出输出到医学图像查看器。/n

【技术特征摘要】
【国外来华专利技术】20171220 US 15/848,0771.一种方法，在包括至少一个处理器和至少一个存储器的数据处理系统中，所述至少一个存储器包括由所述至少一个处理器执行以使所述至少一个处理器实施自动化超声心动图测量结果提取系统的指令，所述方法包括：
由在所述数据处理系统上执行的所述自动化超声心动图测量结果提取系统接收包括一个或多个医学图像的医学成像数据；
通过所述自动化超声心动图测量结果提取系统将所述一个或多个医学图像输入到深度学习网络中；
由所述深度学习网络自动处理所述一个或多个医学图像以生成提取的超声心动图测量向量输出，所述提取的超声心动图测量向量输出包括从所述一个或多个医学图像提取的超声心动图测量结果的一个或多个值；以及
由所述深度学习网络将所提取的超声心动图测量向量输出输出到医学图像查看器。


2.如权利要求1所述的方法，其中所述一个或多个医学图像包括患者的一个或多个B模式超声心动图图像。


3.如权利要求1所述的方法，其中自动处理所述一个或多个医学图像以生成提取的超声心动图测量向量输出是在不对所述一个或多个医学图像执行图像分割的情况下执行的。


4.根据权利要求1所述的方法，其中所述深度学习网络包括多层卷积神经网络。


5.如权利要求1所述的方法，其中所述一个或多个医学图像包括多个医学图像，其中所述多个医学图像中的至少两个医学图像具有不同的视点，并且其中自动处理所述一个或多个医学图像以生成提取的超声心动图测量向量输出包括级联所述多个医学图像的特征向量。


6.根据权利要求1所述的方法，其中由所述深度学习网络将所述提取的超声心动图测量向量输出输出到医学图像查看器还包括：
通过所述自动化超声心动图测量结果提取系统注释所述一个或多个医学图像以包括超声心动图测量结果的所述一个或多个值；以及
经由所述医学图像查看器显示所述经注释的一个或多个医学图像。


7.根据权利要求1所述的方法，其中由所述深度学习网络将所述提取的超声心动图测量向量输出输出到医学图像查看器还包括：
通过所述自动化超声心动图测量结果提取系统，针对需要从所述一个或多个医学图像中提取的每种类型的超声心动图测量结果，识别提供用于生成所述类型的超声心动图测量结果的最佳视点的对应医学图像视点；以及
由所述自动超声心动图测量结果提取系统针对每种类型的超声心动图测量结果确定所述一个或多个医学图像是否包括具有与最佳视点相对应的视点的至少一个医学图像。


8.如权利要求1所述的方法，其中由所述深度学习网络将所述提取的超声心动图测量向量输出输出到医学图像查看器还包括，对于每种类型的超声心动图测量结果：
响应于所述一个或多个医学图像不包括具有对应于所述最佳视点的至少一个医学图像，向用户输出所述患者的至少一个额外的医学图像将被捕获的通知以及为所述对应类型的超声心动图测量结果指定所述最佳视点。


9.根据权利要求1所述的方法，其中由所述深度学习网络将所述提取的超声心动图测量向量输出输出到医学图像查看器还包括：
通过所述自动化超声心动图测量结果提取系统确定需要从所述一个或多个医学图像中提取的每种类型的超声心动图测量结果是否已从所述一个或多个医学图像中提取；以及
通过所述自动超声心动图测量结果提取系统向用户输出已完成医学图像的捕获的通知。


10.根据权利要求1所述的方法，还包括：
基于带注释的训练图像数据集来训练所述深度学习网络，以从医学图像提取超声心动图测量结果。


11.一种计算机程序产品，其包括具有存储于其中的计算机可读程序的计算机可读存储介质，其中所述计算机可读程序当在数据处理系统上执行时，使所述数据处理系统实施自动化超声心动图测量结果提取系统，所述自动化超声心动图测量结果提取系统操作以：
接收包括一个或多个医学图像的医学成像数据；
将所述一个或多个医学图像输入到深度学习网络中；
由所述深度学习网络自动处理所述一个或多个医学图像以...

【专利技术属性】
技术研发人员：T·瑟亚达马哈姆德，A·鲁，E·德格汗马尔瓦斯特，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US