用于超声分析的系统、方法和计算机可访问介质技术方案

可提供用于检测(一个或多个)患者的(一个或多个)解剖结构中的(一个或多个)异常的示例性系统、方法、和计算机可访问介质，其可以包括，例如，接收与所述(一个或多个)患者的所述(一个或多个)解剖结构有关的成像信息，使用(一个或多个)神经网络基于所述成像信息对所述(一个或多个)解剖结构的(一个或多个)特征进行分类，以及基于使用分类流程所生成的数据来检测所述(一个或多个)异常。所述成像信息可以包括所述(一个或多个)解剖结构的至少三幅图像。

Systems, methods and computer accessible media for ultrasonic analysis

An exemplary system, method, and computer accessible medium for detecting (one or more) abnormalities in (one or more) anatomical structures of (one or more) patients may be provided, which may include, for example, receiving imaging information related to the (one or more) anatomical structures of the (one or more) patients, using (one or more) neural networks based on the imaging information The (one or more) features of the (one or more) anatomical structure are classified, and the (one or more) anomalies are detected based on the data generated using the classification process. The imaging information may include at least three images of the (one or more) anatomical structure.

【技术实现步骤摘要】
【国外来华专利技术】用于超声分析的系统、方法和计算机可访问介质相关申请的交叉引用本申请涉及于2017年1月19日提交的美国专利No.62/448061，并要求其优先权，其全部公开内容通过引用并入本文。
本公开总体涉及超声装置的使用，并且更具体而言，涉及一种用于超声分析的示例性系统、方法和计算机可访问介质的示例性实施例。
技术介绍
超声心动图或心脏超声检查是用于评估心脏状况、以及用于识别和诊断特定心脏疾病的常用临床工具。目前，由技术人员或医师(“用户”)执行对输入超声影片剪辑进行显著量的分析和处理。这样的手动分析具有若干缺点，例如：(i)其增加了出错的机会；(ii)其需要熟练的用户；(iii)由用户的分析速度和技能限制了其吞吐量；以及(iv)由于时间复杂性，只有来自剪辑的几个帧被完全分析，而其他帧中的信息未被使用。心脏超声可以是评估心脏解剖结构、功能和结构异常的优选模态。目前，常规心脏超声检查持续约30分钟至约40分钟，并且可以包括：(i)通过超声和多普勒流程采集数据；(ii)分析心室功能和多次测量心脏结构的不同部分；以及(iii)将报告直接并入电子病历中。因此，提供用于超声分析的示例性系统、方法和计算机可访问介质并且其能够克服上文中描述的缺陷中的至少一些可以是有益的。
技术实现思路
可以提供一种用于检测(一个或多个)患者的(一个或多个)解剖结构中的(一个或多个)异常的示例性系统、方法、和计算机可访问介质，其可以包括，例如，接收与所述(一个或多个)患者的所述(一个或多个)解剖结构有关的成像信息，使用(一个或多个)神经网络基于所述成像信息来对所述(一个或多个)解剖结构的(一个或多个)特征进行分类，以及基于使用分类流程生成的数据来检测所述(一个或多个)异常。所述成像信息可以包括所述(一个或多个)解剖结构的至少三幅图像。在本公开的一些示例性实施例中，所述成像信息可以包括超声成像信息。所述超声成像信息可以使用例如超声装置来生成。所述(一个或多个)解剖结构可以是心脏。在本公开的特定示例性实施例中，所述(一个或多个)解剖结构的(一个或多个)状态可以包括：(i)所述(一个或多个)患者的心脏的收缩状态；(ii)(所述一个或多个)患者的心脏的舒张状态；(iii)所述(一个或多个)患者的心脏的膨胀状态；或者(iv)所述(一个或多个)患者的心脏的紧缩状态。在本公开的一些示例性实施例中，可使用视图检测流程来对所述(一个或多个)特征进行分类，所述视图检测流程可以包括检测所述成像信息中特定成像帧的视图。所述(一个或多个)解剖结构可被分割，例如，在检测所述(一个或多个)异常前使用部分分割流程和定位流程。所述部分分割流程可用于从背景中分割(一个或多个)患者的心脏的左心室。所述定位流程可以包括瓣膜定位流程，其包括在所述成像信息中每帧标记一个像素以放置(一个或多个)多普勒测量点。在本公开的特定示例性实施例中，所述成像信息可以包括多幅图像，并且(一个或多个)神经网络可以包括多个神经网络，所述多个神经网络中的每个可以与所述图像中的一幅相关联。每个神经网络可用于对其相关联的一幅图像中的特征进行分类。由神经网络中的每个产生的输出可以是连接的(例如在深度上)。可以对成像信息进行上采样。当结合所附权利要求阅读本公开的示例性实施例的以下详细描述时，本公开的示例性实施例的这些和其他目标、特征和优势将变得显而易见。附图说明通过结合附图示出本公开的示例性实施例的以下详细描述，本公开的进一步的目标、特征和优势将变得显而易见，其中：图1是根据本公开的示例性实施例的示例性超声分析系统的示例图；图2A是根据本公开的示例性实施例的用于分割的标签的采集的示例图像；图2B是根据本公开的示例性实施例的用于瓣膜定位的标签的示例图像；图3A是根据本公开的示例性实施例的用于部分分割的数据的示例图像；图3B是根据本公开的示例性实施例的用于瓣膜定位的数据的示例图像；图4A是根据本公开的示例性实施例的示例性系统所使用的网络架构的示例图；图4B是根据本公开的示例性实施例的核心神经网络(CoreNeuralNetwork)的示例图；图5是根据本公开的示例性实施例的心脏的不同超声视图及其对应的标签的示例性图像的集合；图6A和图6B是根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质的示例图；图7A和图7B是根据本公开的示例性实施例的用于两输入三元组图像的示例性系统、方法、和计算机可访问介质生成的每视图概率的示例图像；图7C和图7D分别是根据本公开的示例性实施例的分别对应于图6A和图6B的示例直方图；图8是根据本公开的示例性实施例的心动周期阶段的检测的示例图；图9A-图9F是根据本公开的示例性实施例的心动周期的每帧阶段的示例图像；图10是根据本公开的示例性实施例的由示例性系统、方法、和计算机可访问介质在四个选定视图上产生的左心室的分割的图像集合；图11A和图11C分别是根据本公开的示例性实施例的使用示例性系统执行的瓣膜定位的示例图像；图11B和图11D分别是根据本公开的示例性实施例的图11A和图11C的瓣膜定位图像的示例性放大图像；图12是根据本公开的示例性实施例的、比较由该示例性系统、方法、和计算机可访问介质产生的左心室分割vs.真实情况和用户产生的左心室分割vs.真实情况的对并集和相对面积的交叉的示例绘图。图13是根据本公开的示例性实施例的示例性系统、方法、和计算机可访问介质瓣膜定位预测与真实情况之间的距离的示例性直方图。图14A是根据本公开的示例性实施例的、用于利用核心神经网络的图像网络型(imagenet-type)网络初始化的舒张/收缩分类测试的学习图的示例图；图14B是根据本公开的示例性实施例的、在视图检测训练之后利用核心神经网络初始化的舒张/收缩分类测试的学习图的示例图；图14C是根据本公开的示例性实施例的在部分分割流程上训练后利用核心神经系统初始化的舒张/收缩分类测试的学习图的示例图；图15是示出根据本公开的示例性实施例的使用示例性流程执行的成人超声心动图检查的示例性流程图；图16是根据本公开的示例性实施例的用于在心脏超声中使用的示例性系统、方法和计算机可访问介质的示例性配置的示例图；图17是示出根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质的神经网络核心的示例图；图18是示出根据本公开的示例性实施例的可以使用示例性系统、方法和计算机可访问介质的潜在市场的示例图；图19A是根据本公开的示例性实施例的基于用户界面左驱动模式生成的示例性图像；图19B是根据本公开的示例性实施例的基于用户界面右停止模式生成的示例性图像；图20A-20G是根据本公开的示例性实施例的全心动周期的3D重建的示例性图像；图21A是根据本公开的示例性实施例的收缩LV和舒张LV的横截面的示例性图像的集合；图21B是本文档来自技高网...

【技术保护点】
1.一种非瞬态计算机可访问介质，其上存储有用于检测至少一个患者的至少一个解剖结构中的至少一个异常的计算机可执行指令，其中，当计算机装置执行所述指令时，所述计算机装置被配置为执行包括以下步骤的流程：/n接收与所述至少一个患者的所述至少一个解剖结构有关的成像信息；/n使用至少一个神经网络基于所述成像信息来对所述至少一个解剖结构的至少一个特征进行分类；以及/n基于使用分类流程生成的数据来检测所述至少一个异常。/n

【技术特征摘要】
【国外来华专利技术】20170119 US 62/448,0611.一种非瞬态计算机可访问介质，其上存储有用于检测至少一个患者的至少一个解剖结构中的至少一个异常的计算机可执行指令，其中，当计算机装置执行所述指令时，所述计算机装置被配置为执行包括以下步骤的流程：
接收与所述至少一个患者的所述至少一个解剖结构有关的成像信息；
使用至少一个神经网络基于所述成像信息来对所述至少一个解剖结构的至少一个特征进行分类；以及
基于使用分类流程生成的数据来检测所述至少一个异常。


2.根据权利要求1所述的计算机可访问介质，其中，所述成像信息包括所述至少一个解剖结构的至少三幅图像。


3.根据权利要求1所述的计算机可访问介质，其中，所述成像信息包括超声成像信息。


4.根据权利要求3所述的计算机可访问介质，其中，所述计算机装置还被配置为使用超声装置来生成所述超声成像信息。


5.根据权利要求1所述的计算机可访问介质，其中，所述至少一个解剖结构是心脏。


6.根据权利要求1所述的计算机可访问介质，其中，所述至少一个解剖结构的至少一个状态包括下列中的至少一个：(i)所述至少一个患者的心脏的收缩状态；(ii)所述至少一个患者的所述心脏的舒张状态；(iii)所述至少一个患者的所述心脏的膨胀状态；或(iv)所述至少一个患者的所述心脏的紧缩状态。


7.根据权利要求1所述的计算机可访问介质，其中，所述计算机装置使用视图检测流程对所述至少一个特征进行分类。


8.根据权利要求7所述的计算机可访问介质，其中，所述视图检测流程包括使用所述计算机装置检测所述成像信息中的特定成像帧的视图。


9.根据权利要求1所述的计算机可访问介质，其中，所述计算机装置还被配置为对所述至少一个异常的所述检测之前或独立于对所述至少一个异常的所述检测，使用部分分割流程和定位流程来分割所述至少一个解剖结构。


10.根据权利要求9所述的计算机可访问介质，其中，所述至少一个解剖结构是心脏，并且其中，所述计算机装置被配置为利用所述部分分割流程来从背景中分割所述至少一个患者的所述心脏的左心室和/或右心室和/或左心房和/或右心房和/或任何其他部分。


11.根据权利要求9所述的计算机可访问介质，其中，所述至少一个解剖结构是心脏，并且其中，所述定位流程是瓣膜定位流程。


12.根据权利要求11所述的计算机可访问介质，其中，所述瓣膜定位流程包括使用所述计算机装置在所述成像信息中每帧标记单个像素以放置至少一个多普勒测量点。


13.根据权利要求1所述的计算机可访问介质，其中，所述成像信息包括多幅图像，并且其中，所述至少一个神经网络包括多个神经网络，所述神经网络中的每个神经网络与所述图像中的一幅相关联。


14.根据权利要求13所述的计算机可访问介质，其中，所述计算机硬件装置被配置为使用所述神经网络中的每个神经网络来对所述图像中的所述每个神经网络的相关联的图像中的所述至少一个特征进行分类。


15.根据权利要求14所述的计算机可访问介质，其中，所述计算机装置还被配置为将由所述神经网络中的每个神经网络产生的输出进行连接。


16.根据权利要求15所述的计算机可访问介质，其中，所述计算机装置被配置为在一深度上连接所述神经网络中的每个神经网络的输出。


17.根据权利要求1所述的计算机可访问介质，其中，所述计算机装置还被配置为对所述成像信息进行上采样。


18.一种用于检测至少一个患者的至少一个解剖结构中的至少一个异常的系统，包括：
专门配置的计算机硬件装置，其被配置为：
接收与所述至少一个患者的所述至少一个解剖结构有关的成像信息；
使用至少一个神经网络基于所述成像信息来对所述至少一个解剖结构的至少一个特征进行分类；
基于由所述分类流程生成的数据检测所述至少一个异常。


19.根据权利要求18所述的系统，其中，所述成像信息包括所述至少一个解剖结构的至少三幅图像。


20.根据权利要求18所述的系统，其中，所述成像信息包括超声成像信息。


21.根据权利要求20所述的系统，其中，所述计算机硬件装置还被配置为使用超声装置来生成所述超声成像信息。


22.根据权利要求18所述的系统，其中，所述至少一个解剖结构是心脏。


23.根据权利要求18所述的系统，其中，所述至少一个解剖结构的至少一个状态包括下列中的至少一个：(i)所述至少一个患者的心脏的收缩状态；(ii)所述至少一个患者的所述心脏的舒张状态；(iii)所述至少一个患者的所述心脏的膨胀状态；或(iv)所述至少一个患者的所述心脏的紧缩状态。


24.根据权利要求18所述的系统，其中，所述计算机硬件布置还被配置为使用视图检测流程对所述至少一个特征进行分类。


25.根据权利要求24所述的系统，其中，视图所述检测流程包...

【专利技术属性】
技术研发人员：I·克祖里尔，A·卢多米尔斯基，Y·李普曼，
申请(专利权)人：纽约大学，耶达研究及发展有限公司，
类型：发明
国别省市：美国;US