用于在超声图像中跟踪解剖特征的系统和方法技术方案

本发明专利技术提供了用于跨多个图像跟踪解剖特征的方法和系统。一种示例性方法包括：输出用于显示在显示设备上的指示第一超声图像的所识别的解剖特征的第一位置的注释，该注释基于模型的第一输出而生成；以及基于模型的第二输出来输出用于显示在显示设备上的经调整的注释，该模型的第二输出是基于第二超声图像并且进一步基于模型的第一输出而生成的，该经调整的注释指示第二超声图像中的所识别的解剖特征的第二位置。

【技术实现步骤摘要】
用于在超声图像中跟踪解剖特征的系统和方法
本文公开的主题的实施方案涉及超声成像，并且更具体地讲涉及用于跨多个超声图像跟踪所识别的特征的系统和方法。
技术介绍
医学超声是采用超声波来探测患者身体的内部结构并产生对应图像的成像模态。例如，包括多个换能器元件的超声探头发射超声脉冲，这些超声脉冲会被身体中的结构反射或回传、折射或者吸收。然后超声探头接收所反射的回波，这些所反射的回波被处理成图像。可在显示设备上实时地或近实时地显示内部结构的超声图像，这可帮助临床医生对患者执行医学规程。
技术实现思路
在一个实施方案中，一种方法包括：输出用于显示在显示设备上的指示第一超声图像的所识别的解剖特征的第一位置的注释，该注释基于模型的第一输出而生成；以及基于模型的第二输出来输出用于显示在显示设备上的经调整的注释，模型的第二输出是基于第二超声图像并且进一步基于模型的第一输出而生成的，该经调整的注释指示第二超声图像中的所识别的解剖特征的第二位置。在单独或与附图联系时，本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解，提供以上概述是为了以简化的形式介绍在详细描述中进一步描述的一些概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。附图说明通过阅读以下详细描述并且参考附图，可以更好地理解本公开的各个方面，其中：图1示出了超声系统的示例性实施方案的框图；图2是示出根据示例性实施方案的用于跨多个图像分割和跟踪特征的系统的示意图；图3是示出根据第一示例性实施方案的可使用网络的输出作为对网络的反馈的深度学习网络的布局的示意图；图4是示出根据第二示例性实施方案的可使用网络的输出作为对网络的反馈的深度学习网络的布局的示意图；图5A和图5B示出了根据示例性实施方案的用于使用分割和跟踪模型跨多个图像分割和跟踪特征的方法的流程图；图6是示出根据示例性实施方案的用于训练分割和跟踪模型的方法的流程图；图7示出了超声图像数据的两个帧，其中未跟踪和标记所识别的特征；图8示出了图7的超声图像数据的两个帧，其中跟踪和标记了所识别的特征；并且图9示出了超声图像数据的帧，其中跟踪和标记了所识别的特征，包括警告状况的视觉指示。具体实施方式以下描述涉及用于跨超声成像数据的多个帧跟踪诸如解剖特征的特征的各种实施方案。可使用超声成像来协助各种医学规程，诸如在麻醉输送期间进行插针，其中可将针插入将要施用麻醉材料的神经周围的患者的筋膜中。例如，诸如麻醉师之类的临床医生可依靠由超声成像系统所获得的图像来确定将针插入哪里。失去正确的位置可能会导致麻醉缓慢或失败。通常，超声图像的目视判读(例如，可见器官的识别)对于临床医生来说是视觉上密集的过程，其涉及细微的分析，诸如哪一组原本相似的纹理一起移动。为了做出判读并保持，临床医生需要保持他或她的眼睛盯住屏幕，以免错失构成判读的相关纹理。如果临床医生注视患者或致力于执行麻醉规程，则临床医生可能会失去目视判读并且可能需要重新定位自己的方向，这可能会浪费时间并损害正在执行的规程。因此，根据本文公开的实施方案，可跨多个超声图像跟踪患者的所识别的解剖特征，即使由于患者移动或超声成像系统的超声探头的移动而引起解剖特征变形或以其他方式发生视觉外观变化。可经由遵循被跟踪的特征的合适注释(诸如图像上的颜色叠加或线条)使所识别的特征在超声图像上可视化，从而允许临床医生快速确定图像中的各种解剖特征的位置。通过对解剖结构做出目视判读并且随着解剖结构在视图中移动和变形而使判读在解剖结构上保持稳定，临床医生可清楚地指示出解剖结构所在的位置，并且即使将视线从显示图像的屏幕移开，也可能会立即获得良好的定向。为了识别和跟踪解剖特征，本文公开的实施方案可利用机器学习模型诸如神经网络，该机器学习模型经训练以识别(分割)超声视图中的感兴趣的解剖部分，并使用反馈机制来逐帧跟踪那些识别。例如，模型可包括卷积神经网络，该卷积神经网络经训练以识别通常与麻醉输送相关联的超声图像视图中的神经、血管和骨骼。可通过向网络添加附加输入来录入反馈。对于该模型所分析的超声成像数据的每一帧，都会添加前一帧的检测输出。可将反馈作为输入图像的另一层(以相同的分辨率)或在网络的最底层(下采样的层)中添加到网络中，因为底层可能包含粗略分割的语义，这与前一帧的分割结果在语义上兼容。以这种方式，例如，可使用先前在图像中以高置信度检测到的器官作为对系统的反馈来重新识别在当前图像中在相同位置处的相同器官，即使当前图像不能清楚地指示解剖结构。这支持新的工作流，其中超声操作者/临床医生可从屏幕上短暂抬起他或她的眼睛，同时确信当操作者/临床医生回头看超声图像时，先前查看的解剖判读将在那里/被指示。在显示器上，可标记/注释器官或其他解剖特征(例如，作为超声图像的色调而加亮)，并且图像的解剖学判读在解剖内容上是稳定的。另外，可显示置信度(例如，通过调制颜色饱和度或对分割的解剖结构加粗线)。例如，可将所提供的判读的置信度指示符连同图像和相关联的注释一起显示，从而增大判读的稳定性的置信度。另外，可提供接口以接收从用户到系统的输入，从而标记或批准器官位置并对其进行标记以便跟踪。例如，可显示用户界面，由此用户(例如，操作者/临床医生)可向系统指示当前判读是正确的并且应当得到保持，并且因此应保留作为与置信度度量有关的参考。图1中示出了一种示例性超声系统，该示例性超声系统包括超声探头、显示设备和成像处理系统。经由超声探头，可获取超声图像并将其显示在显示设备上。可利用使用分割和跟踪模型生成的注释对所显示的图像进行注释，该分割和跟踪模型可识别超声图像中的解剖特征并跨多个超声图像跟踪所识别的解剖特征的位置。分割和跟踪模型可存储在图像处理系统上并由图像处理系统执行，如图2所示。在一些示例中，分割和跟踪模型可为卷积神经网络(CNN)，诸如图3所示的CNN或图4所示的CNN。根据图5A和图5B所示的方法，可部署分割和跟踪模型来识别和跟踪超声图像中的解剖特征。至少在某些示例中，可根据图6所示的方法来训练分割和跟踪模型。图7示出了一对超声图像，其包括三个相关的解剖特征，而无指示解剖特征的位置的注释。图8示出了具有指示解剖特征的位置的注释的图7的图像，其中根据来自分割和跟踪模型的输出来生成注释。图8示出了具有指示解剖特征的位置的注释的图像，其中修改注释中的一个以向用户通知警告状况。参见图1，示出了根据本专利技术的实施方案的超声成像系统100的示意图。超声成像系统100包括发射波束形成器101和发射器102，该发射器驱动换能器阵列(本文中称为探头106)内的元件(例如，换能器元件)104，以将脉冲超声信号(本文中称为发射脉冲)发射到身体(未示出)中。根据一个实施方案，探头106可以是一维换能器阵列探头。然而，在一些实施方案中，探头106可以是二维矩阵换能器阵本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n输出用于显示在显示设备上的指示第一超声图像的所识别的解剖特征的第一位置的注释，所述注释是基于模型的第一输出而生成的；以及/n基于所述模型的第二输出来输出用于显示在所述显示设备上的经调整的注释，所述模型的所述第二输出是基于第二超声图像并且进一步基于所述模型的所述第一输出而生成的，所述经调整的注释指示所述第二超声图像中的所识别的解剖特征的第二位置。/n

【技术特征摘要】
20191004 US 16/593,8541.一种方法，包括：
输出用于显示在显示设备上的指示第一超声图像的所识别的解剖特征的第一位置的注释，所述注释是基于模型的第一输出而生成的；以及
基于所述模型的第二输出来输出用于显示在所述显示设备上的经调整的注释，所述模型的所述第二输出是基于第二超声图像并且进一步基于所述模型的所述第一输出而生成的，所述经调整的注释指示所述第二超声图像中的所识别的解剖特征的第二位置。


2.根据权利要求1所述的方法，其中所述经调整的注释是相对于所述注释在位置、尺寸、形状和视觉外观中的一个或多个方面调整的。


3.根据权利要求1所述的方法，其中所述经调整的注释是相对于所述注释在所述注释的位置方面调整的以反映出所识别的解剖特征从所述第一位置移动到所述第二位置，并且所述方法还包括如果所述第二位置至少部分地位于用于获取所述第二超声图像的超声探头的视野之外，则还调整所述注释的视觉外观。


4.根据权利要求1所述的方法，其中使用所述第一超声图像作为对所述模型的输入来生成所述模型的所述第一输出，并且其中在所述第一超声图像之后获取所述第二超声图像。


5.根据权利要求1所述的方法，其中在所述模型的共同输入层处并且以共同分辨率录入所述第二超声图像和所述第一输出。


6.根据权利要求1所述的方法，其中在所述模型的不同层处录入所述第二超声图像和所述第一输出。


7.根据权利要求6所述的方法，其中以比所述第二超声图像更低的分辨率录入所述第一输出。


8.根据权利要求6所述的方法，其中在所述模型的输入层处录入所述第二超声图像并且将所述第一输出录入所述模型的底层。


9.一种方法，包括：
将第一超声图像输入到分割和跟踪模型中；
接收所述第一超声图像中的所识别的解剖特征的第一位置，作为来自所述分割和跟踪模型的第一输出；
在显示设备上显示第二超声图像上的所述第一位置处的第一注释；
将所述第二超声图像和所述第一输出输入到所述分割和跟踪模型中；
接收所述第二超声图像中的所识别的解剖特征的第二位置，作为来自所述分割和跟踪模型的第二输出；以及
在所述显示设备上显示第三超声图像上的所述第二位置处的第二注释。


10.根据权利要求9所述的方法，其中在所述第一超声图像之后获取所述第二超声图像并且在所述第二超声图像之后获取所述第三超声图像。
...

【专利技术属性】
技术研发人员：萨希·沙因，多伦·谢克德，露丝·伯格曼，佐藤直美，梅纳凯姆·哈尔曼，
申请(专利权)人：通用电气精准医疗有限责任公司，
类型：发明
国别省市：美国;US