【技术实现步骤摘要】
【国外来华专利技术】识别和分析2D和多普勒模态超声心动图图像以用于自动化心脏测量以及心脏病的诊断、预测和预后的自动化临床工作流
技术介绍
本专利技术涉及用于疾病预测的图像分类，并且更具体地，涉及识别和分析2D和多普勒模态超声心动图(Dopplermodalityechocardiogram)图像以用于自动化测量以及心脏病的诊断、预测和预后的自动化临床工作流(workflow)。心血管病(包括心力衰竭)是主要的健康问题，占全世界人死亡的约30％。心力衰竭也是超过65岁成人住院治疗的主要原因。超声心动图是心脏病学中用于心脏的形态和功能评估的重要的诊断辅助。在典型的患者超声心动图(回波)检查中，称为超声医师的临床医师将超声装置抵靠患者胸部放置，以捕获患者心脏的许多2D图像/视频。反射声波揭示了心脏壁的内部结构和血流速度。超声装置位置在回波检查期间会发生变化，以从不同的视点或视图捕获不同的解剖部分作为心脏的2D切片。临床医师具有向这些2D图像添加从多种可能的模态(包括连续波多普勒、m模式、脉冲波多普勒和脉冲波组织多普勒)捕获的波形的选择权。2D图像/视频和多普勒模态图像通常保存在DICOM(医学数字成像和通信(DigitalImagingandCommunicationsinMedicine))格式的文件中。尽管在DICOM文件的元数据中部分指示了模态类型，但在模态和2D视图中超声装置位置(这是对哪个心脏结构进行了成像的最终决定性因素)却未指示。在患者检查之后，临床医师/技师检查DICOM文件，人工调绘(annotate)心室和结构(如左心室(LV)...
【技术保护点】
1.用于由至少一个处理器所执行的软件组件进行的自动化工作流的计算机实施方法，所述方法包括：/n从存储器接收包含患者心脏的通过超声装置拍摄的多个超声心动图图像的患者研究；/n通过第一过滤器，基于对图像元数据进行分析而根据2D图像和多普勒模态图像分离多个超声心动图(回波)图像；/n通过第一神经网络按视图类型对所述2D图像进行分类；/n通过第二神经网络按视图类型对所述多普勒模态图像进行分类；/n通过第三神经网络对所述2D图像中的目的区域进行分割以产生经分割2D图像；/n通过第四神经网络对所述多普勒模态图像进行分割以生成波形轨迹，从而产生经分割多普勒模态图像；/n使用所述经分割2D图像和所述经分割多普勒模态图像二者来计算心脏左侧和右侧二者的心脏特征的患者研究测量值；/n通过将计算出的测量值与国际心脏指南进行比较来生成结论；以及/n输出突出显示计算出的测量值中超出所述国际心脏指南之测量值的报告。/n
【技术特征摘要】
【国外来华专利技术】1.用于由至少一个处理器所执行的软件组件进行的自动化工作流的计算机实施方法，所述方法包括：
从存储器接收包含患者心脏的通过超声装置拍摄的多个超声心动图图像的患者研究；
通过第一过滤器，基于对图像元数据进行分析而根据2D图像和多普勒模态图像分离多个超声心动图(回波)图像；
通过第一神经网络按视图类型对所述2D图像进行分类；
通过第二神经网络按视图类型对所述多普勒模态图像进行分类；
通过第三神经网络对所述2D图像中的目的区域进行分割以产生经分割2D图像；
通过第四神经网络对所述多普勒模态图像进行分割以生成波形轨迹，从而产生经分割多普勒模态图像；
使用所述经分割2D图像和所述经分割多普勒模态图像二者来计算心脏左侧和右侧二者的心脏特征的患者研究测量值；
通过将计算出的测量值与国际心脏指南进行比较来生成结论；以及
输出突出显示计算出的测量值中超出所述国际心脏指南之测量值的报告。
2.权利要求1所述的方法，其中从存储器接收患者研究还包括：
由所述处理器直接从本地或远程源，包括所述超声装置，接收回波图像；
将所述回波图像存储在图像档案中；以及
打开所述存储器中所存储的回波图像进行处理。
3.权利要求2所述的方法，其还包括：对所述回波图像进行排队并检查任何未经处理的回波图像，以及过滤所述回波图像以使其具有有效的图像格式。
4.权利要求1所述的方法，其中通过所述第一神经网络按视图类型对所述2D图像进行分类还包括：训练所述第一神经网络将所述2D图像的帧分类为以下之一：A2C、A3C、A4C、A5C、改良PLAX、PLAX、PSAXAoV级、PSAX中级、肋下Ao、肋下Hep静脉、肋下IVC、肋下LAX、肋下SAX、胸骨上和其他。
5.权利要求1所述的方法，其中通过第二神经网络按视图类型对所述多普勒模态图像进行分类还包括：将连续波(CW)、脉冲波(PW)和M模式多普勒模态图像按以下进行分类：如果回波图像文件包含波形模态(CW、PW、PWTDI、M模式)，则将从所述多普勒模态图像中提取的回波图像输入至针对CW、PW、PWTDI和M模式视图分类进行训练的CNN以进一步将所述回波图像分类为以下之一：CW(AoV)、CW(TrV)、CW其他、PW(LVOT)、PW(MV)、PW其他、PWTDI(外侧)、PWTDI(间隔)、PWTDI(三尖瓣)、M模式(TrV)和M模式其他。
6.权利要求1所述的方法，其中基于对图像元数据进行分析而根据2D图像和多普勒模态图像分离所述回波图像还包括：
使用元数据以便将所述图像分组为以下四类之一：仅2D、脉冲(PW)、连续波(CW)和m模式；以及
使用所述元数据中所述超声装置的换能器频率将一些PW图像分入第五类：脉冲波组织多普勒成像(PWTDI)。
7.权利要求1所述的方法，其中分离所述回波图像还包括：滤除具有缩放视图的回波图像。
8.权利要求1所述的方法，其中通过第三神经网络对所述2D图像中的目的区域进行分割以产生经分割2D图像还包括：确定其中每个心腔开始和结束的位置以及生成心脏结构的轮廓。
9.权利要求1所述的方法，其中通过第三神经网络对所述2D图像中的目的区域进行分割以产生经分割2D图像还包括：进行样条拟合心脏结构的轮廓并调整更靠近所述目的区域的边界线的位置的调绘后处理。
10.权利要求1所述的方法，其中分割还包括：为每个所述回波图像限定成像窗口，以及滤除位于所述成像窗口之外的调绘。
11.权利要求1所述的方法，其中分割还包括：通过使用左心室(LV)和左心房(LA)容积测量值导出E、e’和A(例如，舒张早期和晚期传输流以及舒张早期/平均舒张期组织速度)测量值来使用所述2D图像模拟多普勒模态测量值。
12.权利要求1所述的方法，其中使用所述经分割2D图像和所述经分割多普勒模态图像二者来计算心脏左侧和右侧二者的心脏特征的患者研究测量值还包括：使用2D管线来测量所述2D图像左/右心室、左/右心房、左心室流出(LVOT)和心包；以及使用多普勒模态图像管线来测量所述多普勒模态图像的血流速度。
13.权利要求1所述的方法，其还包括：将所述第一神经网络、所述第二神经网络、所述第三神经网络和所述第四神经网络作为一个或更多个卷积神经网络(CNN)实施。
14.权利要求1所述的方法，其还包括：实施所述自动化工作流以包含机器学习层、展示层和数据库层，其中所述机器学习层包含至少所述第一神经网络、所述第二神经网络、所述第三神经网络和所述第四神经网络。
15.权利要求14所述的方法，其还包括：实施所述机器学习层以包含用于视图分类的一个或更多个分类卷积神经网络(CNN)的集合、用于室分割和波形掩模/轨迹的一个或更多个分割CNN的集合、用于疾病预测的一个或更多个预测CNN的集合。
16.权利要求1所述的方法，其还包括：在处理期间维持分类置信度评分、调绘置信度评分和测量值置信度评分，以及滤除所述置信度评分中未能满足阈值的评分。
17.权利要求16所述的方法，其还包括：对于所有未被滤除的数据，选择与具有最大容积的心腔相关的测量值作为最佳测量值数据；以及将所述最佳测量值数据、图像位置、分类、调绘和与所述最佳测量值相关的其他测量值数据一起保存。
18.权利要求17所述的方法，其还包括：将所述最佳测量值数据输入至基于国际测量值指南的规则集合以生成用于医学决策支持的结论。
19.权利要求1所述的方法，其中输出所述报告还包括以下至少一项：在电子装置的显示器上以电子方式向用户显示所述报告，以及打印纸质报告。
20.权利要求19所述的方法，其中以电子方式显示所述报告还包括：在基于浏览器的UI中显示所述报告，以所述用户可编辑的方式将所述计算出的测量值显现以供人查证。
21.权利要求1所述的方法，其还包括：将所述自动化工作流作为配置成于以下上执行的软件应用来实施：
i)以独立式环境运行的计算机；
ii)通过网络连接至另一些基于DICOM的装置的计算机，所述装置包括以下中的一个或更多个：DICOM服务器、网络文件共享装置、回波工作站和托管DICOM文件的云存储服务；
iii)连接至便携式超声扫描仪探头的手持式装置，所述探头将回波图像传输至所述手持式装置；以及
iv)在通过网络与多个客户端装置通信的服务器上，其中所述服务器和所述软件应用是通过互联网向所述客户端装置提供自动化心脏病诊断的第三方服务的一部分。
22.系统，其包含：
存储器，其存储包含患者心脏的通过超声装置拍摄的多个超声心动图图像的患者研究；
处理器，其连接至所述存储器；以及
工作流引擎，其由所述处理器执行，所述工作流引擎配置成：
...
【专利技术属性】
技术研发人员：詹姆斯·奥蒂斯·黑尔二世，保罗·詹姆斯·希金斯，素萍·卡罗伦·拉姆，约伦·胡梅尔，贾斯珀·特龙普，沃特·奥威克，
申请(专利权)人：EKOAI私人有限公司，
类型：发明
国别省市：新加坡;SG
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。