基于深度学习的远程心脏超声三维成像系统及方法技术方案

本公开公开了基于深度学习的远程心脏超声三维成像系统及方法，用户客户端，用于控制超声发射器，向使用时穿戴在人体体表胸壁位置的柔性穿戴式多阵元成像换能器发射选通信号指令；控制超声接收器接收选通信号指令对应的阵元反馈回来的超声信号；将反馈回来的超声信号上传给云服务器；云服务器，对用户客户端上传的超声信号进行处理，利用预训练的个体三维心脏模型，对受试者的心脏超声二维图像进行处理，得到受试者实时的心脏轮廓关键点，基于实时的心脏轮廓关键点，得到受试者实时的心脏超声三维成像；医生客户端，接收医生选取的受试者心脏轮廓关键点，将受试者心脏轮廓关键点通过云服务器发送给用户客户端，指导用户客户端发送选通信号指令。

Distance echocardiography 3D imaging system and method based on deep learning

【技术实现步骤摘要】
基于深度学习的远程心脏超声三维成像系统及方法
本公开涉及超声三维成像领域，尤其涉及基于深度学习的远程心脏超声三维成像系统及方法。
技术介绍
本部分的陈述仅仅是提到了与本公开相关的
技术介绍
，并不必然构成现有技术。在实现本公开的过程中，专利技术人发现现有技术中存在以下技术问题：现有的超声诊断设备为了得到具有诊断信息的超声回波，换能器所发射和接收超声的方向和位置必须进行控制，按照超声收发的方向和位置是否改变以及改变的方式，可以把超声扫描分为一维、二维和三维扫描。换能器每次发射和接收声波时，由一组阵元进行波束合成，产生一束扫描声束，并接收信号，然后由下一组产生下一次发射声束，并接收信号。把每次接收到的回波信号经放大和后处理后，就可以合成一幅超声图像。提高扫查线密度，可以提高图像的空间分辨力，但也产生了很大的数据量。为了在有限的硬件条件下进行成像相关处理，目前的移动式心脏超声设备采用减少成像阵元、降低分辨率等减少数据量的方法，成像模态也多局限于一维、二维和彩色多普勒，无法进行三维重建和三维信息计算；另一方面，为达到实时高帧频成像，对硬件系统提出了更高的要求，现有移动式成像设备的帧频率和时间分辨率都受到了限制。对硬件架构的高要求，与移动式(包含但不限于手推车式、手提式、掌上型等)或穿戴式超声设备小型化、集成化、轻量化的要求相悖，而且某些掌上型超声设备和穿戴式设备，为进一步缩小设备的重量、功耗和体积，将部分波束合成和成像处理通过云计算等交互式方式进行远程处理和成像，这对于设备的数据传输速率也有很高的要求，且移动式超声有较多边远地区和网络覆盖差的应用场合。显然，传统的超声设备架构和成像方法已经不能，用于硬件、数据传输资源和算力有限的移动式或可穿戴超声成像设备。
技术实现思路
为了解决现有技术的不足，本公开提供了涉及基于深度学习的远程心脏超声三维成像系统及方法；第一方面，本公开提供了基于深度学习的远程心脏超声三维成像系统；基于深度学习的远程心脏超声三维成像系统，包括：用户客户端，用于控制超声发射器，向使用时穿戴在人体体表胸壁位置的柔性穿戴式多阵元成像换能器发射选通信号指令；同时，控制超声接收器接收选通信号指令对应的阵元反馈回来的超声信号；将反馈回来的超声信号上传给云服务器；云服务器，用于对用户客户端上传的超声信号进行处理，利用预训练的个体三维心脏模型，对受试者的心脏超声二维图像进行处理，得到受试者实时的心脏轮廓关键点，基于实时的心脏轮廓关键点，得到受试者实时的心脏超声三维成像；医生客户端，用于接收医生选取的受试者心脏轮廓关键点，将受试者心脏轮廓关键点通过云服务器发送给用户客户端，用于指导用户客户端发送选通信号指令。第二方面，本公开还提供了基于深度学习的远程心脏超声三维成像方法；基于深度学习的远程心脏超声三维成像方法，包括：预调成像过程：用户客户端获取使用时受试者佩戴柔性穿戴式多阵元成像换能器后，受试者的实时心脏超声二维图像，用户客户端将获取的受试者的实时心脏超声二维图像发送给云服务器，云服务器将受试者的实时心脏超声二维图像发送给医生客户端；医生客户端从受试者的实时心脏超声二维图像中选取受试者心脏轮廓关键点；医生客户端将选取的受试者心脏轮廓关键点发送给云服务器；云服务器将受试者的实时心脏超声二维图像作为自适应心脏神经网络模型的输入值；云服务器将人工选取的受试者心脏轮廓关键点作为自适应心脏神经网络模型的输出值，对自适应心脏神经网络模型进行训练，得到受试者的个体三维心脏模型；云服务器将受试者心脏轮廓关键点和受试者的个体三维心脏模型均发送给用户客户端；实时成像过程：用户客户端接收受试者心脏轮廓关键点和受试者的个体三维心脏模型；用户客户端根据受试者心脏轮廓关键点，向超声发射器发出选通指令，即选通指令控制超声发射器只向轮廓关键点对应的阵元发射超声信号，对于非轮廓关键点对应的阵元不发射超声信号；用户客户端获取由选通指令对应的阵元所采集的受试者新的实时心脏超声二维图像，用户客户端将受试者新的实时心脏超声二维图像输入到受试者的个体三维心脏模型中，用户客户端输出受试者实时的心脏轮廓关键点的坐标位置；基于实时的心脏轮廓关键点坐标位置，得到受试者实时的心脏超声三维成像。与现有技术相比，本公开的有益效果是：1、本专利技术将超声信号的复杂处理上传至云服务器，而信号采集的移动端或穿戴端仅需进行数据采集和传输，极大降低了移动端或穿戴端图像采集与处理的硬件和软件运算负担，降低了移动端或穿戴端的功耗、发热、体积；2、本专利技术利用人工智能技术的移动端或穿戴端，可在预成像阶段人机交互式由医生客户端确定少量若干个心脏关键结构点，并利用人工智能技术实时追踪若干个关键结构点信号，极大降低了数据传输量，利用稀疏的、降维的信号实现全分辨率的成像，提高了成像速度、时间与空间分辨率。3、本专利技术利用深度学习技术，实现了心脏心腔、室壁和瓣膜结构的自动识别，从系列心室短轴和长轴的二维图像，完成三维重建和三维信息的获取；4、本专利技术利用深度学习技术，不仅可以计算上述的心腔径线、室壁厚度等二维参数，还可提供心腔容积等三维参数，且可以自动计算射血分数、每搏量等功能参数，可实现自动报告，并对出现异常的参数自动警报；5、本专利技术利用云服务器的交互式访问架构，实现了心脏超声图像的交互式实时访问，有利于家庭、社区和专科医疗机构对受检测人群的信息共享，实时调整受检测者的运动状态或治疗方案；附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1为一个或多个实施方式的硬件连接示意图；图2为一个或多个实施方式的柔性穿戴式多阵元成像换能器佩戴示意图；图3为一个或多个实施方式的柔性穿戴式多阵元成像换能器阵元放大示意图。具体实施方式应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。第一方面，本公开提供了基于深度学习的远程心脏超声三维成像系统；如图1所示，基于深度学习的远程心脏超声三维成像系统，包括：用户客户端，用于控制超声发射器，向使用时穿戴在人体体表胸壁位置的柔性穿戴式多阵元成像换能器发射选通信号指令(如图2所示)；同时，控制超声接收器接收选通信号指令对应的阵元反馈回来的超声信号；将反馈回来的超声信号上传给云服务器；云服务器，用于对用户客户端上传的超声信号进行处本文档来自技高网...

【技术保护点】
1.基于深度学习的远程心脏超声三维成像系统，其特征是，包括：/n用户客户端，用于控制超声发射器，向使用时穿戴在人体体表胸壁位置的柔性穿戴式多阵元成像换能器发射选通信号指令；同时，控制超声接收器接收选通信号指令对应的阵元反馈回来的超声信号；将反馈回来的超声信号上传给云服务器；/n云服务器，用于对用户客户端上传的超声信号进行处理，利用预训练的个体三维心脏模型，对受试者的心脏超声二维图像进行处理，得到受试者实时的心脏轮廓关键点，基于实时的心脏轮廓关键点，得到受试者实时的心脏超声三维成像；/n医生客户端，用于接收医生选取的受试者心脏轮廓关键点，将受试者心脏轮廓关键点通过云服务器发送给用户客户端，用于指导用户客户端发送选通信号指令。/n

【技术特征摘要】
1.基于深度学习的远程心脏超声三维成像系统，其特征是，包括：
用户客户端，用于控制超声发射器，向使用时穿戴在人体体表胸壁位置的柔性穿戴式多阵元成像换能器发射选通信号指令；同时，控制超声接收器接收选通信号指令对应的阵元反馈回来的超声信号；将反馈回来的超声信号上传给云服务器；
云服务器，用于对用户客户端上传的超声信号进行处理，利用预训练的个体三维心脏模型，对受试者的心脏超声二维图像进行处理，得到受试者实时的心脏轮廓关键点，基于实时的心脏轮廓关键点，得到受试者实时的心脏超声三维成像；
医生客户端，用于接收医生选取的受试者心脏轮廓关键点，将受试者心脏轮廓关键点通过云服务器发送给用户客户端，用于指导用户客户端发送选通信号指令。


2.如权利要求1所述的系统，其特征是，所述柔性穿戴式多阵元成像换能器，包括：
柔性基底，所述柔性基底上均匀分布若干个阵元，每个阵元内部均设有对应的阵元发射器和阵元接收器；
所述阵元接收器，用于将接收到的超声发射器发射的电信号，将电信号转换为超声信号，并将超市信号发射到患者心脏位置；
所述阵元发射器，用于将反馈的超声信号，转换为电信号，并将电信号发射给超声接收器。


3.基于深度学习的远程心脏超声三维成像方法，其特征是，包括：
预调成像过程：用户客户端获取使用时受试者佩戴柔性穿戴式多阵元成像换能器后，受试者的实时心脏超声二维图像，用户客户端将获取的受试者的实时心脏超声二维图像发送给云服务器，云服务器将受试者的实时心脏超声二维图像发送给医生客户端；
医生客户端从受试者的实时心脏超声二维图像中选取受试者心脏轮廓关键点；医生客户端将选取的受试者心脏轮廓关键点发送给云服务器；
云服务器将受试者的实时心脏超声二维图像作为自适应心脏神经网络模型的输入值；云服务器将人工选取的受试者心脏轮廓关键点作为自适应心脏神经网络模型的输出值，对自适应心脏神经网络模型进行训练，得到受试者的个体三维心脏模型；云服务器将受试者心脏轮廓关键点和受试者的个体三维心脏模型均发送给用户客户端；
实时成像过程：用户客户端接收受试者心脏轮廓关键点和受试者的个体三维心脏模型；
用户客户端根据受试者心脏轮廓关键点，向超声发射器发出选通指令，即选通指令控制超声发射器只向轮廓关键点对应的阵元发射超声信号，对于非轮廓关键点对应的阵元不发射超声信号；
用户客户端获取由选通指令对应的阵元所采集的受试者新的实时心脏超声二维图像，用户客户端将受试者新的实时心脏超声二维图像输入到受试者的个体三维心脏模型中，用户客户端输出受试者实时的心脏轮廓关键点的坐标位置；
基于实时的心脏轮廓关键点坐标位置，得到受试者实时的心脏超声三维成像。


4.如权利要求3所述的方法，其特征是，所述自适应心脏神经网络模型的获取步骤包括：
获取正常人的心脏超声二维图像；对正常人的心脏超声二维图像进行预处理，预处理后得到心脏三维图像；将正常人的心脏超声二维图像作为神经网络的输入值，将心脏三...

【专利技术属性】
技术研发人员：张鹏飞，刘治，崔笑笑，
申请(专利权)人：山东大学齐鲁医院，山东大学，
类型：发明
国别省市：山东;37