多模态融合成像方法、超声设备及存储介质技术

本发明专利技术涉及超声融合成像技术领域，具体涉及一种多模态融合成像方法、超声设备及存储介质，本发明专利技术包括：加载检测对象待扫查目标器官对应的第一模态三维模型，第一模态三维模型中至少包含一个带有位置信息和角度信息的基准图像；获取超声探头扫查的当前超声图像；对当前超声图像进行风格迁移，得到迁移超声图像；基于所述迁移超声图像获取当前超声图像的位置信息和角度信息；根据当前超声图像与基准图像的位置信息和角度信息，引导超声探头运动以获得与基准图像融合的配准超声图像。本发明专利技术能够将CT、MR、PET或三维超声图像与超声图像进行快速配准融合，准确度高。准确度高。准确度高。

【技术实现步骤摘要】
多模态融合成像方法、超声设备及存储介质


[0001]本专利技术涉及超声融合成像
，尤其涉及一种多模态融合成像方法、超声设备及存储介质。
[0002]
技术介绍

[0003]当前，各种模态的医学成像设备在临床诊断和医学研究中得到了广泛使用，这些多种模态的医学成像设备所涉及的影像技术主要包括正电子发射型断层成像(Positron Emission Computed Tomography，PET)、计算机断层扫描(Computed Tomography，CT)、磁共振成像(Magnetic Resonance，MR)、超声成像(Ultrasonography，US)等。
[0004]与超声图像不同，核磁共振(MR)或计算机断层扫描(CT)图像使手术者能够清晰地识别器官和疾病。然而，由于MR或CT图像不能在外科手术或穿刺期间被实时获取，因此MR或CT图像不能反映患者在外科手术或穿刺期间的目标器官的实施状态。在疾病诊断过程中需要充分发挥CT或MR高分辨率的优势和超声实时的特点。目前，在多模态融合成像过程中需要手动选择与基准图像（CT、MR或PET标准切面图像）相似的超声图像进行融合，配准准确度和精度低。
[0005]
技术实现思路

[0006]本专利技术的目的在于克服现有技术中存在的不足，提供一种能够自动配准的多模态融合成像方法、超声设备及存储介质。
[0007]作为本专利技术的第一个方面，提供了一种多模态融合成像方法，包括：加载检测对象待扫查目标器官对应的第一模态三维模型，所述第一模态三维模型中至少包含一个带有位置信息和角度信息的基准图像；获取超声探头扫查的当前超声图像；对所述当前超声图像进行风格迁移，得到迁移超声图像；基于所述迁移超声图像获取当前超声图像的位置信息和角度信息；根据所述当前超声图像的位置信息和角度信息与所述基准图像的位置信息和角度信息，引导所述超声探头运动以获得与所述基准图像融合的配准超声图像。
[0008]进一步地，对所述当前超声图像进行风格迁移，得到迁移超声图像，包括：将所述当前超声图像输入训练好的风格迁移模型进行处理，得到与所述第一模态相同模态的迁移超声图像。
[0009]进一步地，所述基于所述迁移超声图像获取当前超声图像的位置信息和角度信息，包括：将所述迁移超声图像与所述第一模态三维模型输入训练好的索引神经网络模型进行处理，确定所述迁移超声图像的位置信息和角度信息，所述当前超声图像与迁移超声图像
的位置信息和角度信息相同。
[0010]进一步地，将所述迁移超声图像与所述第一模态三维模型输入训练好的索引神经网络模型进行处理，如图2所示，包括：将所述迁移超声图像输入索引神经网络模型的二维卷积神经网络处理，提取所述迁移超声图像的第一特征向量；将所述第一模态三维模型输入索引神经网络模型的三维卷积神经网络处理，提取所述第一模态三维模型的第二特征向量；在维度上将所述第一特征向量与所述第二特征向量进行拼接，得到第一拼接特征向量；将所述第一拼接特征向量输入全连接层，输出所述迁移超声图像的位置信息和角度信息。
[0011]进一步地，所述第一模态为CT、MR、PET或三维超声或其它三维人体检查装置采集的图像。
[0012]进一步地，所述根据所述当前超声图像的位置信息和角度信息与所述基准图像的位置信息和角度信息，引导所述超声探头运动以获得与所述基准图像融合的配准超声图像，包括：根据所述当前超声图像与所述基准图像的位置信息和角度信息规划所述超声探头运动的引导路径；获取所述超声探头的实时位置；根据所述超声探头的实时位置判断所述超声探头是否偏离所述引导路径，若是，根据所述实时位置更新所述引导路径；实时显示所述引导路径以及所述超声探头。
[0013]进一步地，所述实时显示所述引导路径以及所述超声探头，包括：获取摄像机拍摄的至少包含检测对象以及超声探头的环境影像；在所述环境影像和/或检测对象体表突出显示所述引导路径以及所述超声探头。
[0014]进一步地，在引导所述超声探头运动以获得与所述基准图像融合的配准超声图像的过程中，提供操作提示信息，所述操作提示信息包括：语音操作提示、视觉操作提示以及触觉操作提示中的一种或多种。
[0015]作为本专利技术的第二个方面，提供了一种超声设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述任一项所述的多模态融合成像方法的步骤。
[0016]作为本专利技术的第三个方面，提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现上述任一项所述的多模态融合成像方法的步骤。
[0017]本专利技术的多模态融合成像方法将超声探头获取的当前超声图像进行风格迁移，得到迁移超声图像；根据迁移超声图像与第一模态三维模型中的基准图像的位置信息和角度信息，引导所述超声探头运动以获得与所述基准图像融合的配准超声图像。本专利技术能够自动引导超声探头扫查获取与基准图像融合的配准图像，无需医师手动选择与基准图像相似
的超声图像进行融合，提高了辅助诊断图像分辨率和实时性。
[0018]附图说明
[0019]附图是用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术，但并不构成对本专利技术的限制。在附图中：图1为本专利技术的多模态融合成像方法的工作流程图。
[0020]图2为本专利技术的获取当前超声图像的位置信息和角度信息的工作流程图。
[0021]图3为本专利技术的引导超声探头运动的工作流程图。
[0022]图4为本专利技术的索引神经网络模型的结构示意图。
[0023]图5为本专利技术的风格迁移模型的结构示意图。
具体实施方式
[0024]下面通过具体实施方式结合附图对本专利技术作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或图调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
[0025]核磁共振(MR)或计算机断层扫描(CT)图像等辅助图像能够使手术者能够清晰地识别器官和疾病。然而，由于MR或CT图像因为其辐射对扫查对象身体有伤害，不能在外科手术或穿刺期间被实时获取，因此MR或CT图像不能反映患者在外科手术或穿刺期间的目标器官的实施状态。虽然超声设备采集的超声图像实时性强且没有辐射，但是，超声图像的分辨率低本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态融合成像方法，其特征在于，包括：加载检测对象待扫查目标器官对应的第一模态三维模型，所述第一模态三维模型中至少包含一个带有位置信息和角度信息的基准图像；获取超声探头扫查的当前超声图像；对所述当前超声图像进行风格迁移，得到迁移超声图像；基于所述迁移超声图像获取当前超声图像的位置信息和角度信息；根据所述当前超声图像的位置信息和角度信息与所述基准图像的位置信息和角度信息，引导所述超声探头运动以获得与所述基准图像融合的配准超声图像。2.根据权利要求1所述的多模态融合成像方法，其特征在于，对所述当前超声图像进行风格迁移，得到迁移超声图像，包括：将所述当前超声图像输入训练好的风格迁移模型进行处理，得到与所述第一模态相同模态的迁移超声图像。3.根据权利要求1所述的多模态融合成像方法，其特征在于，所述基于所述迁移超声图像获取当前超声图像的位置信息和角度信息，包括：将所述迁移超声图像与所述第一模态三维模型输入训练好的索引神经网络模型进行处理，确定所述迁移超声图像的位置信息和角度信息，所述当前超声图像与迁移超声图像的位置信息和角度信息相同。4.根据权利要求1所述的多模态融合成像方法，其特征在于，将所述迁移超声图像与所述第一模态三维模型输入训练好的索引神经网络模型进行处理，包括：将所述迁移超声图像输入索引神经网络模型的二维卷积神经网络处理，提取所述迁移超声图像的第一特征向量；将所述第一模态三维模型输入索引神经网络模型的三维卷积神经网络处理，提取所述第一模态三维模型的第二特征向量；在维度上将所述第一特征向量与所述第二特征向量进行拼接，得到第一拼接特征向量；将所述第一拼接特征向量输入全连接层，输出所述迁移超声图像的位置信息和...

【专利技术属性】
技术研发人员：赵明昌，莫若理，陆振宇，
申请(专利权)人：无锡祥生医疗科技股份有限公司，
类型：发明
国别省市：