基于神经网络的钆延迟强化图像的合成方法、系统及设备技术方案

本发明专利技术公开了一种基于神经网络的钆延迟强化图像的合成方法、系统及设备，该方法包括：获取训练图像集；基于训练图像集训练神经网络，以得到训练后的神经网络；将获取的目标对象的目标心脏电影图像和/或目标T1映射图像输入训练后的神经网络，以输出目标合成钆延迟强化图像。本发明专利技术基于训练图像集训练神经网络，将目标对象的目标心脏电影图像和/或目标T1映射图像输入训练后的神经网络，以输出目标合成钆延迟强化图像，实现了利用完整图像样本和残缺图像样本训练神经网络，拓展了训练数据，确保了神经网络模型训练时的准确性，提高了神经网络模型的泛化能力，解决了神经网络模型训练中训练数据缺乏的问题。中训练数据缺乏的问题。中训练数据缺乏的问题。

【技术实现步骤摘要】
基于神经网络的钆延迟强化图像的合成方法、系统及设备


[0001]本专利技术涉及医学成像
，特别涉及一种基于神经网络的钆延迟强化图像的合成方法、系统及设备。

技术介绍

[0002]心血管磁共振成像(CMR)，是一种非入侵式的检测心血管系统功能与结构的医学成像技术，其基于磁共振成像技术(MRI)，具有视野大，组织对比度高，空间分辨率高以及无辐射等优点，在各类心肌疾病的诊断中具有广泛的应用。钆延迟强化(late gadolinium enhancement,LGE)是一种心脏检查中，给患者注射钆造影剂以后一段时间进行扫描的成像技术，根据钆延迟强化的分布特点，医生可以观察心肌坏死和瘢痕等特点，广泛应用于各种心肌以及心血管疾病当中。然而，一些患者(如肾衰竭)会对注射钆造影剂有着禁忌，并且钆延迟强化需要专业人士指导患者做长时间的准备和扫描，有着复杂而繁琐的过程。通常，在给患者注射造影剂之后，需要等待10分钟到20分钟再进行成像，其中，非正常的心肌细胞留存造影剂发出的高亮信号能够被设备捕捉到，以此来观察病灶。然而，长时间的等待降低了图像采集的效率，因此，去除对钆造影剂的依赖可以减少成本，大大缩短扫描时间，对临床上诊断心脏病有重要意义。
[0003]而在人工智能技术蓬勃发展的今天，把人工智能应用到了医学图像领域是一项前沿的研究。基于深度神经网络的人工智能技术可以对一些难以获得的医学图像以更低成本的方式进行合成。然而，在现实中，大量心脏序列图像的收集具有困难，导致在心脏多模态图像模态缺失情况下钆延迟强化合成网络训练难的问题。

技术实现思路

[0004]本专利技术要解决的技术问题是为了克服现有技术中在心脏多模态图像模态缺失情况下，存在钆延迟强化合成网络训练难的缺陷，提供一种基于神经网络的钆延迟强化图像的合成方法、系统、设备及存储介质。
[0005]本专利技术是通过下述技术方案来解决上述技术问题：
[0006]本专利技术第一方面提供了一种基于神经网络的钆延迟强化图像的合成方法，所述合成方法包括：
[0007]获取训练图像集，所述训练图像集包括作为输入的心脏电影图像和/或T1映射图像以及作为输出的真实钆延迟强化图像；
[0008]基于所述训练图像集训练神经网络，以得到训练后的神经网络；
[0009]获取目标对象的目标心脏电影图像和/或目标T1映射图像；
[0010]将所述目标心脏电影图像和/或所述目标T1映射图像输入训练后的神经网络，以输出目标合成钆延迟强化图像。
[0011]较佳地，所述神经网络包括模态融合网络，所述合成方法还包括：
[0012]基于所述训练图像集训练所述模态融合网络，以得到训练后的模态融合网络；
[0013]将所述目标心脏电影图像和所述目标T1映射图像均输入训练后的模态融合网络，以输出目标合成钆延迟强化图像。
[0014]较佳地，所述神经网络还包括第一特征提取网络和第二特征提取网络；
[0015]所述将所述目标心脏电影图像和所述目标T1映射图像均输入训练后的模态融合网络，以输出目标合成钆延迟强化图像的步骤包括：
[0016]将所述目标心脏电影图像以及所述目标T1映射图像分别输入所述第一特征提取网络和所述第二特征提取网络，以分别得到第一特征图和第二特征图；
[0017]对所述第一特征图和所述第二特征图进行拼接，以得到拼接特征图；
[0018]将所述拼接特征图输入所述训练后的模态融合网络，以输出目标合成钆延迟强化图像。
[0019]较佳地，所述神经网络包括第一单模态网络，所述合成方法还包括：
[0020]基于所述训练图像集训练所述第一单模态网络，以得到训练后的第一单模态网络；
[0021]将所述目标心脏电影图像输入训练后的第一单模态网络，以输出目标合成钆延迟强化图像。
[0022]较佳地，所述神经网络还包括第一特征提取网络；
[0023]所述将所述目标心脏电影图像输入训练后的第一单模态网络，以输出目标合成钆延迟强化图像的步骤包括：
[0024]将所述目标心脏电影图像输入所述第一特征提取网络，以得到第一特征图；
[0025]将所述第一特征图输入所述训练后的第一单模态网络，以输出目标合成钆延迟强化图像。
[0026]较佳地，所述神经网络包括第二单模态网络，所述合成方法还包括：
[0027]基于所述训练图像集训练所述第二单模态网络，以得到训练后的第二单模态网络；
[0028]将所述目标T1映射图像输入训练后的第二单模态网络，以输出目标合成钆延迟强化图像。
[0029]较佳地，所述神经网络还包括第二特征提取网络；
[0030]所述将所述目标T1映射图像输入训练后的第二单模态网络，以输出目标合成钆延迟强化图像的步骤包括：
[0031]将所述目标T1映射图像输入所述第二特征提取网络，以得到第二特征图；
[0032]将所述第二特征图输入所述训练后的第二单模态网络，以输出目标合成钆延迟强化图像。
[0033]较佳地，所述获取训练图像集的步骤之后，所述合成方法还包括：
[0034]对所述训练图像集进行配准处理，以得到配准后的训练图像集；
[0035]所述基于所述训练图像集训练神经网络，以得到训练后的神经网络的步骤包括：
[0036]基于所述配准后的训练图像集训练神经网络，以得到训练后的神经网络。
[0037]本专利技术第二方面提供了一种基于神经网络的钆延迟强化图像的合成系统，所述合成系统包括第一获取模块、第一训练模块、第二获取模块以及第一合成模块；
[0038]所述第一获取模块用于获取训练图像集，所述训练图像集包括作为输入的心脏电
影图像和/或T1映射图像以及作为输出的真实钆延迟强化图像；
[0039]所述第一训练模块用于基于所述训练图像集训练神经网络，以得到训练后的神经网络；
[0040]所述第二获取模块用于获取目标对象的目标心脏电影图像和/或目标T1映射图像；
[0041]所述第一合成模块用于将所述目标心脏电影图像和/或所述目标T1映射图像输入训练后的神经网络，以输出目标合成钆延迟强化图像。
[0042]较佳地，所述合成系统还包括配准模块；
[0043]较佳地，所述神经网络包括模态融合网络，所述合成系统还包括第二训练模块和第二合成模块；
[0044]所述第二训练模块用于基于所述训练图像集训练所述模态融合网络，以得到训练后的模态融合网络；
[0045]所述第二合成模块用于将所述目标心脏电影图像和所述目标T1映射图像均输入训练后的模态融合网络，以输出目标合成钆延迟强化图像。
[0046]较佳地，所述神经网络还包括第一特征提取网络和第二特征提取网络；所述第二合成模块包括第一提取单元、拼接单元和第一合成单元；
[0047]所述第一提取单元用于将所述目标心脏电影图像以及所述目标T1映射图像分别输入所述第一特征提取网络和所述第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的钆延迟强化图像的合成方法，其特征在于，所述合成方法包括：获取训练图像集，所述训练图像集包括作为输入的心脏电影图像和/或T1映射图像以及作为输出的真实钆延迟强化图像；基于所述训练图像集训练神经网络，以得到训练后的神经网络；获取目标对象的目标心脏电影图像和/或目标T1映射图像；将所述目标心脏电影图像和/或所述目标T1映射图像输入训练后的神经网络，以输出目标合成钆延迟强化图像。2.如权利要求1所述的基于神经网络的钆延迟强化图像的合成方法，其特征在于，所述神经网络包括模态融合网络，所述合成方法还包括：基于所述训练图像集训练所述模态融合网络，以得到训练后的模态融合网络；将所述目标心脏电影图像和所述目标T1映射图像均输入训练后的模态融合网络，以输出目标合成钆延迟强化图像。3.如权利要求2所述的基于神经网络的钆延迟强化图像的合成方法，其特征在于，所述神经网络还包括第一特征提取网络和第二特征提取网络；所述将所述目标心脏电影图像和所述目标T1映射图像均输入训练后的模态融合网络，以输出目标合成钆延迟强化图像的步骤包括：将所述目标心脏电影图像以及所述目标T1映射图像分别输入所述第一特征提取网络和所述第二特征提取网络，以分别得到第一特征图和第二特征图；对所述第一特征图和所述第二特征图进行拼接，以得到拼接特征图；将所述拼接特征图输入所述训练后的模态融合网络，以输出目标合成钆延迟强化图像。4.如权利要求1所述的基于神经网络的钆延迟强化图像的合成方法，其特征在于，所述神经网络包括第一单模态网络，所述合成方法还包括：基于所述训练图像集训练所述第一单模态网络，以得到训练后的第一单模态网络；将所述目标心脏电影图像输入训练后的第一单模态网络，以输出目标合成钆延迟强化图像。5.如权利要求4所述的基于神经网络的钆延迟强化图像的合成方法，其特征在于，所述神经网络还包括第一特征提取网络；所述将所述目标心脏电影图像输入训练后的第一单模态网络，以输出目标合成钆延迟强化图像的步骤包括：将所述目标心脏电影图像输入所述第一特征提取网络，以得到第一特征图；将所述第一特征图输入所述训练...

【专利技术属性】
技术研发人员：梁恩民，
申请(专利权)人：深圳市联影高端医疗装备创新研究院，
类型：发明
国别省市：