一种基于合成超声图像的多模态图像配准方法技术

本发明专利技术提供一种基于合成超声图像的多模态图像配准方法，根据磁共振图像和真实超声图像，通过构建包括生成器和判别器的生成对抗网络，生成拟真的合成超声图像，并将拟真的合成超声图像和真实超声图像进行配准得到配准参数，将配准参数应用于磁共振图像，完成最终的磁共振图像和超声图像的配准融合。本方法能够实时从磁共振图像中合成超声图像，满足实时影像引导手术的要求；合成的拟真超声图像更接近于真实超声图像，图像质量更高，更好的保存了重要的细节信息；当磁共振图像包含肿瘤时，依然可以准确的合成拟真超声图像；最终的配准技术不需要很复杂的配准算法，只需要传统的简单的配准算法就可以达到很好的配准效果。

A Multimodal Image Registration Method Based on Synthetic Ultrasound Image

【技术实现步骤摘要】
一种基于合成超声图像的多模态图像配准方法
本专利技术涉及多模态图像配准领域，具体涉及一种基于合成超声图像的多模态图像配准方法。
技术介绍
超声图像和磁共振图像两种图像目前都广泛应用于各种医学病例的诊断，例如，检测头部中的梗塞和肿瘤，检测肝脏中的急性和慢性变化，以及应用于各种临床手术导航。肝脏的实时成像对于检测病变或者临床治疗是必不可少的，利用超声探头扫描成像能够满足实时成像的要求，并且超声成像为非侵入成像对人体伤害较小。然而超声图像相对于磁共振图像来说，其成像质量较低，而且磁共振图像能够提供更多的解剖细节信息从而更好的辅助诊疗。但磁共振图像只能术前进行采集，并且不能根据病人术中的实时位姿等变化进行实时的调整，所以临床手术过程中提供两种图像来同时进行辅助治疗可以达到更好的效果，因此在手术过程中进行两种图像的配准融合显示是十分必要的。运用传统方法很难直接将磁共振图像直接配准到超声图像上，因为两种图像差异很大。通过磁共振图像来进行超声合成，并将合成超声和真实超声进行融合是配准融合技术中的一种途径，将两种不同模态的图像的配准转换为同一模态下的图像配准能够在减少配准的难度的同时提高配准的精度。近年来，许多学者致力于超声图像的模拟研究中。这些研究主要包括模拟来自电子计算机断层扫描图像和磁共振图像的超声图像，以解决介入手术前不同模态图像的配准问题。为了模拟超声图像，采用基于超声物理学的模型，并使用线性组合的相关性测量线性相关来呈现自动图像配准算法，以使得两种不同模态的图像完成空间的对齐。但模拟超声图像需要耗费大量的时间，使得这种方法不能用于实时的手术导航系统，并且不能精确模拟肿瘤区域的信息，缺失肿瘤会导致切除前和切除后的图像配准不稳定。基于超声模拟的配准融合技术成为了研究的热点，并取得了一定的成果，但仍然存在以下几个方面的缺陷：三维的磁共振图像模拟成三维的超声图像需要耗费大量的时间，并不适用于实时的影像引导手术导航系统；当磁共振图像中包含肿瘤时，不能正确的模拟出来对应位置的肿瘤的超声图像。因而，我们提出了基于深度学习的超声图像合成技术，并将该技术应用于多模态图像配准中来。基于磁共振图像合成超声图像的肝脏多模态影像配准技术必须满足以下条件：(1)磁共振图像实时合成超声图像；(2)能够合成包含肿瘤的超声图像。鉴于此，克服以上现有技术中的缺陷，提供一种新的基于合成超声图像的多模态图像配准方法成为本领域亟待解决的技术问题。
技术实现思路
本专利技术的目的在于针对现有技术的上述缺陷，提供一种基于合成超声图像的多模态图像配准方法。本专利技术的目的可通过以下的技术措施来实现：本专利技术提供了一种基于合成超声图像的多模态图像配准方法，所述多模态图像配准方法包括：S1，采集多个同一部位的三维磁共振图像以及与各三维磁共振图像对应的真实超声图像作为训练样本；S2，构建生成对抗网络，所述生成对抗网络包含生成器和判别器；S3，将采集的三维磁共振图像输入生成器以得到输出结果，并将生成器的所述输出结果与对应的真实超声图像输入至判别器，以对所述生成对抗网络进行训练，利用训练后的生成对抗网络中的生成器生成与三维磁共振图像的对应合成超声图像；S4，将所述合成超声图像与三维磁共振图像对应的真实超声图像进行配准融合，以获取配准参数，根据所述配准参数将所述三维磁共振图像和所述真实超声图像进行配准。进一步的，在步骤S3中，“对所述生成对抗网络进行训练”的步骤包括：根据生成器的输出结果及对应的真实超声图像得到所述生成器的L1损失函数；基于所述生成对抗式网络中所述生成器和所述判断器的最小二乘损失函数，根据判别器的输出结果以及真实超声图像的L1损失函数得到生成器的总体损失函数，根据判别器的输出结果得到判别器的总体损失函数；根据所述判别器的总体损失函数以及所述生成器的总体损失函数，分别更新判别器以及生成器的网络结构中的参数，直至生成对抗网络收敛。进一步的，在步骤S3中，“对所述生成对抗网络进行训练”的步骤还包括：为所述生成器和所述判别器设置不同的学习率。进一步的，所述判别器包括局部判别器和全局判别器，所述局部判别器包括第一局部判别器和第二局部判别器。进一步的，所述L1损失函数定义为其中，IMR表示磁共振图像，G(IMR)表示合成超声图像，IUS为输入的真实超声图像，p(IUS)为真实超声数据分布，p(IMR)为磁共振数据分布；所述生成器的最小二乘损失函数为所述判别器的最小二乘损失函数为其中，IMR表示磁共振图像，G(IMR)表示合成超声图像，IUS为输入的真实超声图像，a和b分别为生成数据和真实数据的标签，c表示生成器和判别器认为的假的数据的标签；设置a＝0，b＝c＝1，并将其带入上述公式中，即可得所述生成器的总体损失函数为：所述判断器的总体损失函数为进一步的，所述步骤S4包括利用金字塔算法，将金字塔设为多层，每层对应一个尺度，分别分层对所述合成超声图像与所述第一真实超声图像进行采样；从最下一层开始，初始化形变参数，将形变参数叠加于所述真实超声图像上，在所述同一层对应的尺度下来进行所述合成超声图像与所述真实超声图像的相似性测度和形变场的计算；将计算得到的形变场叠加到金字塔上一层，作为该层形变参数，继续进行该层的所述合成超声图像与所述真实超声图像的相似性测度和最优化形变计算，直到金字塔的最后一层，得到配准参数；将所述合成超声图像与所述真实超声图像配准得到的所述配准参数直接应用于所述三维磁共振图像，所述三维磁共振图像经过所述配准参数变换后与所述真实超声图像完成配准融合。进一步的，所述“相似性测度”的计算步骤包括：利用邻域描述算子MIND对同一层所述合成超声图像与所述真实超声图像结构进行表征，然后利用表征结果的差值平方和SSD作为配准测度来得到两幅图像的相似性测度。进一步的，在所述“形变场法的计算”步骤中，使用高斯牛顿梯度下降的方法得到所述同一层最优化形变函数。进一步的，MIND计算定义为：其中，n为一个归一化向量，r∈R为搜索区域，距离Dp(I,x1,x2)＝∑p∈P(I(x1+p)-I(x2+p))2计算的是在搜索区域R内的所有小块与以两个体素x1和x2为中心的小块内的SSD，所述相似性测度为最优形变场的优化函数为其中，u＝(u,v,w)T表示形变场。进一步的，所述金字塔层数为3层，所述采样比率为2×2×2。本专利技术的有益效果为提供了一种基于合成超声图像的多模态图像配准方法，给定磁共振图像和与其对应的同一位置的真实超声图像，通过构建生成器和判别器的生成对抗网络，生成拟真的合成超声图像，并将合成超声图像和真实超声图像进行配准得到配准参数，将配准参数应用于磁共振图像，完成最终的磁共振图像和超声图像的配准融合，本方法相对于现有技术具有以下优点：1.能够实时从磁共振图像中合成超声图像，满足实时影像引导手术的要求；2.合成超声图像更接近于真实超声图像，图像质量更高，更好的保存了重要的细节信息；3.当磁共振图像包含肿瘤时，依然可以准确的合成拟真超声图像；4.最终的配准技术不需要很复杂的配准算法，只需要传统的简单的配准算法就可以达到很好的配准效果。附图说明图1是本专利技术实施例的基于合成超声图像的多模态图像配准方法流程图。图2是本专利技术实施例的合成超声图像的流程图。图3是本专利技术实施例的磁共振图像本文档来自技高网...

【技术保护点】
1.一种基于合成超声图像的多模态图像配准方法，其特征在于，所述多模态图像配准方法包括：S1，采集多个同一部位的三维磁共振图像以及与各三维磁共振图像对应的真实超声图像作为训练样本；S2，构建生成对抗网络，所述生成对抗网络包含生成器和判别器；S3，将采集的三维磁共振图像输入生成器以得到输出结果，并将生成器的所述输出结果与对应的真实超声图像输入至判别器，以对所述生成对抗网络进行训练，利用训练后的生成对抗网络中的生成器生成与三维磁共振图像的对应合成超声图像；S4，将所述合成超声图像与三维磁共振图像对应的真实超声图像进行配准融合，以获取配准参数，根据所述配准参数将所述三维磁共振图像和所述真实超声图像进行配准。

【技术特征摘要】
1.一种基于合成超声图像的多模态图像配准方法，其特征在于，所述多模态图像配准方法包括：S1，采集多个同一部位的三维磁共振图像以及与各三维磁共振图像对应的真实超声图像作为训练样本；S2，构建生成对抗网络，所述生成对抗网络包含生成器和判别器；S3，将采集的三维磁共振图像输入生成器以得到输出结果，并将生成器的所述输出结果与对应的真实超声图像输入至判别器，以对所述生成对抗网络进行训练，利用训练后的生成对抗网络中的生成器生成与三维磁共振图像的对应合成超声图像；S4，将所述合成超声图像与三维磁共振图像对应的真实超声图像进行配准融合，以获取配准参数，根据所述配准参数将所述三维磁共振图像和所述真实超声图像进行配准。2.根据权利要求1所述的基于合成超声图像的多模态图像配准方法，其特征在于，在步骤S3中，“对所述生成对抗网络进行训练”的步骤包括：根据生成器的输出结果及对应的真实超声图像得到所述生成器的L1损失函数；基于所述生成对抗式网络中所述生成器和所述判断器的最小二乘损失函数，根据判别器的输出结果以及真实超声图像的L1损失函数得到生成器的总体损失函数，根据判别器的输出结果得到判别器的总体损失函数；根据所述判别器的总体损失函数以及所述生成器的总体损失函数，分别更新判别器以及生成器的网络结构中的参数，直至生成对抗网络收敛。3.根据权利要求2所述的基于合成超声图像的多模态图像配准方法，其特征在于，在步骤S3中，“对所述生成对抗网络进行训练”的步骤还包括：为所述生成器和所述判别器设置不同的学习率。4.根据权利要求3所述的基于合成超声图像的多模态图像配准方法，其特征在于，所述判别器包括局部判别器和全局判别器，所述局部判别器包括第一局部判别器和第二局部判别器。5.根据权利要求4所述的基于合成超声图像的多模态图像配准方法，其特征在于，所述L1损失函数定义为其中，IMR表示磁共振图像，G(IMR)表示合成超声图像，IUS为输入的真实超声图像，p(Ius)为真实超声数据分布，p(Imr)为磁共振数据分布；所述生成器的最小二乘损失函数为所述判别器的最小二乘损失函数为其中，IMR表示磁共振图像，G(IMR)表示合...

【专利技术属性】
技术研发人员：杨峰，武潺，董佳慧，
申请(专利权)人：艾瑞迈迪科技石家庄有限公司，
类型：发明
国别省市：河北,13