多模态医学图像配准融合方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种多模态医学图像配准融合方法、装置及电子设备，该方法包括：获取患者的至少两种模态的二维医学图像；将至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像。该方法图像配准精度高、时间成本低，还能处理较为复杂的多模态融合情况，以及还可应用于非刚性配准情况，配准结果准确，能够为医护人员提供准确的治疗参考依据。能够为医护人员提供准确的治疗参考依据。能够为医护人员提供准确的治疗参考依据。

【技术实现步骤摘要】
多模态医学图像配准融合方法、装置及电子设备


[0001]本专利技术涉及医学图像处理
，具体涉及一种多模态医学图像配准融合方法、装置及电子设备。

技术介绍

[0002]医学图像配准技术是针对两幅来自于同一成像设备不同时间或者不同成像设备采集的医学图像，以其中一幅图像作为参考来寻找一种或者一系列的空间变换关系，使得另一幅图像经过空间变换之后，两幅图像之间相对应的点在空间上达到基本一致的一种技术。医学图像配准技术在临床医学上具有相当重要的应用价值，它将不同图像所表达的互补信息进行集成整合，以供医护人员参考，以提高临床诊断的准确率。
[0003]在现代数字化医疗诊断过程中，医护人员通常需要在进行手术之前利用已采集的患者的多模态三维图像对患者病变部位进行分析，从而制定适宜的手术计划。而术前已采集的患者的多模态图像是指多数量、多类型的图像，如电子计算机断层扫描图像(CT图像)及磁共振成像(MRI图像)等等，这些图像在采集设备器材、采集方向角度等方面存在差异，因而各个图像突出显示的图像特征也不同。因此，为了便于医生观察和制定手术计划，则需要对术前采集的多种模态的图像的优点进行综合，即需要进行多模态图像配准，以将不同模态的图像配准至同一角度并将各个图像能提供的患者病变部位的图像特征融合至一张图像上显示。
[0004]现有的多模态图像配准技术中，主要存在两类方法：1、迭代最近点方法，通过计算图像间变换矩阵确定待配准图像与参考图像之间的变换关系，并将待配准图像按照该变换关系进行空间变换，以实现配准。但是，使用该迭代最近点方法计算图像间变换矩阵，这对各图像初始对齐状况的要求较高，使得其在求解过程中极易陷入局部最优解；该法还需要在求解前预先进行粗配准过程，复杂度较高；而且该法也只能应用于求解刚性配准问题，在已采集的患者的多模态图像的拍摄时间不同、患者姿态不同时，配准融合结果会存在较大误差。2、求解待配准图像间距离函数最优化问题以使待配准图像经变形后距离函数最小的方法，该法虽能适当解决非刚性配准情况，但是，该法需要自动应以图像间的距离函数，导致其对待配准图像间的相似性要求较高，而在在采集的患者的不同模态图像的差异较大时，该法的配准结果的精确度低下；并且，该法在解决非刚性配准的问题时，由于求解参数数量多，该法求解复杂度高，均会导致整体配准过程的时间成本过大。

技术实现思路

[0005]本专利技术提供一种多模态医学图像配准融合方法、装置及电子设备，用以克服现有技术中多模态图像配准精度低、复杂度高、时间成本高以及无法有效应用于非刚性配准情况等的缺陷，实现提升多模态图像融合精准度和可有效应用于非刚性配准情况的效果。
[0006]本专利技术提供一种多模态医学图像配准融合方法，包括：
[0007]获取患者的至少两种模态的二维医学图像；
[0008]将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；
[0009]将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像。
[0010]根据本专利技术提供的多模态医学图像配准融合方法，将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像，包括：
[0011]基于三维图像重建法，将所述各个模态本体位置区域的二维医学图像分别重建为各个模态本体位置区域的三维医学图像；
[0012]分别基于所述各个模态本体位置区域的三维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态三维医学图像相应的点云集；
[0013]基于点云配准算法，将各个模态三维医学图像相应的点云集进行点云配准融合，以获得多模态相融合三维医学图像。
[0014]根据本专利技术提供的多模态医学图像配准融合方法，所述至少两种模态的二维医学图像包括二维CT医学图像、二维MRI医学图像、二维超声医学图像、二维PETCT医学图像中的至少两种；
[0015]以及，所述本体包括股骨，所述本体头包括股骨头。
[0016]根据本专利技术提供的多模态医学图像配准融合方法，将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出，包括：
[0017]将所述二维CT医学图像输入至预先训练的CT图像分割网络模型以获得股骨位置区域的CT医学图像；和/或，将所述二维MRI医学图像输入至预先训练的MRI图像分割网络模型以获得股骨位置区域的MRI医学图像；和/或，将所述二维超声医学图像输入至预先训练的超声图像分割网络模型以获得股骨位置区域的超声医学图像；和/或，将所述二维PETCT医学图像输入至预先训练的PETCT图像分割网络模型以获得股骨位置区域的PETCT医学图像。
[0018]根据本专利技术提供的多模态医学图像配准融合方法，所述CT图像分割网络模型的预先训练过程，包括：
[0019]获取多个患者的二维CT医学图像数据集，其中，所述二维CT医学图像数据集中包含有多个二维CT医学图像；
[0020]采用自动标注、手动标注中的至少一种方式，标注出各个所述二维CT医学图像中的股骨位置区域；
[0021]将经过标注后的各个二维CT医学图像按照预设比例划分为CT训练数据集和CT测试数据集；
[0022]基于所述CT训练数据集并结合神经网络算法和深度学习训练出CT图像分割网络模型；
[0023]或，所述MRI图像分割网络模型的预先训练过程，具体包括：
[0024]获取多个患者的二维MRI医学图像数据集，其中，所述二维MRI医学图像数据集中包含有多个二维MRI医学图像；
[0025]采用自动标注、手动标注中的至少一种方式，标注出各个所述二维MRI医学图像中的股骨位置区域；
[0026]将经过标注后的各个二维MRI医学图像按照预设比例划分为MRI训练数据集和MRI测试数据集；
[0027]基于所述MRI训练数据集并结合神经网络算法和深度学习训练出MRI图像分割网络模型。
[0028]根据本专利技术提供的多模态医学图像配准融合方法，基于所述CT训练数据集并结合神经网络算法和深度学习训练出CT图像分割网络模型，或，基于所述MRI训练数据集并结合神经网络算法和深度学习训练出MRI图像分割网络模型，包括：
[0029]通过第一图像分割模型对所述CT训练数据集或所述MRI训练数据集进行粗分割处理：对所述CT训练数据集或所述MRI训练数据集中的图像数据执行多次下采样，以通过卷积层和池化层的处理识别各图像数据的深层特征；对进行下采样后的图像数据执行多次上采样，以通过上采样层和卷积层的处理反向存储所述深层特征至所述图像数据中；利用Adam分类优化器进行图像粗分类处理，获得图像粗分割结果；
[0030]通过第二图像分割模型对所述图像粗分割结果进行精分割处理：从所述深层特征中筛选预设置信度的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态医学图像配准融合方法，其特征在于，包括：获取患者的至少两种模态的二维医学图像；将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像。2.根据权利要求1所述的多模态医学图像配准融合方法，其特征在于，将所述各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像，包括：基于三维图像重建法，将所述各个模态本体位置区域的二维医学图像分别重建为各个模态本体位置区域的三维医学图像；分别基于所述各个模态本体位置区域的三维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态三维医学图像相应的点云集；基于点云配准算法，将各个模态三维医学图像相应的点云集进行点云配准融合，以获得多模态相融合三维医学图像。3.根据权利要求1或2所述的多模态医学图像配准融合方法，其特征在于，所述至少两种模态的二维医学图像包括二维CT医学图像、二维MRI医学图像、二维超声医学图像、二维PETCT医学图像中的至少两种；以及，所述本体包括股骨，所述本体头包括股骨头。4.根据权利要求3所述的多模态医学图像配准融合方法，其特征在于，将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出，包括：将所述二维CT医学图像输入至预先训练的CT图像分割网络模型以获得股骨位置区域的CT医学图像；和/或，将所述二维MRI医学图像输入至预先训练的MRI图像分割网络模型以获得股骨位置区域的MRI医学图像；和/或，将所述二维超声医学图像输入至预先训练的超声图像分割网络模型以获得股骨位置区域的超声医学图像；和/或，将所述二维PETCT医学图像输入至预先训练的PETCT图像分割网络模型以获得股骨位置区域的PETCT医学图像。5.根据权利要求4所述的多模态医学图像配准融合方法，其特征在于，所述CT图像分割网络模型的预先训练过程，包括：获取多个患者的二维CT医学图像数据集，其中，所述二维CT医学图像数据集中包含有多个二维CT医学图像；采用自动标注、手动标注中的至少一种方式，标注出各个所述二维CT医学图像中的股骨位置区域；将经过标注后的各个二维CT医学图像按照预设比例划分为CT训练数据集和CT测试数据集；基于所述CT训练数据集并结合神经网络算法和深度学习训练出CT图像分割网络模型；或，所述MRI图像分割网络模型的预先训练过程，具体包括：获取多个患者的二维MRI医学图像数据集，其中，所述二维MRI医学图像数据集中包含有多个二维MRI医学图像；
采用自动标注、手动标注中的至少一种方式，标注出各个所述二维MRI医学图像中的股骨位置区域；将经过标注后的各个二维MRI医学图像按照预设比例划分为MRI训练数据集和...

【专利技术属性】
技术研发人员：刘星宇，张逸凌，
申请(专利权)人：北京长木谷医疗科技有限公司，
类型：发明
国别省市：