一种MRI与CT多模态3D自动配准方法及装置制造方法及图纸

本发明专利技术涉及医学图像配准技术领域，且公开了一种MRI与CT多模态3D自动配准方法，包括以下步骤：S1：获取CT和MRI模态的腰椎医学图像并自动预处理和仿射变换；S2：构建深度学习配准网络，包括形变配准网络、正向空间变换器和逆向空间变换器。本发明专利技术解决了在骨科成像领域缺乏一个有针对性的MRI、CT自动配准工具的问题，且本发明专利技术利用窗体配准技术减少计算开销，借助深度学习提高匹配精度，能够快速得到高精度的腰椎MRI、CT融合图像。CT融合图像。CT融合图像。

【技术实现步骤摘要】
一种MRI与CT多模态3D自动配准方法及装置


[0001]本专利技术涉及医学图像配准
，具体为一种MRI与CT多模态3D自动配准方法及装置。

技术介绍

[0002]在诊断和治疗骨科疾病时，。其中，MRI提供了较好的软组织对比度和解剖信息，而CT显示了骨骼结构和钙化区域。因此，结合MRI和CT图像可以提供更全面和准确的信息，尤其是在进行骨折诊断、手术规划或骨肿瘤定位等方面。在现阶段，为了配准和融合不同对比度的多模态医学图像，Mimics、3D Slicer等医学软件被广泛应用。这些软件的存在一下缺陷：需要指定的输入格式，必须是同分辨率的图像对；使用传统配准算法，训练耗时长；配准图像的质量容易受到原始图像的形变和伪影的影响。
[0003]近几年来随着计算机视觉技术的快速发展，基于深度学习的图像配准方法开始应用于多模态医学图像配准领域。EasyReg、SynthMorph等基于深度学习的自动配准工具应运而生。这些软件工具大多使用无监督的卷积配准网络(CNN)来学习直接输出给定图像对的变形场的函数。不仅比传统配准算法高效(快一两个数量级)，而且还能兼容传统配准算法不支持的功能。例如，大范围形变配准、非刚性配准等。
[0004]然而，上述软件主要解决不同对比度的脑部MRI扫描的配准问题，无法直接应用于骨科多模态医学图像的配准。本专利技术针对上述问题，提出了完整的针对骨科影像学的，尤其是腰椎的MRI与CT多模态3D自动配准方法。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种MRI与CT多模态3D自动配准方法及装置。
[0007](二)技术方案
[0008]为实现上述目的，本专利技术提供如下技术方案：一种MRI与CT多模态3D自动配准方法，包括以下步骤：
[0009]S1：获取CT和MRI模态的腰椎医学图像并自动预处理和仿射变换；
[0010]S2：构建深度学习配准网络，包括形变配准网络、正向空间变换器和逆向空间变换器；
[0011]S3：对深度学习配准网络进行双向训练；
[0012]S4：将预处理后的腰椎医学图像对(f,m)输入预训练得到的形变配准网络，得到形变场φ；
[0013]S5：基于形变场φ对浮动图像m进行三次样条插值变换，输出配准图像r与固定图像f；
[0014]S6：在解剖空间中融合并可视化深度学习配准网络输出的图像对；
[0015]S7：导出融合图像为常见的医学图像格式，作为骨科医疗诊断软件的输入。
[0016]优选的，所述S1中，自动预处理和仿射变换具体包括：
[0017]首先统一多模态医学图像的坐标轴方向和空间分辨率，多模态医学图像包括磁共振成像MRI、计算机断层扫描成像CT；
[0018]然后提取并匹配腰椎图像的解剖特征，基于各解刨特征的质心计算仿射配准。
[0019]优选的，所述S2中，构建深度学习配准网络，包括形变配准网络、正向空间变换器和逆向空间变换器；其中，形变配准网络的输入为预处理的固定图像f和浮动图像m组成的图像对，输出为图像对之间的正向形变场φ；所述正向空间变换器的输入为预处理的固定图像f和图像对之间的正向形变场φ，输出为配准图像r；所述逆向空间变换器的输入为正向空间变换器输出的配准图像r和正向形变场经反转形变后得到的逆向形变场φ'，输出为逆向图像
[0020]所述形变配准网络，包括编码模块、解码模块和残差连接模块；
[0021]其中，编码阶段使用卷积核大小为3、步长为2的3D卷积层，其中每个卷积层之后添加一个参数为0.2的LeakyReLU激活函数；并且在编码阶段，使用分层卷积将每一层的空间维度减小到一半，同时增加通道深度；
[0022]其中，解码阶段交替使用卷积层、上采样层和跳跃连接，将编码阶段学到的特征逐步传递到生成配准的层，在解码阶段的最后一层经过一个步长为1的卷积层和Sigmoid激活函数输出目标形变场φ；
[0023]其中，跳跃连接采用残差连接，以将来自编码阶段的不同水平信息合并到解码阶段的空间特征图上。
[0024]优选的，所述S3中，对深度学习配准网络进行双向训练的具体策略为：
[0025]正向训练形变配准网络，生成正向样本，然后逆向训练形变配准网络，生成逆向样本，随后对调固定图像f和浮动图像m的图像对，并不断重复；
[0026]总体损失包含由计算得到的正向样本相似度、逆向样本相似度、正向形变场φ的场平滑度、逆向形变场φ'的场平滑度，当误差曲线无限接近0附近时，模型收敛。
[0027]优选的，所述样本的具体训练方式为：
[0028]训练正向样本：随机选取预处理得到的固定图像f和浮动图像m的图像对，其中，固定图像f和浮动图像m分别是MRI、CT模态的3D腰椎图像；并将输入的浮动图像m空间变换成配准图像r，正向样本包括生成的配准图像r和输入的固定图像f；
[0029]训练逆向样本：将输出的配准图像r空间变换成逆向图像逆向样本包括生成的逆向图像和输入的浮动图像m；
[0030]所述深度学习的总体损失函数为：
[0031]L＝argmin w1L
φ
+w2L
φ'
；
[0032]其中，φ为正向形变场，φ'为逆向形变场，L
φ
为正向相似损失函数，L
φ'
为逆向相似度损失函数，w1、w2为每个损失函数的权重因子，在本专利技术中其值都为
[0033]所述正向相似损失函数L
φ
为：
[0034][0035]其中，表示浮动图像m被正向形变场φ变换后的配准图像r，函数度量固定图像f与配准图像r之间的图像相似性，本专利技术使用均方根误差作为相似度度量，函数L
smooth
(φ)计算正向形变场的平滑正则化，λ是正则化权衡参数，本专利技术使用L2正则化；
[0036]逆向相似损失函数L
φ'
为：
[0037][0038]其中，表示配准图像r被逆向形变场φ'变换后的逆向图像，函数度量浮动图像m与逆向图像之间的图像相似性，函数L
smooth
(φ')计算逆向形变场的平滑正则化，λ是L2正则化；
[0039]利用正向形变场φ计算逆向形变场φ'，其计算方式为：
[0040][0041]其中，Inv_Field为逆向形变场，Field为正向形变场，p表示正向形变场的体素点，表示逆向形变场的像素点。
[0042]优选的，双向训练的具体策略，其具体训练方法为：
[0043]3‑
1)将浮动图像m和固定图像f输入形变配准网络，根据浮动图像m到固定图像f的体素对应关系得到形变场φ；
[0044]3‑
2)利用步骤3
‑
1)得到的形变场φ和正向空间变换器的三次样条插值法对浮动图像m进行计算得到配准图像r，并利用正向形变场φ计算逆向形变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种MRI与CT多模态3D自动配准方法，其特征在于，包括以下步骤：S1：获取CT和MRI模态的腰椎医学图像并自动预处理和仿射变换；S2：构建深度学习配准网络，包括形变配准网络、正向空间变换器和逆向空间变换器；S3：对深度学习配准网络进行双向训练；S4：将预处理后的腰椎医学图像对(f,m)输入预训练得到的形变配准网络，得到形变场φ；S5：基于形变场φ对浮动图像m进行三次样条插值变换，输出配准图像r与固定图像f；S6：在解剖空间中融合并可视化深度学习配准网络输出的图像对；S7：导出融合图像为常见的医学图像格式，作为骨科医疗诊断软件的输入。2.根据权利要求1所述的一种MRI与CT多模态3D自动配准方法，其特征在于：所述S1中，自动预处理和仿射变换具体包括：首先统一多模态医学图像的坐标轴方向和空间分辨率，多模态医学图像包括磁共振成像MRI、计算机断层扫描成像CT；然后提取并匹配腰椎图像的解剖特征，基于各解刨特征的质心计算仿射配准。3.根据权利要求1所述的一种MRI与CT多模态3D自动配准方法，其特征在于：所述S2中，构建深度学习配准网络，包括形变配准网络、正向空间变换器和逆向空间变换器；其中，形变配准网络的输入为预处理的固定图像f和浮动图像m组成的图像对，输出为图像对之间的正向形变场φ；所述正向空间变换器的输入为预处理的固定图像f和图像对之间的正向形变场φ，输出为配准图像r；所述逆向空间变换器的输入为正向空间变换器输出的配准图像r和正向形变场经反转形变后得到的逆向形变场φ'，输出为逆向图像所述形变配准网络，包括编码模块、解码模块和残差连接模块；其中，编码阶段使用卷积核大小为3、步长为2的3D卷积层，其中每个卷积层之后添加一个参数为0.2的LeakyReLU激活函数；并且在编码阶段，使用分层卷积将每一层的空间维度减小到一半，同时增加通道深度；其中，解码阶段交替使用卷积层、上采样层和跳跃连接，将编码阶段学到的特征逐步传递到生成配准的层，在解码阶段的最后一层经过一个步长为1的卷积层和Sigmoid激活函数输出目标形变场φ；其中，跳跃连接采用残差连接，以将来自编码阶段的不同水平信息合并到解码阶段的空间特征图上。4.根据权利要求1所述的一种MRI与CT多模态3D自动配准方法，其特征在于：所述S3中，对深度学习配准网络进行双向训练的具体策略为：正向训练形变配准网络，生成正向样本，然后逆向训练形变配准网络，生成逆向样本，随后对调固定图像f和浮动图像m的图像对，并不断重复；总体损失包含由计算得到的正向样本相似度、逆向样本相似度、正向形变场φ的场平滑度、逆向形变场φ'的场平滑度，当误差曲线无限接近0附近时，模型收敛。5.根据权利要求4所述的一种MRI与CT多模态3D自动配准方法，其特征在于：所述样本的具体训练方式为：训练正向样本：随机选取预处理得到的固定图像f和浮动图像m的图像对，其中，固定图
像f和浮动图像m分别是MRI、CT模态的3D腰椎图像；并将输入的浮动图像m空间变换成配准图像r，正向样本包括生成的配准图像r和输入的固定图像f；训练逆向样本：将输出的配准图像r空间变换成逆向图像逆向样本包括生成的逆向图像和输入的浮动图像m；所述深度学习的总体损失函数为：L＝argmin w1L
φ
+w2L
φ，
；其中，φ为正向形变场，φ'为逆向形变场，L
φ
为正向相似损失函数...

【专利技术属性】
技术研发人员：罗奕，王硕，赵彤，侯志勇，
申请(专利权)人：德智鸿上海机器人有限责任公司，
类型：发明
国别省市：