一种非刚性多模医学图像的配准模型建立方法及其应用技术

本发明专利技术公开了一种非刚性多模医学图像的配准模型建立方法及其应用，医学图像配准领域，包括：建立生成对抗网络GAN_dr，其中的生成器G_dr用于生成形变恢复的结构表征图，判别器D_dr用于判断G_dr生成的结构表征图是否已经有效恢复形变；计算医学数据集内各样本中的参考图像、浮动图像和实际配准图像的结构表征图，利用计算结果对GAN_dr进行训练；建立生成对抗网络GAN_ie，其中的生成器G_ie以结构表征图为输入，用于估计配准图像，判别器D_ie用于判断估计的配准图像是否与实际配准图像一致；利用训练好的G_dr生成医学数据集内各样本对应的形变恢复的结构表征图，对GAN_ie进行训练；将训练好的G_ie连接到G_dr之后，得到配准模型。本发明专利技术能够实现医学图像的快速精确匹配。配。配。

【技术实现步骤摘要】
一种非刚性多模医学图像的配准模型建立方法及其应用


[0001]本专利技术属于医学图像配准领域，更具体地，涉及一种非刚性多模医学图像的配准模型建立方法及其应用。

技术介绍

[0002]由于各种成像技术的原理不同，每种成像方式在反映人体信息方面都有其自身的优势。功能成像，如功能磁共振成像(fMRI)，专注于反映人体代谢信息，而解剖成像，如T1
‑
加权MRI，则可以更清晰地反映人体的解剖结构。此外，即使对于诸如T1
‑
加权MRI和T2
‑
加权MRI的解剖成像，它们提供的信息也存在差异。因此，来自多模图像的不同信息的融合能更好地协助人体疾病的诊断和治疗。多模医学图像配准是多模医学图像信息融合的基础，对医学图像分析和临床研究至关重要。
[0003]传统多模医学图像配准方法大体上可分为两大类：第一类是基于特征的配准方法，这类方法通过提取图像标志点的几何特征，并根据提取的特征来计算相似性度量，通过优化的方法得到最终的配准图像。然而这些方法依赖人工提取的特征，在多模图像之间结构差异较大的情况下，难以找到足够的对应特征，故无法实现精确配准。第二类是基于图像灰度信息的方法。这些方法首先基于图像间的灰度统计关系(例如互信息，区域互信息)或相关性(例如Pearson积矩相关系数)来构建相似性度量，然后优化基于相似性度量所构建的目标函数，由此产生配准图像。然而，当多模图像之间存在较大灰度差异时，这些方法很难取得良好的配准结果。同时，它们忽略了图像的局部结构信息，易导致图像边缘区的配准结果不理想。为了减弱不同模态之间非线性灰度差异的影响，通过图像结构表征方法，如基于熵图、韦伯局部描述子WLD，模态独立邻域描述子MIND及上下文自相似性SSC的方法，对图像结构进行表征，将多模图像配准演变为单模图像配准，然后利用表征结果的差值平方和(Sum of Squared Difference，SSD)作为配准测度来实现图像配准。通常，这些传统方法涉及耗时的优化过程，因此它们难以实现高效的医学图像配准。
[0004]针对上述传统多模图像配准方法的不足，近年来有学者提出了基于深度学习的配准方法，其主要分为两类。第一类是使用深度学习提取图像特征，然后根据这些特征来构建相似性度量，并与传统方法一样，采用迭代优化方法来产生配准图像，典型代表如基于PCANet的配准方法。尽管上述方法使用深度学习方法自动提取的特征而非人工设计的特征实现图像配准，但它们仍采用迭代优化策略来生成配准图像，因此其配准过程仍比较耗时，很难实现快速高效的医学图像配准。
[0005]第二类基于深度学习的配准方法为基于端
‑
到
‑
端深度学习的图像配准方法。这些方法利用深度学习网络直接估计图像形变场；Hu等利用卷积神经网络CNN对浮动图像与参考图像中的解剖结构标志点进行匹配，由此估计形变场；Sokooti等基于多尺度图像信息和上下文信息，利用CNN来学习形变场；Yang等提出使用预测网络和校正网络来实现图像配准。这些配准方法通过图像块来预测图像的形变场，忽略了图像的整体信息，易产生不连续的形变场。Balakrishnan等提出了基于VoxelMorph(简称Morph)的图像配准方法，该方法对
传统算法的配准过程进行建模，利用配准图像和参考图像间的差异来构建损失函数，由此直接估计参考图像和浮动图像之间的形变场，并利用空间转换层将形变场作用于浮动图像，从而得到配准图像；Zhao等提出了由多个级联子网组成的VTN网络，用于3D医学图像配准；该方法的每个子网都将当前的浮动图像变形，并在最后一个子网的末尾生成配准图像。考虑到生成对抗网络(Generative Adversarial Networks，GAN)可以通过生成网络(G)和判别网络(D)直接生成图像，因此基于GAN的配准方法也被提出。这些方法利用G网络产生形变场并扭曲浮动图像以获得配准结果，然后使用D网络判断两个图像是否配准。上述基于端
‑
到
‑
端深度学习的图像配准方法难以有效处理多模态图像的非线性灰度差异，且因不加选择地学习平滑区和边缘区的形变，因此难以实现精确的图像配准。
[0006]总的来说，如何提出一种能够高效且精确地实现医学图像配准的方法，是一个亟待解决的问题。

技术实现思路

[0007]针对现有技术的缺陷和改进需求，本专利技术提供了一种非刚性多模医学图像的配准模型建立方法及其应用，其目的在于，将医学图像配准拆分为图像形变恢复和图像灰度估计这两个子问题，并建立包含两级生成对抗网络的端到端模型，实现医学图像的快速精确匹配。
[0008]为实现上述目的，按照本专利技术的一个方面，提供了一种非刚性多模医学图像的配准模型建立方法，包括：
[0009]获得医学数据集，其中的每个样本包括成对的参考图像和浮动图像以及这两幅图像之间的实际配准图像；
[0010]建立第一生成对抗网络GAN_dr，其中的生成器G_dr以参考图像和浮动图像的结构表征图为输入，用于生成形变恢复的结构表征图，判别器D_dr以生成器G_dr生成的形变恢复的结构表征图和实际配准图像的结构表征图为输入，用于判断生成器G_dr生成的结构表征图是否已经有效恢复形变；计算医学数据集内各样本中的参考图像、浮动图像和实际配准图像的结构表征图，利用计算结果对第一生成对抗网络GAN_dr进行训练，训练结束后，提取其中的生成器G_dr作为形变恢复模块；
[0011]建立第二生成对抗网络GAN_ie，其中的生成器G_ie以结构表征图为输入，用于估计配准图像，判别器D_ie以生成器G_ie估计的配准图像和实际配准图像为输入，用于判断估计的配准图像是否与实际配准图像一致；利用形变恢复模块生成医学数据集内各样本对应的形变恢复的结构表征图，连同各样本对应的实际配准图像对第二级生成对抗网络GAN_ie进行训练，训练结束后，提取其中的生成器G_ie作为灰度估计模块；
[0012]将灰度估计模块连接到形变恢复模块之后，得到用于医学图像配准的配准模型。
[0013]本专利技术在进行图像配准之前，先计算各图像的结构表征图，由此将多模图像转换为单模图像，之后再基于结构表征图进行配准，能够减少多模态带来的影响；在模型建立过程中，将图像配准问题拆分为两个子问题，即图像形变恢复和图像灰度估计；对于图像形变恢复问题，与现有估计图像形变场的深度学习方法不同，本专利技术通过第一级生成对抗网络(GAN_dr)来生成配准图像的结构表征图，在此过程中，能够更加专注于边缘形变的恢复；对于图像灰度估计，本专利技术通过将第一级生成对抗网络生成的结构表征图输入第二级生成对
抗网络(GAN_ie)来生成最终的灰度图像，该过程可以视为结构表征的逆过程，同样能够更加专注于边缘形变的恢复；本专利技术最终所建立的配准模型是由两级已训练好的生成对抗网络中的生成器相连而成的端到端模型，该模型在进行图像配准时，其中的两级生成对抗网络会依次进行图像形变恢复和图像灰度估计，并且在这两个过程中都更本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非刚性多模医学图像的配准模型建立方法，其特征在于，包括：获得医学数据集，其中的每个样本包括成对的参考图像和浮动图像以及这两幅图像之间的实际配准图像；建立第一生成对抗网络GAN_dr，其中的生成器G_dr以参考图像和浮动图像的结构表征图为输入，用于生成形变恢复的结构表征图，判别器D_dr以所述生成器G_dr生成的形变恢复的结构表征图和实际配准图像的结构表征图为输入，用于判断所述生成器G_dr生成的结构表征图是否已经有效恢复形变；计算所述医学数据集内各样本中的参考图像、浮动图像和实际配准图像的结构表征图，利用计算结果对所述第一生成对抗网络GAN_dr进行训练，训练结束后，提取其中的生成器G_dr作为形变恢复模块；建立第二生成对抗网络GAN_ie，其中的生成器G_ie以结构表征图为输入，用于估计配准图像，判别器D_ie以所述生成器G_ie估计的配准图像和实际配准图像为输入，用于判断估计的配准图像是否与实际配准图像一致；利用所述形变恢复模块生成所述医学数据集内各样本对应的形变恢复的结构表征图，连同各样本对应的实际配准图像对所述第二生成对抗网络GAN_ie进行训练，训练结束后，提取其中的生成器G_ie作为灰度估计模块；将所述灰度估计模块连接到所述形变恢复模块之后，得到用于医学图像配准的配准模型。2.如权利要求1所述的非刚性多模医学图像的配准模型建立方法，其特征在于，结构表征图的计算公式为：其中，I表示图像，M表示图像I中的空间搜索区域，x表示体素，n表示空间搜索区域M中体素的数量；Dis是空间搜索区域M中以体素x和它邻近体素x+m为中心的两个图像块B的平方差和，x1和x2分别表示图像中两个不同的体素；h(x)为衰减系数，h(x)＝(c1σ1(x)+c2σ2)2；c1和c2是常数；σ1和σ2分别表示图像I的局部方差和全局阈值，σ2＝mean(σ1(x)),s.t.σ1(x)≠0；mean(
·
)代表均值运算符。3.如权利要求1所述的非刚性多模医学图像的配准模型建立方法，其特征在于，所述第一生成对抗网络GAN_dr的生成器G_dr包括：两个第一特征提取通道、一个第一特征融合模块和一个第一升采样模块；所述第一特征提取通道包括堆叠的N+1个金字塔卷积块，相邻的两个金字塔卷积块之间通过一个卷积层相连；所述第一特征提取通道中的N+1个金字塔卷积块用于提取输入图像的N+1个不同尺度的特征；两个第一特征提取通道分别以参考图像和输入图像的结构表征图为输入，分别用于提取参考图像和输入图像的结构表征图的不同尺度特征；两个特征提取通道提取的相同尺度的特征通过一个差分运算层进行差分运算，得到N+1个不同尺度的差分特征；
所述第一特征融合模块包括堆叠的N个卷积
‑
反卷积块，所述卷积
‑
反卷积块用于对输入的特征做进一步特征提取后进行升采样；每个卷积
‑
反卷积块之后依次连接一个级联层和一个卷积层，卷积层的输出作为下一个卷积
‑
反卷积块或所述第一升采样模块的输入；各级联层以其前的卷积
‑
反卷积块输出的特征和相应尺度的差分特征为输入，用于对输入的特征进行特征级联；第一个卷积
‑
反卷积块以最小尺度的差分特征为输入，其余各卷积
‑
反卷积块以其前的卷积层输出的特征为输入；所述第一升采样模块用于将输入的特征升采样至与结构表征图的尺度一致，得到形变恢复的结构表征图；其中，N为正整数。4.如权利要求3所述的非刚性多模医学图像的配准模型建立方法，其特征在于，所述第二生成对抗网络GAN_ie中的生成器G_ie包括：第二特征提取通道、第二特征融合模块和第二升采样模块；所述第二特征提取通道...

【专利技术属性】
技术研发人员：张旭明，朱星星，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：