【技术实现步骤摘要】
本专利技术涉及一种医学图像配准方法，具体涉及一种基于深度学习的肝脏多模态图像配准方法。
技术介绍
1、原发性肝癌是一种多发疾病，死亡率居恶性肿瘤第二位。目前肝切除手术是肝癌首选的治疗方法，通过完整的清除肿瘤组织来达到治愈的目的。除了手术以外，其他的一些治疗包括射频消融、放疗、分子靶向治疗等。
2、这些内容与医学图像分析密切相关，其中多模态图像配准是至关重要的步骤。通过实现肝脏多模态图像的配准和融合，能够充分利用不同模态的互补信息，从而实现对肝脏病灶定位、定性、定量和定期的综合医疗诊断。当前医学领域普遍采用传统迭代配准算法，而传统方法存在配准精度低、速度慢等缺陷。快速高精度配准方法能极大的方便医生作出诊断和治疗，在未来的医学领域中有着重大的应用前景。
3、近年来，针对医学图像配准，研究者们提出许多基于深度学习的配准技术和方法，主要分为两种类型：1）运用深度学习网络来推测两幅图像之间的相似度度量；2）直接利用深度回归网络预测变换参数。其中估计相似性度量的方法仍然需要结合迭代算法，虽然配准精度更高，但配准时间长的问题没有得到改善。基于深度回归网络的方法包括全监督学习、半监督学习和无监督学习，由于全监督和半监督学习需要在训练时使用真实形变场（金标准）或分割标签，对医生来说标注这些数据也是费时费力的。基于无监督的方法则无需标注数据，直接根据输入数据生成变换参数。
4、当前主流无监督算法是单向配准网络，且在多模态领域一般先将源模态翻译成目标模态，再进行单模态配准，配准精度得到有效提升。然而，在模态形变差异
5、公开于该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现思路
1、本专利技术的目的在于解决现有利用无监督网络的单向翻译配准方法，无法同时有效利用两种模态特征信息的问题。提出一种基于深度学习的肝脏多模态图像配准方法，引入查询注意力模块以保证模态翻译时的结构一致性，同时构建循环翻译配准框架，充分利用两个模态的信息进行约束，以提高配准精度。
2、为实现上述目的，本专利技术提供一种基于深度学习的肝脏多模态图像配准方法，包括以下步骤：
3、（s1）获取配对的肝脏mri和ct三维影像数据，分别作为待配准图像和固定图像；
4、（s2）对待配准图像和固定图像进行预处理，并进行仿射预配准；
5、（s3）在上述数据处理后提取包含肝脏部位的切片，并处理成二维图像，分别指定为mri图像x和ct图像y；
6、（s4）构建基于深度学习的肝脏多模态图像配准模型，输入图像x和y以进行模型训练；
7、（s5）对于训练好的模型，利用dsc评分来作为量化配准性能优劣的指标；
8、（s6）将测试数据输入到训练好的模型中，并将配准好的二维图像整合重建成三维图像。
9、优选的是，本专利技术步骤s4中的深度学习网络，采用一个双向配准网络r和两个基于查询注意力模块的无监督翻译网络与。输入一对图像，配准网络r学习到双向形变场和。图像x经过形变场得到配准后图像，图像x经过翻译网络和形变场得到图像，图像再经过翻译网络和形变场得到图像，最后采用patchnce损失、相似性损失、循环损失、局部损失和平滑损失的组合进行优化。在学习阶段各网络联合训练，在测试时只使用配准网络。
10、优选的是，配准网络r的基础框架采用u-net，网络由一些包含跳跃连接的编码-解码器组合而成。以图像对为输入，编码器对图像降采样并提取不同尺度的特征，解码器根据学习到的特征生成可逆形变场和。采用形变场梯度的l2范数作为正则化项来使形变场光滑，计算公式为：
11、
12、式中，v表示x和y两个方向的形变位移量，为梯度计算符，为平面空间，代表任意形变场。
13、配准网络r生成两个形变场，总的平滑损失项为：
14、
15、式中r代表配准网络。
16、优选的是，整个网络包含两个翻译网络，分别为与，这两个网络结构相同，翻译方向相反。每个翻译网络包含两个组件，为编码器和解码器。编码图像并提取与形状相关的特征，解码图像并利用这些特征进行模态翻译。
17、优选的是，采用噪声对比估计框架来确保模态翻译过程的结构一致性。从翻译后图像中抽取一个patch（图块）作为查询补丁，并将翻译前图像中同一位置的patch记为正补丁，将翻译前图像中不同位置的patch记为负补丁。采用编码器和mlp（多层感知网络）将三种补丁分别映射到k维向量、和中，其中的r表示实数空间，n表示补丁数量。采用交叉熵损失来计算翻译前后patch之间的互信息，其公式为：
18、<mstyle displaystyle="true" mathcolor="#000000"><mi>l</mi><mi>(</mi><mi>q</mi><mi>,</mi><msup><mi>v</mi><mo>+</mo></msup><mi>,</mi><msup><mi>v</mi><mi>−</mi></msup><mi>)</mi><mi>=−</mi><mi>log[</mi><mfrac><mrow><mi>exp(</mi><mi>q</mi><mi>⋅</mi><msup><mi>v</mi><mo>+</mo></msup><mi>/</mi><mi>τ</mi><mi>)</mi></mrow><mrow><mi>exp(</mi><mi>q</mi><mi>⋅</mi><msup><mi>v</mi><mo>+</mo></msup><mi>/</mi><mi>τ</mi><mi>)</mi><mo>+</mo><mstyle displayst本文档来自技高网...
【技术保护点】
1.一种基于深度学习的肝脏多模态图像配准方法，其特征在于包括以下步骤：
2.根据权利要求1所述的基于深度学习的肝脏多模态图像配准方法，其特征在于上述步骤S4: 构建基于深度学习的肝脏多模态图像配准模型，输入图像x和y以进行模型训练；其中的深度学习网络，采用一个双向配准网络R和两个基于查询注意力模块的无监督翻译网络与；输入一对图像，配准网络R学习生成双向形变场和；图像x经过形变场得到配准后图像，图像x经过翻译网络和形变场得到图像，图像再经过翻译网络和形变场得到图像，最后采用PatchNCE损失、相似性损失、循环损失、局部损失和平滑损失的组合进行优化。
3.根据权利要求2所述的基于深度学习的肝脏多模态图像配准方法，其特征在于配准网络R的基础框架采用U-Net，以图像对为输入，编码器对图像降采样并提取不同尺度的特征，解码器根据学习到的特征生成可逆形变场和；采用形变场梯度的L2范数作为正则化项来使形变场光滑，正则化项计算公式为：
4.根据权利要求3所述的基于深度学习的肝脏多模态图像配准方法，其特征在于整个网络包含两个翻译网络，分别为与，这两个网络结构相
5.根据权利要求4所述的基于深度学习的肝脏多模态图像配准方法，其特征在于，为了使网络进行纹理转换，以及保持形变场的可逆性，采用循环损失来进行约束，计算公式为：
6.根据权利要求5所述的基于深度学习的肝脏多模态图像配准方法，其特征在于采用模态独立邻域描述符MIND来构建每个像素周围的结构信息，以保持局部一致性；定义为一对图像块的相似距离，即两个图块之差的平方，其计算公式为：
7.根据权利要求6所述的基于深度学习的肝脏多模态图像配准方法，其特征在于整个网络的总体损失定义为：
8.根据权利要求7所述的基于深度学习的肝脏多模态图像配准方法，其特征在于上述步骤S5：对于训练好的模型，利用DSC评分来作为量化配准性能优劣的指标；其中DSC评分计算公式为：
...【技术特征摘要】
1.一种基于深度学习的肝脏多模态图像配准方法，其特征在于包括以下步骤：
2.根据权利要求1所述的基于深度学习的肝脏多模态图像配准方法，其特征在于上述步骤s4: 构建基于深度学习的肝脏多模态图像配准模型，输入图像x和y以进行模型训练；其中的深度学习网络，采用一个双向配准网络r和两个基于查询注意力模块的无监督翻译网络与；输入一对图像，配准网络r学习生成双向形变场和；图像x经过形变场得到配准后图像，图像x经过翻译网络和形变场得到图像，图像再经过翻译网络和形变场得到图像，最后采用patchnce损失、相似性损失、循环损失、局部损失和平滑损失的组合进行优化。
3.根据权利要求2所述的基于深度学习的肝脏多模态图像配准方法，其特征在于配准网络r的基础框架采用u-net，以图像对为输入，编码器对图像降采样并提取不同尺度的特征，解码器根据学习到的特征生成可逆形变场和；采用形变场梯度的l2范数作为正则化项来使形变场光滑，正则化项计算公式为：
4.根据权利要求3所述的基于深度学习的肝脏多模态图像配准方法，其特征在于整个网络包含两个翻译网络，分别为与，这两个网络结构相同，翻译方向相反；每个翻译网络包含两个组件，为编码器和解码器；编码图像并提取与形状相关的特征...
【专利技术属性】
技术研发人员：王学渊，曾辉清，胥学金，王粤洋，黄臣伟，陶禹川，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。