一种基于迭代式自监督的三维生物医学图像配准方法技术

本发明专利技术涉及一种基于迭代式自监督的三维生物医学图像配准方法，与现有技术相比解决了无监督深度学习配准算法one‑shot训练策略训练出模型应用精度受限的缺陷。本发明专利技术包括以下步骤：三维生物医学图像数据集的获取和预处理；配准深度模型的构建；配准深度模型的训练；待配准图像的获取；待配准图像的预处理；三维生物医学图像配准结果的获得。本发明专利技术通过网络训练动态产生迭代式自监督信息并利用其对选取的每对图像进行多次迭代监督训练，以多次利用图像对在不同迭代阶段的差异信息获得更加精确的形变场，简单、高效地提升了现有无监督生物医学图像配准网络的配准精度。

【技术实现步骤摘要】
一种基于迭代式自监督的三维生物医学图像配准方法
本专利技术涉及医学图像处理
，具体来说是一种基于迭代式自监督的三维生物医学图像配准方法。
技术介绍
近现代以来，医学影像技术所提供的解剖信息和病理信息在临床辅助诊断中的应用日益普遍并取得良好效果。由于生物医学图像的多模态、复杂以及非连续特性，我们通常需要对生物医学影像进行配准以为医生提供更为全面直观的解剖及病理信息。简而言之，图像配准目的在于比较和融合在不同时间、不同视角或不同成像设备所所获得图像提供的亮度、结构信息。更具体地说，图像配准旨在寻找两幅图像之间的空间对应关系将一幅图像映射到另一幅。目前生物医学图像配准算法可分为两大类：传统配准算法和基于深度学习的算法。传统生物医学图像配准算法尽管能取得较好的配准效果，但耗时的迭代优化过程决定了其不具有临床实时应用特性。2016年以来，随着深度学习在计算机视觉领域取得广泛应用，基于深度学习的生物医学图像配准算法的研究成为一个热门、有重要实践价值的方向。但是，目前深度学习配准算法也存在一些问题：首先，医学图像的标注通常需要医学图像分析专家来完成，因此其标注成本太高，导致有监督的训练方法受限，目前主流的研究都集中在无监督方法上；更重要的是，深度图像配准尽管处理速度快，但是在精度上很难达到传统算法的水平。尽管无监督深度配准算法取得较好效果已成为研究主流方向，但是其存在一个普遍的问题：如图2所示，现有的方法在训练过程中只利用原始输入图像对的差异信息引导网络训练，这种one-shot方法难以学习图像间的复杂形变，这就造成此类算法的精度表现不及传统基于迭代的算法。虽然级联网络能有效地处理复杂形变，但是需要耗费大量的GPU资源同时训练时间也较长。因此，如何解决现有one-shot训练存在的问题，提升无监督深度模型的配准精度成为急需解决的技术问题。
技术实现思路
本专利技术的目的是为了解决现有技术中无监督深度学习配准算法one-shot训练策略训练出模型应用精度受限的缺陷，提供一种基于迭代式自监督的三维生物医学图像配准方法来解决上述问题。为了实现上述目的，本专利技术的技术方案如下：一种基于迭代式自监督的三维生物医学图像配准方法，包括以下步骤：11)三维生物医学图像数据集的获取和预处理：获取单模态三维生物医学图像数据集，进行仿射预配准后作为训练集；12)配准深度模型的构建：设计搭建卷积神经网络模型，提供网络训练所需的损失函数以及设置迭代次数；13)配准深度模型的训练：引入迭代式自监督信息，结合训练集对配准深度模型进行训练；14)待配准图像的获取：获取两幅待配准图像，其中一幅作为固定图像，另一幅作为浮动图像，目标为将浮动图像配准到固定图像上；15)待配准图像的预处理：对两幅待配准图像进行仿射对齐预处理；16)三维生物医学图像配准结果的获得：将预处理后的待配准图像输入训练后的配准深度模型，每对图像在调用的模型中迭代n_iter次，得到配准后的结果。所述配准深度模型的构建包括以下步骤：21)设定卷积神经网络模型的基础网络为U-Net架构，卷积神经网络的输入为三个通道三维图像拼接而成；22)设定卷积神经网络的输出为与输入相同维度和大小的特征图或矢量位移场，表征图像对之间的映射关系；23)设定卷积神经网络的损失函数为相似性损失Lsim和矢量位移场平滑度约束损失Lsmo，总的损失函数如下：Ltotal＝Lsim+λLsmo，其中，λ为权重系数；24)设定超参数迭代次数n_iter为每对图像的最大迭代训练次数；25)针对Lsmo设定一种平滑度约束变换方法，其表达式如下：其中，λmax和λmin为超参数分别表示最大和最小的权重系数，iter为每对图像的当前迭代训练次数；26)应用平滑度约束变换方法后，将总的损失函数设计如下：Ltotal＝Lsim+λiterLsmo。所述配准深度模型的训练包括以下步骤：31)在配准深度模型的输入固定图像、浮动图像，在此基础上输入迭代式自监督信息；32)引入迭代式自监督信息进行网络动态反馈训练：321)给定一对待训练图像对，迭代式自监督信息d设置为网络当前固定图像f与网络上一步训练得到的配准后图像w的逐像素差值，即：diter＝f-witer-1其中，iter为当前的迭代次数；322)给定一对待训练图像对，初始化迭代式自监督信息，即第一次迭代训练为与单张图像维度大小相同的全0数组；33)随机选取训练集中两张图片，一幅作为固定f图像，一幅作为浮动m图像；34)初始化迭代式自监督信息d为与f相同维度和大小的全零数组，记为d1；35)将f，m，d1拼接送入构建好的配准深度模型中进行前向传播得到形变场φ，通过空间插值得到配准后图像w，并计算相应损失函数进行梯度回传更新完成第一次训练；36)当1<iter<＝n_iter时，第iter次训练送入网络的为f、m、diter；其中，diter按照步骤32)所述设置，训练方式与步骤35)相同；37)当选取的图像完成n_iter次训练之后，重新随机选取另外一对图像重复以上操作，直到配准深度模型训练成功。有益效果本专利技术的一种基于迭代式自监督的三维生物医学图像配准方法，与现有技术相比通过网络训练动态产生迭代式自监督信息并利用其对选取的每对图像进行多次迭代监督训练，以多次利用图像对在不同迭代阶段的差异信息获得更加精确的形变场，简单、高效地提升了现有无监督生物医学图像配准网络的配准精度。同时，本专利技术为使网络获得更加精确的形变场，在网络动态迭代训练中引入逐步放松平滑度约束的方法。附图说明图1为本专利技术的方法顺序图；图2为现有经典无监督深度学习图像配准网络框架图；图3为本专利技术所实现的迭代式自监督深度学习图像配准框架图；图4a为选取的一张人脑三维MRI影像切片，作为fixed图像；图4b为选取的一张人脑三维MRI影像切片，作为moving图像；图4c为使用传统图像配准工具ANTs将图4b配准到图4a的结果图；图4d为使用深度配准算法VoxelMorph将图4b配准到图4a的结果图；图4e为使用本专利技术方法将图4b配准到图4a的结果图；图5a为选取的一张鼠脑三维MRI影像切片，作为fixed图；图5b为选取的一张鼠脑三维MRI影像切片，作为moving图；图5c为使用传统图像配准工具ANTs将图5b配准到图5a的结果图；图5d为使用深度配准算法VoxelMorph将图5b配准到图5a的结果图；图5e为使用本专利技术方法将图5b配准到图5a的结果图。具体实施方式为使对本专利技术的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：如图1所示，本专利技术所本文档来自技高网...

【技术保护点】
1.一种基于迭代式自监督的三维生物医学图像配准方法，其特征在于，包括以下步骤：/n11)三维生物医学图像数据集的获取和预处理：获取单模态三维生物医学图像数据集，进行仿射预配准后作为训练集；/n12)配准深度模型的构建：设计搭建卷积神经网络模型，提供网络训练所需的损失函数以及设置迭代次数；/n13)配准深度模型的训练：引入迭代式自监督信息，结合训练集对配准深度模型进行训练；/n14)待配准图像的获取：获取两幅待配准图像，其中一幅作为固定图像，另一幅作为浮动图像，目标为将浮动图像配准到固定图像上；/n15)待配准图像的预处理：对两幅待配准图像进行仿射对齐预处理；/n16)三维生物医学图像配准结果的获得：将预处理后的待配准图像输入训练后的配准深度模型，每对图像在调用的模型中迭代n_iter次，得到配准后的结果。/n

【技术特征摘要】
1.一种基于迭代式自监督的三维生物医学图像配准方法，其特征在于，包括以下步骤：
11)三维生物医学图像数据集的获取和预处理：获取单模态三维生物医学图像数据集，进行仿射预配准后作为训练集；
12)配准深度模型的构建：设计搭建卷积神经网络模型，提供网络训练所需的损失函数以及设置迭代次数；
13)配准深度模型的训练：引入迭代式自监督信息，结合训练集对配准深度模型进行训练；
14)待配准图像的获取：获取两幅待配准图像，其中一幅作为固定图像，另一幅作为浮动图像，目标为将浮动图像配准到固定图像上；
15)待配准图像的预处理：对两幅待配准图像进行仿射对齐预处理；
16)三维生物医学图像配准结果的获得：将预处理后的待配准图像输入训练后的配准深度模型，每对图像在调用的模型中迭代n_iter次，得到配准后的结果。


2.根据权利要求1所述的一种基于迭代式自监督的三维生物医学图像配准方法，其特征在于，所述配准深度模型的构建包括以下步骤：
21)设定卷积神经网络模型的基础网络为U-Net架构，卷积神经网络的输入为三个通道三维图像拼接而成；
22)设定卷积神经网络的输出为与输入相同维度和大小的特征图或矢量位移场，表征图像对之间的映射关系；
23)设定卷积神经网络的损失函数为相似性损失Lsim和矢量位移场平滑度约束损失Lsmo，总的损失函数如下：
Ltotal＝Lsim+λLsmo，
其中，λ为权重系数；
24)设定超参数迭代次数n_iter为每对图像的最大迭代训练次数；
25)针对Lsmo设定一种平滑度约束变换方法，其表达式如下：


...

【专利技术属性】
技术研发人员：屈磊，杨健，吴军，刘伟，陈博，王莜圃，王梦，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽;34