一种基于深度学习的医学图像配准方法技术

一种基于深度学习的医学图像配准方法，包括：将浮动图像和固定图像传入网络模型，生成变形场；用变形场对浮动图像进行插值变换得到变形图像；利用固定图像、变形图像和变形场计算损失函数；基于损失函数和优化方法对网络参数进行训练，训练好网络模型后保存网络参数；将新的一组浮动图像和固定图像传入网络模型，调用训练后的网络参数得到变形场，并对浮动图像进行变换得到配准后的变形图像。本发明专利技术可以提高非刚体配准的准确度和速度。提高非刚体配准的准确度和速度。提高非刚体配准的准确度和速度。

【技术实现步骤摘要】
一种基于深度学习的医学图像配准方法


[0001]本专利技术涉及医学图像配准
，特别是涉及一种基于深度学习的医学图像配准方法。

技术介绍

[0002]随着医学图像处理技术的快速发展，基于患者个体化医学图像的计算机辅助诊断和治疗技术越来越成熟。其中，医学图像配准在许多医学图像辅助诊断和治疗中起到关键作用。
[0003]目前医学图像配准技术可以分为基于迭代优化的配准技术和基于深度学习的配准技术。基于迭代优化的配准技术将配准问题视为寻找最优解的问题，以两张图像的相似度作为损失函数，结合一种优化策略寻找最佳的配准参数或变形场。基于深度学习的配准技术，大多搭建一个神经网络模型，依靠大量真实的医学图像数据进行训练，使模型具备一次正向计算即可得到配准参数或变形场的能力。
[0004]迭代优化的配准算法，往往需要提前给出一个比较好的初始解，否则很容易陷入局部最优点，无法搜寻到全局最优点。此外该方法需要迭代优化，每次迭代都需要计算两张图像的相似度，需要大量计算资源，非常耗时。深度学习的训练需要大量图像数据和人工标注的结果，非常耗费人力资源，并且以往的深度学习配准技术的配准精度不高，且无法用于图像大小不一致的一组图像。

技术实现思路

[0005]本专利技术要克服现有技术的上述缺点，提供一种基于深度学习的医学图像配准方法，以实现两张医学图像的快速、精准配准。具体技术方案如下：
[0006]本专利技术实施例提供了一种基于深度学习的医学图像配准方法，所述方法包括：
[0007]S1获得一组医学图像，一张为固定图像，另一张为浮动图像；两张图像可以是同一模态的医学图像，也可以是不同模态的医学图像，两张图像的大小可以不相同；
[0008]S2固定图像和浮动图像送入网络模型，浮动图像传入一个级联的卷积网络，固定图像传入另一个级联的卷积网络，每条管道包含三个卷积网络，分别提取两张图像的高维特征；然后将两组高维特征合并和重组后输入变压器网络(transformer)，输出的特征再输入另一个卷积网络，输出变形场；
[0009]S3用变形场对浮动图像进行样条插值变换得到变形图像；
[0010]S4先用固定图像和变形图像计算相似度，再用变形场计算正则项，相似度和正则项的线性组合形成损失函数；
[0011]S5对每组图像的损失函数计算梯度，并对梯度进行平滑处理，再反向传播到各级网络的参数中，更新网络参数，对整个网络模型进行训练，完成网络模型的训练后，保存网络模型和训练后的网络参数；
[0012]S6将新的一组浮动图像和固定图像传入网络模型，使用训练后的网络参数生成变
形场，并基于变形场对浮动图像进行样条插值变换，得到配准后的变形图像。
[0013]本专利技术的一个实施例中，步骤s1中所述固定图像和浮动图像可以是三维图像，两张图像大小相等，对应的变形场为三维三通道矩阵，变形场的长宽高与固定图像和浮动图像相等。
[0014]本专利技术的一个实施例中，步骤s1中所述固定图像和浮动图像可以是二维图像，两张图像大小不相等，对应的变形场为二维两通道矩阵，变形场的长宽与浮动图像的长宽相等。
[0015]本专利技术的一个实施例中，步骤s2中所述网络模型可以包括六个卷积网络、一个变压器网络、两个全连接网络和一个输出层；所述固定图像传入三个卷积网络级联的管道，所述浮动图像传入另外三个卷积网络级联的管道；两个管道输出的特征经过合并和重组后输入变压器网络进一步提取具有自注意力的高维特征，然后再将特征输入两个全连接和一个输出层；输出层为一维向量具有12个参数，分别表示仿射变换中的3个平移量、3个旋转量、3个剪切量和3个尺度量，最后由所述参数计算生成变形场。
[0016]本专利技术的一个实施例中，步骤s2中所述网络模型可以包括九个卷积网络、四个卷积上采样网络、一个变压器网络；所述固定图像传入三个卷积网络级联的管道，所述浮动图像传入另外三个卷积网络级联的管道；两个管道输出的特征经过合并和重组后输入变压器网络；输出的特征再经过重组后，输入两个级联的卷积网络进一步提取合并后的特征，再往后连接四个级联的卷积上采样网络，每一个上采样网络和之前相同维度的一对卷积网络跳跃连接，合并之前的低维特征；最后再接一个卷积网络获得一个与浮动图像尺寸相同的变形场。
[0017]本专利技术的一个实施例中，步骤S3中所述样条插值变换优选B样条插值变换，作为替代可以是薄板样条插值变换、三次样条插值变换或线性插值变换等。
[0018]本专利技术的一个实施例中，步骤S4中所述相似度优选互相关函数，所述正则项优选变形场的扩散函数，公式如下：
[0019][0020][0021]其中，CC(F,M(φ))表示固定图像F和变形图像M(φ)间的互相关函数，M为浮动图像，φ为变形场，F^(p)和M^((φ(p))分别表示固定图像的像素平均值和变形图像的像素平均值，L(φ)为正则项。完整的损失函数可表示为
[0022]L(F,M,φ)＝
‑
CC(F,M(φ))+λL(φ)
ꢀꢀꢀ
(3)
[0023]其中，λ为正则化参数。
[0024]本专利技术的一个实施例中，步骤S6所述新的一组浮动图像和固定图像传入网络模型，模型会调用所述训练后的网络参数生成变形场，并用所述变形场对浮动图像进行插值变换得到配准后的变形图像。
[0025]由以上可见，采用本专利技术实施例提供的方案进行医学图像配准时，可以对两张不同模态、不同尺寸的二维或三维医学图像进行非刚体配准，无需额外的处理步骤。并且所述方案采用非监督学习的方式对网络进行训练，无需大量耗费人力的标注工作，使得所述方
案更加容易进入实际应用，减轻训练数据的准备工作。另一方面，在损失函数中加入了变形场的正则项，保证了原有图像中器官的拓扑结构不发生改变，也维持了变形场的光滑性，因此配准后的变形图像会更加精确。
[0026]此外，本专利技术在完成网络的训练之后，在配准环节无需初始解、无需反复的迭代计算，一次正向运算即可得出配准后的变形图像，极大缩短了配准时间。
[0027]当然，实施本专利技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。
[0028]本专利技术的优点是：能实现医学图像的快速、精准配准。
附图说明
[0029]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
[0030]图1为本专利技术实施例提供的一种基于深度学习的医学图像配准的方法流程示意图；
[0031]图2为本专利技术实施例提供的第一种基于深度学习的配准模型的示意图；
[0032]图3为本专利技术实施例提供的第二种基于深度学习的配准模型的示意图；
[0033]图4为本专利技术实施例提供的一种变压器网络的结构示意图；
[0034]图5为本专利技术实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的医学图像配准方法，其特征在于，包括如下后：S1获得一组医学图像，一张为固定图像，另一张为浮动图像；S2固定图像和浮动图像送入网络模型，浮动图像传入一个级联的卷积网络，固定图像传入另一个级联的卷积网络，每条管道包含三个卷积网络，分别提取两张图像的高维特征；然后将两组高维特征合并和重组后输入变压器网络(transformer)，输出的特征再输入另一个卷积网络，输出变形场；S3用变形场对浮动图像进行样条插值变换得到变形图像；S4先用固定图像和变形图像计算相似度，再用变形场计算正则项，相似度和正则项的线性组合形成损失函数；S5对每组图像的损失函数计算梯度，并对梯度进行平滑处理，再反向传播到各级网络的参数中，更新网络参数，对整个网络模型进行训练，完成网络模型的训练后，保存网络模型和训练后的网络参数；S6将新的一组浮动图像和固定图像传入网络模型，使用训练后的网络参数生成变形场，并基于变形场对浮动图像进行样条插值变换，得到配准后的变形图像。2.根据权利要求1所述的方法，其特征在于，步骤s1中所述固定图像和浮动图像是三维图像，两张图像大小相等，对应的变形场为三维三通道矩阵，变形场的长宽高与固定图像和浮动图像相等。3.根据权利要求1所述的方法，其特征在于，步骤s1中所述固定图像和浮动图像是二维图像，两张图像大小不相等，对应的变形场为二维两通道矩阵，变形场的长宽与浮动图像的长宽相等。4.根据权利要求1所述的方法，其特征在于，步骤s2中所述网络模型包括六个卷积网络、一个变压器网络、两个全连接网络和一个输出层；所述固定图像传入三个卷积网络级联的管道，所述浮动图像传入另外三个卷积网络级联的管道；两个管道输出的特征经过合并和重组后输入变压器网络进一步提取具有自注意力的高维特征，然后再将特征输入两个全连接和一个输出层；输出层为一维向量具有12个参数，分别表示仿射变换中的3个平移量、3个旋转量、3个剪切量和3个尺度量，最后由所述参数计...

【专利技术属性】
技术研发人员：卜佳俊，徐琦，张微，顾静军，
申请(专利权)人：浙江大学，
类型：发明
国别省市：