一种联合语义分割的医学图像配准方法技术

本发明专利技术属于深度学习技术在计算机视觉领域，提供了一种联合语义分割的医学图像配准方法。本发明专利技术首先构建了共享特征提取网络，提取到的特征会同时用于配准变形场和分割图的预测。在解码阶段，利用双向变形场作为桥梁，将移动图像和固定图像的特征扭曲到彼此的分割分支上，从而渐进地在多个层次上补充额外的上下文信息来实现分割。通过建立这种纠缠对应关系，分割损失可以间接地正则化配准，使其准确地投影分割的语义布局，以提升最终的配准性能。此外，设计了针对配准的位置相关计算，以更容易地从共享特征中捕获图像的空间相关性。容易地从共享特征中捕获图像的空间相关性。容易地从共享特征中捕获图像的空间相关性。

【技术实现步骤摘要】
一种联合语义分割的医学图像配准方法


[0001]本专利技术属于人工智能
，涉及到深度学习和计算机视觉内容，特别涉及到一种联合语义分割的医学图像配准方法。

技术介绍

[0002]可变形医学图像配准在临床中有许多应用，包括但不限于临床病例跟踪、手术规划导航等等。近年来，深度学习技术推动了医学图像配准的发展，学者们提出了很多基于深度学习的配准方法。由于获取大量的医学标注数据是很困难的，这些基于深度学习的配准方法往往通过无监督的形式来进行优化。虽然无监督的模式可以通过最大化图像对的相似性来训练网络，但由于缺乏来自兴趣区域(ROIs)的引导，配准性能会陷入瓶颈。此外，医疗图像的标注通常需要专业受训的人员来完成，获得大规模的数据标注是费时费力的。
[0003]联合语义分割的图像配准方法可以借助分割和配准的互补性，来解决标注数据不足的问题。具体来说，配准将移动图像的分割结果与固定图像的分割结果对齐，通过最大化对齐程度可以为配准网络提供额外的监督信息。于此同时，这种方式使未经标注的图像参与到分割网络的训练之中，提升了分割模型的泛化性。现有的模型都侧重于联合损失函数的设计，以此来实现联合学习。这些模型中，两个任务之间并没有任何明确的特征交互。众所周知，合理的交互有助于模型捕捉额外的关键特征提升网络的泛化性，此外，合理的交互可以引导网络朝着所期望的方向进行优化。移动图像和固定图像具有高度相关性，它们的语义信息是可以相互利用的。而配准中的变形场恰好能够转换移动图像和固定图像的上下文信息，转换后的信息可以为彼此的分割提供额外的语义特征，以此来提升分割性能。于此同时，这种转换操作驱动变形场从移动图像向固定图像投射语义布局，这可以提升最终的配准性能。

技术实现思路

[0004]本专利技术要解决的技术问题是：弥补当前医学图像配准精度的不足，提出一种联合语义分割的医学图像配准方法，借助极少数图像标注来大幅提升配准性能。
[0005]本专利技术首先构建了共享特征提取网络，提取到的特征会同时用于配准变形场和分割图的预测。在解码阶段，利用双向变形场作为桥梁，将移动图像和固定图像的特征warp到彼此的分割分支上，从而渐进地在多个层次上补充额外的上下文信息来实现分割。通过建立这种纠缠对应关系，分割损失可以间接地正则化配准，使其准确地投影分割的语义布局，以提升最终的配准性能。此外，设计了针对配准的位置相关计算，以更容易地从共享特征中捕获图像的空间相关性。
[0006]本专利技术的技术方案：
[0007]一种联合语义分割的医学图像配准方法，其整体网络框架由共享特征提取网络、耦合解码器和分割解码器三部分组成；其中，共享特征提取网络负责提取移动图像和固定图像的特征，提取到的特征会被输入到耦合解码器和分割解码器中；耦合解码器负责预测
变形场增量和耦合特征，其中变形场增量会逐级相加得到最终用于配准的变形场，耦合特征会被输入到分割解码器中；分割解码器负责预测移动图像和固定图像的分割结果图；具体步骤如下：
[0008]步骤(1)构建共享特征提取网络
[0009]特征提取网络采用两个参数共享的3D残差网络作为骨干，分别提取移动图像和固定图像的特征。网络的不同层会输出图像的不同尺度特征，其中第一层的特征由普通的3D卷积提取，其余层的特征分别由若干残差模块提取，最终获得4组移动图像特征图i∈[1,4]，和4组固定图像的特征图i∈[1,4]。
[0010]步骤(2)构建耦合解码器
[0011]耦合解码器由若干耦合解码模块组成，其中耦合解码模块有两个作用，首先是为分割解码器提供耦合特征，然后是负责变形场的预测。耦合解码模块与特征提取网络提取到的特征是一一对应的，且每一级耦合解码模块顺次相连。除了负责处理第4级特征(和)的第4级耦合解码模块之外，其余的耦合解码模块中有四个输入：和其中，和分别代表正、负变形场，它们是上一级耦合解码模块输出的正、负(双向)变形场经过三线性插值上采样得到的；和分别表示特征提取网络提取到的第i级移动图像和第i级固定图像的特征。
[0012]将步骤(1)获得的特征和输入到第四级耦合解码模块中，输出和将和上采样，然后和步骤(1)获得的特征一起输入到第三级耦合解码模块中，输出另一组和依次类推，直至输送至第一级耦合解码模块。除了第四级耦合解码模块之外，其余每级的耦合解码模块中，均利用上一级耦合解码模块输出的正负变形场去warp移动图像特征和固定图像特征将warp之后的特征输入到分割解码器的对应级作为耦合特征；具体地，使用来对进行warp操作，并将warp之后的特征作为互补信息输入到固定图像的分割解码器的对应级中；同样的，使用对进行warp操作，然后将得到的特征输入到移动图像的分割解码器的对应级中。
[0013]步骤(3)特征相关性计算
[0014]为了测量每个体素与其相邻体素之间的相似性，对warp之后的特征和固定图像特征逐点进行相关计算，以获得正相关性矩阵；根据正相关性矩阵，判断在当前层级上移动图像和固定图像之间的位移增量；在计算相关性矩阵的时候将位置信息嵌入到特征当中，设E为位置编码，r为位移半径，特征相关性计算公式为：
[0015][0016]其中E代表被初始化为0的可学习的特征图，x、y、Z分别
表示特征图在三个方向上的坐标索引；将特征图以半径r沿着x、y、z三个方向上逐点移动，每移动一次都会生成一维相关图，最终生成维数为(2r+1)3的相关性矩阵；
[0017]由于需要生成双向变形场，和之间也要进行相关性计算，获得逆相关性矩阵；计算方法与正相关性矩阵相同，只需将F1替换成F2替换成
[0018]步骤(4)变形场预测
[0019]在得到了正相关性矩阵和逆相关性矩阵之后，利用两个参数共享的场估计器来估计当前级的正负变形场增量，这两个场估计器均由三个残差模块组成的。具体来说，每个场估计器会分别提取它们对应相关性矩阵中的特征，并输出一个三通道的特征图，三个通道的值分别代表每一个体素在三维空间坐标系的x，y和z方向上的位移增量。得到的两个变形场增量与上一级耦合解码模块输出的正负变形场相加，得到两个新的变形场输入到下一级耦合解码模块中，以此来由粗到细地生成变形场。
[0020]步骤(5)构建分割解码器
[0021]分割解码器的每一级包含三部分的输入，分别为上一级分割解码器的输出特征、特征提取网络提取的特征和步骤(2)得到的耦合特征。将这三部分拼接后进行两次卷积操作，然后将得到的特征进行三线性上采样输入到下一级分割解码器中。其中，固定图像和移动图像的分割解码器中的权重是共享的；分割任务的类别设为N，即语义类别的总数为N，因此，最后一级的分割解码器会输出一个N通道数的特征图，将其沿着通道方向进行softmax操作，得到每一个类别在图像所有位置的概率值，每一个点均取概率值最大的类别作为该点的分割结果。利用分割结果构建联合损失函数，以此为配准提供额外的监督信息。
[0022]步骤(6)构建损失函数
[0023]损失函数由配准损失，分割损失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合语义分割的医学图像配准方法，其特征在于，整体网络框架由共享特征提取网络、耦合解码器和分割解码器三部分组成；其中，共享特征提取网络负责提取移动图像和固定图像的特征，提取到的特征会被输入到耦合解码器和分割解码器中；耦合解码器负责预测变形场增量和耦合特征，其中变形场增量会逐级相加得到最终用于配准的变形场，耦合特征会被输入到分割解码器中；分割解码器负责预测移动图像和固定图像的分割结果图；具体步骤如下：步骤(1)构建共享特征提取网络特征提取网络采用两个参数共享的3D残差网络作为骨干，分别提取移动图像和固定图像的特征；网络的不同层会输出图像的不同尺度特征，其中第一层的特征由普通的3D卷积提取，其余层的特征分别由若干残差模块提取，最终获得4组移动图像特征图和4组固定图像的特征图步骤(2)构建耦合解码器耦合解码器由若干耦合解码模块组成，其中耦合解码模块有两个作用，首先是为分割解码器提供耦合特征，然后是负责变形场的预测；耦合解码模块与特征提取网络提取到的特征是一一对应的，且每一级耦合解码模块顺次相连；除了负责处理第4级特征和的第4级耦合解码模块之外，其余的耦合解码模块中有四个输入：和其中，和分别代表正、负变形场，它们是上一级耦合解码模块输出的正、负双向变形场经过三线性插值上采样得到的；和分别表示特征提取网络提取到的第i级移动图像和第i级固定图像的特征；将步骤(1)获得的特征和输入到第四级耦合解码模块中，输出和将和上采样，然后和步骤(1)获得的特征一起输入到第三级耦合解码模块中，输出另一组和依次类推，直至输送至第一级耦合解码模块；除了第四级耦合解码模块之外，其余每级的耦合解码模块中，均利用上一级耦合解码模块输出的正负变形场去warp移动图像特征和固定图像特征将warp之后的特征输入到分割解码器的对应级作为耦合特征；具体地，使用来对进行warp操作，并将warp之后的特征作为互补信息输入到固定图像的分割解码器的对应级中；同样的，使用对进行warp操作，然后将得到的特征输入到移动图像的分割解码器的对应级中；步骤(3)特征相关性计算为了测量每个体素与其相邻体素之间的相似性，对warp之后的特征和固定图像特征逐点进行相关计算，以获得正相关性矩阵；根据正相关性矩阵，判断在当前层级上移动图像和固定图像之间的位移增量；在计算相关性矩阵的时候将位置信息嵌入到特征当中，设E为位置编码，r为位移半径，特征相关性计算公式为：
其中E代表被初始化为0的可学习的特征图，x、y、z分别表示特征图在三个方向上的坐标索引；将特征图以半径r沿着x、y、z三个方向上逐点移动，每移动一次都会生成一维相关图，最终生成维数为(2r+1)3的相关性矩阵；由于需要生成双向变形场，和之间也要进行相关性计算，获得逆相关性矩阵；计算方法与正相关性矩阵相同，只需将F1替换成替换成步骤(4)变形场预测在得到了正相关性矩阵和逆相关性矩阵之后，利用两个参数共享的场估计器来估计当前级的正负变形场增量，这两个场估计器均由三个残差模块组成的；具体来说，每个场估计器会分别提取它们对应相关性矩阵中的特征，并输出一个三通道的特征图，三个通道的值分别代表每一个体素在三维空间坐标系的x，y和z方向上的位移增量；得到的两个变形场增量与上一级耦合解码模...

【专利技术属性】
技术研发人员：张立和，谭佐蓬，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：