基于上下文驱动的金字塔结构无监督配准系统及方法技术方案

一种基于上下文驱动的金字塔结构无监督配准系统及方法，包括：两个分别用于接收参考图像和待配准图像且共享权重的多分辨率金字塔模块、变形场估计模块、优化模块、变形场正则化模块以及配准模块，其中：变形场估计模块根据参考图像、待配准图像、上一级估计的变形场、上一级生成的多角度语义信息，在不同分辨率下分别对变形场进行估计，并生成变形场和多角度语义信息；优化模块将估计得到的变形场调整至与原始图像的分辨率一致；变形场正则化模块通过变形场正则化模型对变形场的折叠区域进行局部高斯平滑滤波，从而降低变形场的折叠率并输出最终变形场，配准模块根据最终变形场进行特征映射得到配准后图像。特征映射得到配准后图像。特征映射得到配准后图像。

【技术实现步骤摘要】
基于上下文驱动的金字塔结构无监督配准系统及方法


[0001]本专利技术涉及的是一种图像处理领域的技术，具体是一种基于上下文驱动的三维多分辨率金字塔结构无监督配准系统及方法。

技术介绍

[0002]现有无监督医学图像配准方法在处理具有大位移和复杂形变的图像，难以在配准精度和解剖结构保留两方面实现较好的平衡。

技术实现思路

[0003]本专利技术针对现有技术存在的上述不足，提出一种基于上下文驱动的金字塔结构无监督配准系统及方法，针对三维医学图像配准的大位移、复杂形变的特点，通过深度学习网络，根据参考图像和待配准图像，输出变形场，并根据变形场对待配准图像进行特征映射，得到最终的配准后图像，过程全自动化，有望在无需人工成本的情况下实现实时配准，为医学分析工作提供帮助。
[0004]本专利技术是通过以下技术方案实现的：
[0005]本专利技术涉及一种基于上下文驱动的金字塔结构无监督配准系统，包括：两个分别用于接收参考图像和待配准图像且共享权重的多分辨率金字塔模块、变形场估计模块、优化模块、变形场正则化模块以及插值变换模块，其中：变形场估计模块根据参考图像、待配准图像、上一级估计的变形场、上一级生成的多角度语义信息，在不同分辨率下分别对变形场进行估计，并生成变形场和多角度语义信息；优化模块将估计得到的变形场调整至与原始图像的分辨率一致；变形场正则化模块通过变形场正则化模型对变形场的折叠区域进行局部高斯平滑滤波，从而降低变形场的折叠率并输出最终变形场，插值变换模块根据最终变形场对待配准图像进行特征映射从而得到配准后图像。
[0006]本专利技术涉及一种基于上述系统的无监督配准方法，以迭代训练的方式不断更新网络参数，并通过多感受野自相关处理、多角度语义提取和变形场正则化处理提升网络的配准精度的同时有效保留图像的拓扑结构，根据预测的变形场对待配准图像进行特征映射，得到最终的配准后图像。
附图说明
[0007]图1为本专利技术整体示意图；
[0008]图2为变形场估计模块工作流程图；
[0009]图3为多感受野自相关模块示意图；
[0010]图4为变形场正则化演示示意图；
[0011]图中：a为正则化之前，b为正则化之后；
[0012]图5为无正则化模块/有正则化模块下的训练损失函数曲线示意图；
[0013]图6为实施例中不同方法配准肝脏CT图像的可视化结果；
[0014]图7为实施例中不同方法配准脑部MR图像的可视化结果。
具体实施方式
[0015]如图1所示，为本实施例涉及一种基于上下文驱动的金字塔结构无监督配准系统，包括：两个分别用于接收参考图像F和待配准图像M的多分辨率金字塔模块、变形场估计模块、优化模块、变形场正则化模块以及插值变换模块，其中：两个多分辨率金字塔模块之间共享权重，变形场估计模块根据参考图像F
i
、待配准图像M
i
、上一级估计的变形场φ
i
‑1、上一级生成的多角度语义信息c
i
‑1，在不同分辨率下分别对变形场进行估计，并生成变形场φ
i
和多角度语义信息c
i
；优化模块将最终的变形场与原始图像的分辨率保持一致；变形场正则化模块通过变形场正则化模型对变形场的折叠区域进行局部高斯平滑滤波，从而降低变形场的折叠率并输出最终变形场φ，插值变换模块根据最终变形场φ对待配准图像M进行特征映射从而得到配准后图像R。
[0016]如图1所示，所述的两个多分辨率金字塔模块分别为：四级特征金字塔F
i
和M
i
，其每一级均包括一个卷积层和一个LeakyReLU层，每一级的通道数从高分辨率到低分辨率依次为4、8、16、16，其中：i＝1，2，3，4，卷积核尺寸为3，步长为2。
[0017]如图2所示，所述的变形场估计模块包括：特征映射(FeatureWarping)单元、多感受野自相关(MRF
‑
CM)单元、多角度语义提取(MV
‑
CEM)单元和残差变形场估计(RDFEM)单元，其中：特征映射单元将多分辨率金字塔模块输出的待配准图像特征M
i
进行两倍上采样后的φ
i
‑1扭曲处理，得到扭曲后的特征多感受野自相关单元计算扭曲后的特征与参考图像F
i
之间的相关图d
i
；残差变形场估计单元根据多感受野自相关单元的输出d
i
、上一级估计的变形场φ
i
‑1和上一级生成的多角度语义信息c
i
‑1预测出残差变形场后，对残差变形场进行两倍上采样，获得变形场φ
i
，多角度语义提取单元根据变形场φ
i
、上一级生成的多角度语义信息c
i
‑1以及多感受野自相关单元的输出d
i
生成多角度语义信息c
i
。
[0018]所述的特征映射单元，使用两倍上采样后的φ
i
‑1对待配准图像M
i
进行映射来减少待配准图像M
i
和参考图像F
i
之间的错位面积，具体为：其中：ο表示扭曲运算，up2表示上采样操作。
[0019]本实施例采用卷积核尺寸为4，步长为2的转置卷积层进行上采样操作。
[0020]所述的特征映射单元将待配准图像M
i
和参考图像F
i
之间变得更加接近，在每一分辨率下变形场估计模块需要估计的仅仅只是一个残差变形场，因此变形场的估计过程变得更加容易，这对于估计复杂变形场具有很大的促进作用。
[0021]如图3所示，所述的多感受野自相关单元包括
①
、
②
、
③
、
④
四条分支，其中：第
①
条分支由1个1
×1×
1的卷积层和2个3
×3×
3的卷积层构成，第
②
条分支由1个1
×1×
1的卷积层和1个3
×3×
3的卷积层构成，第
③
条分支由1个1
×1×
1的卷积层构成，第
④
条分支由1个池化层和1个3
×3×
3的卷积层构成；多感受野自相关单元的输出d
i
为四条分支的结果的拼接，通过多感受野自相关单元有效利用网络的全局信息和局部信息，使医学图像整体配准更准确合理的同时促进局部结构的有效配准。
[0022]所述的多感受野自相关单元中1
×1×
1的卷积层用于对两个输入(F
i
和)进行融合，3
×3×
3的卷积层用于扩大感受野区域。
[0023]所述的多感受野自相关单元中四条分支的卷积层的分辨率的通道数量分别为16、32、64、128。
...

【技术保护点】

【技术特征摘要】
1.一种基于上下文驱动的金字塔结构无监督配准系统，其特征在于，包括：两个分别用于接收参考图像和待配准图像且共享权重的多分辨率金字塔模块、变形场估计模块、优化模块、变形场正则化模块以及插值变换模块，其中：变形场估计模块根据参考图像、待配准图像、上一级估计的变形场、上一级生成的多角度语义信息，在不同分辨率下分别对变形场进行估计，并生成变形场和多角度语义信息；优化模块将估计得到的变形场调整至与原始图像的分辨率一致；变形场正则化模块通过变形场正则化模型对变形场的折叠区域进行局部高斯平滑滤波，从而降低变形场的折叠率并输出最终变形场，插值变换模块根据最终变形场对待参考图像进行特征映射从而得到配准后图像。2.根据权利要求1所述的基于上下文驱动的金字塔结构无监督配准系统，其特征是，所述的变形场估计模块包括：特征映射单元、多感受野自相关单元、多角度语义提取单元和残差变形场估计单元，其中：特征映射单元将多分辨率金字塔模块输出的待配准图像特征M
i
进行两倍上采样后的φ
i
‑1扭曲处理，得到扭曲后的特征多感受野自相关单元计算扭曲后的特征与参考图像F
i
之间的相关图d
i
；残差变形场估计单元根据多感受野自相关单元的输出d
i
、上一级估计的变形场φ
i
‑1和上一级生成的多角度语义信息c
i
‑1预测出残差变形场后，对残差变形场进行两倍上采样，获得变形场φ
i
，多角度语义提取单元根据变形场φ
i
、上一级生成的多角度语义信息c
i
‑1以及多感受野自相关单元的输出d
i
生成多角度语义信息c
i
。3.根据权利要求2所述的基于上下文驱动的金字塔结构无监督配准系统，其特征是，所述的多感受野自相关单元包括
①
、
②
、
③
、
④
四条分支，其中：第
①
条分支由1个1
×1×
1的卷积层和2个3
×3×
3的卷积层构成，第
②
条分支由1个1
×1×
1的卷积层和1个3
×3×
3的卷积层构成，第
③
条分支由1个1
×1×
1的卷积层构成，第
...

【专利技术属性】
技术研发人员：郭翌，王鹏，汪源源，梁舒煜，黄鹏，李明山，
申请(专利权)人：复旦大学，
类型：发明
国别省市：