基于特征自校准网络的图像配准方法、装置及相关组件制造方法及图纸

本发明专利技术公开了基于特征自校准网络的图像配准方法、装置及相关组件，该方法包括：将医学图像对输入至配准空间，提取特征信息，并输出速度场；对医学图像对进行缩放处理，将医学图像对与速度场融合；利用配准空间中的特征自校准网络进行全局特征信息提取，并输出对应的全局速度场；分别对医学图像对和速度场进行分块处理，得到对应的医学图像对小块和速度场小块，然后将所述医学图像对小块和速度场小块拼接；利用配准空间中的特征自校准网络进行局部特征信息提取，并输出对应的局部速度场；将全局速度场和局部速度场融合为速度场，积分后得到位移矢量场。本发明专利技术通过对医学图像对进行全局和局部的联合训练，可以对多区域的复杂医学图像进行精细配准。图像进行精细配准。图像进行精细配准。

【技术实现步骤摘要】
基于特征自校准网络的图像配准方法、装置及相关组件


[0001]本专利技术涉及图像处理
，特别涉及基于特征自校准网络的图像配准方法、装置及相关组件。

技术介绍

[0002]将不同时刻，不同采集设备在不同条件下，如角度，位置等，获得的两幅或多幅图像进行匹配，叠加的过程称为图像配准。图像配准技术是图像处理技术中关键技术之一。(1)在传统的配准方法中，通常是为了设计能量函数最优化来解决问题，时间成本过于昂贵,所以不适用于临床应用；(2)由于计算机性能的提升，基于学习的方法引起了人们对图像配准越来越多的兴趣，这些算法以一对图像(分为固定图像和移动图像)作为输入，并使用卷积神经网络来学习图像特征，以此生成位移矢量场，通过位移矢量场对移动图像进行扭曲，使其与固定图像对齐。
[0003]当前基于学习的方法在大面积整体变形的医学图像中已经取得了很好的成绩，比如肝部或者肺部的CT扫描图像，但对于需要多区域变形配准的复杂图像，如脑部MRI扫描图像，当前基于学习的方法始终无法取得优良的配准效果。在脑部MRI扫描图像中取得最好配准结果的是拉普拉斯金字塔网络，该网络虽然实现了多区域医学图像配准中最先进的性能，但针对配准领域中两个最重要的指标
‑
配准准确性和配准有效性，也就是dice分数和雅各比分数，无法同时保证两个指标可以同时大幅度提升，所以只能使用了两个不同的网络结构分别针对两个指标进行优化。

技术实现思路

[0004]本专利技术实施例提供了一种基于特征自校准网络的图像配准方法、装置、计算机设备及存储介质，旨在对多区域的复杂医学图像进行精细配准。
[0005]第一方面，本专利技术实施例提供了一种基于特征自校准网络的图像配准方法，包括：
[0006]将经过预处理的第一医学图像对输入至第一级配准空间，利用所述第一级配准空间中的特征自校准网络提取一级特征信息，并基于所述一级特征信息输出对应的第一速度场；其中，第一医学图像对包括固定图像和移动图像；
[0007]对所述第一医学图像对进行缩放处理，得到第二医学图像对，将所述第二医学图像对与所述第一速度场在通道上拼接为二级医学图像对；
[0008]利用所述第二级配准空间中的全局配准支路的特征自校准网络对所述二级医学图像对进行二级全局特征信息提取，并基于所提取到的二级全局特征信息输出对应的第二全局速度场；
[0009]分别对所述第二医学图像对和所述第一速度场进行分块处理，得到对应的第二医学图像对小块和第一速度场小块，然后将所述第二医学图像对小块和第一速度场小块融合为二级医学图像对小块；
[0010]利用所述第二级配准空间中的局部配准支路的特征自校准网络对所述二级医学
图像对小块进行二级局部特征信息提取，并基于所提取到的二级局部特征信息输出对应的第二局部速度场小块，然后将所述第二局部速度场小块拼接为大小与所述第二医学图像对相等的第二局部速度场；
[0011]将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，并对所述第二速度场进行积分操作，得到第二形变场，然后将所述第二速度场输入至下一级配准空间，然后将第二速度场与下一级配准空间输出的下一级速度场进行融合，以此类推，直至得到最终的目标速度场，然后对所述目标速度场进行积分操作，得到用于对医学图像进行配准的位移矢量场，以此构建医学图像配准网络；
[0012]利用所述医学图像配准网络对指定的医学图像进行配准。
[0013]第二方面，本专利技术实施例提供了一种基于特征自校准网络的图像配准装置，包括：
[0014]一级提取单元，用于将经过预处理的第一医学图像对输入至第一级配准空间，利用所述第一级配准空间中的特征自校准网络提取一级特征信息，并基于所述一级特征信息输出对应的第一速度场；其中，第一医学图像对包括固定图像和移动图像；
[0015]第一缩放单元，用于对所述第一医学图像对进行缩放处理，得到第二医学图像对，将所述第二医学图像对与所述第一速度场在通道上拼接为二级医学图像对；
[0016]二级全局提取单元，用于利用所述第二级配准空间中的全局配准支路的特征自校准网络对所述二级医学图像对进行二级全局特征信息提取，并基于所提取到的二级全局特征信息输出对应的第二全局速度场；
[0017]第一分块单元，用于分别对所述第二医学图像对和所述第一速度场进行分块处理，得到对应的第二医学图像对小块和第一速度场小块，然后将所述第二医学图像对小块和第一速度场小块在通道上拼接为二级医学图像对小块；
[0018]二级局部提取单元，用于利用所述第二级配准空间中的局部配准支路的特征自校准网络对所述二级医学图像对小块进行二级局部特征信息提取，并基于所提取到的二级局部特征信息输出对应的第二局部速度场小块，然后将所述第二局部速度场小块拼接为大小与所述第二医学图像对相等的第二局部速度场；
[0019]网络构建单元，用于将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，并对所述第二速度场进行积分操作，得到第二形变场，然后将所述第二速度场输入至下一级配准空间，然后将第二速度场与下一级配准空间输出的下一级速度场进行融合，以此类推，直至得到最终的目标速度场，然后对所述目标速度场进行积分操作，得到用于对医学图像进行配准的位移矢量场，以此构建医学图像配准网络；
[0020]配准单元，用于利用所述医学图像配准网络对指定的医学图像进行配准。
[0021]第三方面，本专利技术实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于特征自校准网络的图像配准方法。
[0022]第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于特征自校准网络的图像配准方法。
[0023]本专利技术实施例提供了一种基于特征自校准网络的图像配准方法、装置及相关组件，该方法包括：将经过预处理的第一医学图像对输入至第一级配准空间，利用所述第一级
配准空间中的特征自校准网络提取一级特征信息，并基于所述一级特征信息输出对应的第一速度场；其中，第一医学图像对包括固定图像和移动图像；对所述第一医学图像对进行缩放处理，得到第二医学图像对，将所述第二医学图像对与所述第一速度场在通道上拼接为二级医学图像对；利用所述第二级配准空间中的全局配准支路的特征自校准网络对所述二级医学图像对进行二级全局特征信息提取，并基于所提取到的二级全局特征信息输出对应的第二全局速度场；分别对所述第二医学图像对和所述第一速度场进行分块处理，得到对应的第二医学图像对小块和第一速度场小块，然后将所述第二医学图像对小块和第一速度场小块在通道上拼接为二级医学图像对小块；利用所述第二级配准空间中的局部配准支路的特征自校准网络对所述二级医学图像对小块进行二级局部特征信息提取，并基于所提取到的二级局部特征信息输出对应的第二局部速本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征自校准网络的图像配准方法，其特征在于，包括：将经过预处理的第一医学图像对输入至第一级配准空间，利用所述第一级配准空间中的特征自校准网络提取一级特征信息，并基于所述一级特征信息输出对应的第一速度场，然后对所述第一速度场进行积分操作，得到第一形变场；其中，第一医学图像对包括固定图像和移动图像；对所述第一医学图像对进行缩放处理，得到第二医学图像对，将所述第二医学图像对与所述第一速度场在通道上拼接为二级医学图像对；利用所述第二级配准空间中的全局配准支路的特征自校准网络对所述二级医学图像对进行二级全局特征信息提取，并基于所提取到的二级全局特征信息输出对应的第二全局速度场；分别对所述第二医学图像对和所述第一速度场进行分块处理，得到对应的第二医学图像对小块和第一速度场小块，然后将所述第二医学图像对小块和第一速度场小块在通道上拼接为二级医学图像对小块；利用所述第二级配准空间中的局部配准支路的特征自校准网络对所述二级医学图像对小块进行二级局部特征信息提取，并基于所提取到的二级局部特征信息输出对应的第二局部速度场小块，然后将所述第二局部速度场小块拼接为大小与所述第二医学图像对相等的第二局部速度场；将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，并对所述第二速度场进行积分操作，得到第二形变场，然后将所述第二速度场输入至下一级配准空间，然后将第二速度场与下一级配准空间输出的下一级速度场进行融合，以此类推，直至得到最终的目标速度场，然后对所述目标速度场进行积分操作，得到用于对医学图像进行配准的位移矢量场，以此构建医学图像配准网络；利用所述医学图像配准网络对指定的医学图像进行配准。2.根据权利要求1所述的基于特征自校准网络的图像配准方法，其特征在于，所述利用所述第一级配准空间中的特征自校准网络提取一级特征信息，包括：利用特征编码器对所述第一医学图像对提取一级初步特征信息；通过特征自校准模块对所述一级初步特征信息提取一级深度特征信息；依次利用多个特征编码器和残差模块对所述一级深度特征信息进行融合；通过多层特征解码器对融合结果进行解码，得到所述一级特征信息。3.根据权利要求2所述的基于特征自校准网络的图像配准方法，其特征在于，所述通过特征自校准模块对所述一级初步特征信息提取一级深度特征信息，包括：利用卷积操作将所述一级初步特征信息划分两个相同的第一中间层特征和第二中间层特征；按照下式，对所述第一中间层特征分别进行三次不同程度的下采样处理，并对下采样处理结果分别进行卷积处理，然后对卷积处理结果进行上采样互补处理，得到互补特征X1”：X1”＝X1+Up(F(Avgpool(X1)r))+Up(F(Avgpool(X1)2r))式中，X1表示第一中间层特征，Avgpool(X1)r表示使用平均池化对X1进行r倍的下采样，F(
·
)表示卷积操作，Up(
·
)表示通过双线性插值法将输入上采样回初始分辨率；
按照下式，对所述互补特征和第一中间层特征进行乘积操作，得到第一目标特征X1
’
：X1
’
＝F(Relu(X1”)
·
F(X1))式中，Relu(
·
)表示Relu激活函数处理；对所述第二中间层特征进行卷积特征变换，得到第二目标特征X2
’
；按照下式，对所述第一目标特征和第二目标特征进行通道拼接，得到所述一级深度特征信息Y：Y＝Relu(F(F(Concat(X1
’
,X2
’
))))式中，Concat(～，～)表示在通道上拼接。4.根据权利要求1所述的基于特征自校准网络的图像配准方法，其特征在于，所述分别对所述第二医学图像对和所述第一速度场进行分块处理，得到对应的第二医学图像对小块和第一速度场小块，包括：预先设置多个大小相同的空白图像块，然后基于所述空白图像块，利用滑动窗口对所述第二医学图像对中的医学图像进行切片，以及对所述第一速度场进行切片，分别得到所述第二医学图像对小块和第一速度场小块。5.根据权利要求1所述的基于特征自校准网络的图像配准方法，其特征在于，所述将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，并对所述第二速度场进行积分操作，得到第二形变场，然后将所述第二速度场输入至下一级配准空间，然后将第二速度场与下一级配准空间输出的下一级速度场进行融合，以此类推，直至得到最终的目标速度场，包括：采用相加融合的方式将所述第二全局速度场和第二局部速度场以及第一速度场融合为第二速度场，然后通过积分操作得到所述第二形变场；将所述第二速度场输入至第三级配准空间，同时对所述第二医学图像对进行缩放处理，得到第三医学图像对，然...

【专利技术属性】
技术研发人员：曹文明，郑志远，
申请(专利权)人：深圳大学，
类型：发明
国别省市：