图像配准方法及相关装置、电子设备、存储介质制造方法及图纸

本申请公开了一种图像配准方法及相关装置、电子设备、存储介质，其中，图像配准方法包括：对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图；融合第一特征图和第二特征图，得到速度场；分别对第一特征图和第二特征图进行解码，得到新的第一特征图和新的第二特征图；利用已得到的速度场，对新的第一特征图和新的第二特征图进行融合，以再次得到速度场；基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数。上述方案，能够提高图像配准精度，具体可以应用于对医学图像进行配准，以提高医学图像的配准精度。配准精度。配准精度。

【技术实现步骤摘要】
图像配准方法及相关装置、电子设备、存储介质


[0001]本申请涉及图像处理
，特别是涉及一种图像配准方法及相关装置、电子设备、存储介质。

技术介绍

[0002]图像配准是图像处理研究领域中的重要一环，其目的在于比较或融合针对同一对象在不同条件下获取的图像。目前，图像配准在计算机视觉、医学图像处理、遥感等诸多领域得到了广泛的应用。
[0003]然而，现有的图像配准方式配准精度较低，导致其应用效果较差。故此，如何提高图像配准精度成为极具研究价值的课题。

技术实现思路

[0004]本申请提供一种图像配准方法及相关装置、电子设备、存储介质。
[0005]本申请第一方面提供了一种图像配准方法，包括：对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图；融合第一特征图和第二特征图，得到速度场；分别对第一特征图和第二特征图进行解码，得到新的第一特征图和新的第二特征图；其中，新的第一特征图的分辨率不同于本次解码前的第一特征图的分辨率，且新的第二特征图的分辨率不同于本次解码前的第二特征图的分辨率；利用已得到的速度场，对新的第一特征图和新的第二特征图进行融合，以再次得到速度场；基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数。
[0006]因此，通过对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图，从而融合第一特征图和第二特征图，得到速度场，并分别对第一特征图和第二特征图进行解码，得到新的第一特征图和第二特征图，且新的第一特征图的分辨率不同于本次解码前的第一特征图的分辨率，新的第二特征图的分辨率不同于本次解码前的第二特征图的分辨率，进而利用已得到速度场，对新的第一特征图和新的第二特征图进行融合，以再次得到速度场，并基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数。故此，通过在多个阶段分别融合不同分辨率的特征图，能够得到不同尺度的速度场，从而能够基于不同尺度的速度场，提高配准参数的精度，进而有利于提高配准精度。此外，由于在多个阶段分别得到不同尺度的速度场，从而能够有利于得到用于将第一图像正向地配准至第二图像的配准参数，也能够有利于得到用于将第二图像反向地配准至第一图像的配准参数，进而能够有利于满足微分同胚。
[0007]其中，对第一图像进行编码，得到第一特征图，或者，对第二图像进行编码，得到第二特征图，包括：对图像进行特征提取，得到多个通道特征图；基于各个通道特征图在多个通道特征图中的重要程度，得到对应通道特征图的注意力权重；分别利用每一通道特征图的注意力权重对对应通道特征图进行加权处理，得到图像的特征图；其中，在图像为第一图像的情况下，通过上述步骤得到的特征图为第一特征图；或者在图像为第二图像的情况下，
通过上述步骤得到的特征图为第二特征图。
[0008]因此，通过对图像进行特征提取，得到多个通道特征图，并基于各个通道特征图在多个通道特征图中的重要程度，得到对应通道特征图的注意力权重，从而分别利用每一通道特征图的注意力权重对对应通道特征图进行加权处理，得到图像的特征图。故此，通过各个通道特征图在多个通道特征图中的重要程度而得到的注意力权重，来对对应通道特征图进行加权处理，能够有利于弱化多个通道特征图中表现较强的特征图，或者强化多个通道特征图中表现较弱的特征图，从而能够有利于使不同模态的图像经编码后，得到相近的特征图，进而能够有利于满足多模态图像的配准，拓宽适用范围。
[0009]其中，在对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图之前，方法还包括：获取待配准的多个图像；将多个图像中的一个作为第一图像，并分别将剩余的至少一个图像作为第二图像。
[0010]因此，在利用上述方式进行图像编码之前，先获取待配准的多个图像，再将多个图像中的一个作为第一图像，并分别将剩余的至少一个图像作为第二图像。故此，在满足“微分同胚”的基础上，能够使两个图像仅需一次配准流程，即可实现正向和反向的配准，故能够有利于减少配准次数，而在进一步满足“多模态配准”的基础上，能够仅需少量配准次数即可实现多模态图像配准。
[0011]其中，多个图像均为医学图像，且多个图像满足以下任一者：多个图像是由不同种类的医疗设备扫描得到的，多个图像是由同一种医疗设备在不同扫描时间扫描得到的。
[0012]因此，通过将多个图像均设置为医学图像，且多个图像满足以下任一者：多个图像是由不同种类的医疗设备扫描得到的，多个图像是由同一种医疗设备在不同扫描时间扫描得到的。故此，能够有利于实现多模态的医学图像配准。
[0013]其中，利用已得到的速度场，对新的第一特征图和新的第二特征图进行融合，以再次得到速度场，包括：对已得到的速度场进行转换，得到位移场；利用位移场对新的第一特征图进行变形，得到变形特征图；融合变形特征图和新的第二特征图，再次得到速度场。
[0014]因此，通过对已得到的速度场进行转换，得到位移场，并利用位移场对新的第一特征图进行变形，得到变形特征图，从而融合变形特征图和新的第二特征图，再次得到速度场，能够通过已得到的速度场，得到位移场，并利用经位移场变形得到的变形特征图和新的第二特征图的再次融合，得到速度场，从而能够有利于在已得到的速度场的基础上，再次得到速度场，进而能够有利于通过“多阶段”优化速度场，有利于提高速度场的精度。
[0015]其中，融合第一特征图和第二特征图，得到速度场，包括：将第一特征图和第二特征图进行拼接，得到拼接特征图；对拼接特征图进行特征提取，得到速度场。
[0016]因此，通过对第一特征图和第二特征图进行拼接，得到拼接特征图，并对拼接特征图进行特征提取，得到速度场，能够有利于简化获取速度场的过程，提高获取速度场的效率。
[0017]其中，在基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数之前，方法还包括：在满足预设条件的情况下，基于最新得到的第一特征图和第二特征图，重新执行分别对第一特征图和第二特征图进行解码，得到新的第一特征图和新的第二特征图的步骤以及后续步骤，其中，新的第一特征图的分辨率大于本次解码前的第一特征图的分辨率，且新的第二特征图的分辨率大于本次解码前的第二特征图的分辨率。
[0018]因此，在满足预设条件的情况下，基于最新得到的第一特征图和第二特征图，重新执行分别对第一特征图和第二特征图进行解码，得到新的第一特征图和新的第二特征图的步骤以及后续步骤，且通过将新的第一特征图的分辨率设置为大于本次解码前的第一特征图的分辨率，并将新的第二特征图的分辨率设置为大于本次解码前的第二特征图的分辨率，能够有利于在特征图分辨率由低到高的过程中，得到尺度由小到大的速度场，从而能够有利于实现“由粗到细”多阶段的配准，进而能够有利于提高配准精度。
[0019]其中，预设条件包括以下任一者：执行解码的次数小于预设阈值，最近一次执行解码得到的第一特征图或第二特征图的分辨率小于预设分辨率。
[0020]因此，通过将预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像配准方法，其特征在于，包括：对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图；融合所述第一特征图和所述第二特征图，得到速度场；分别对所述第一特征图和所述第二特征图进行解码，得到新的第一特征图和新的第二特征图，其中，所述新的第一特征图的分辨率不同于本次解码前的第一特征图的分辨率，且所述新的第二特征图的分辨率不同于本次解码前的第二特征图的分辨率；利用已得到的所述速度场，对所述新的第一特征图和所述新的第二特征图进行融合，以再次得到速度场；以及基于多次所述融合得到的速度场，生成用于配准所述第一图像和所述第二图像的配准参数。2.根据权利要求1所述的方法，其特征在于，所述对第一图像进行编码，得到第一特征图，或者，所述对第二图像进行编码，得到第二特征图，包括：对图像进行特征提取，得到多个通道特征图；基于各个所述通道特征图在所述多个通道特征图中的重要程度，得到对应所述通道特征图的注意力权重；分别利用每一所述通道特征图的注意力权重对对应所述通道特征图进行加权处理，得到所述图像的特征图；其中，在所述图像为所述第一图像的情况下，通过上述步骤得到的所述特征图为所述第一特征图；或者在所述图像为第二图像的情况下，通过上述步骤得到的所述特征图为所述第二特征图。3.根据权利要求2所述的方法，其特征在于，在所述对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图之前，所述方法还包括：获取待配准的多个图像；将所述多个图像中的一个作为所述第一图像，并分别将剩余的至少一个图像作为所述第二图像。4.根据权利要求3所述的方法，其特征在于，所述多个图像均为医学图像，且所述多个图像满足以下任一者：所述多个图像是由不同种类的医疗设备扫描得到的，所述多个图像是由同一种医疗设备在不同扫描时间扫描得到的。5.根据权利要求1至4任一项所述的方法，其特征在于，所述利用已得到的所述速度场，对所述新的第一特征图和所述新的第二特征图进行融合，以再次得到速度场，包括：对已得到的所述速度场进行转换，得到位移场；利用所述位移场对所述新的第一特征图进行变形，得到变形特征图；融合所述变形特征图和所述新的第二特征图，再次得到速度场。6.根据权利要求1至5任一项所述的方法，其特征在于，所述融合所述第一特征图和所述第二特征图，得到速度场，包括：将所述第一特征图和所述第二特征图进行拼接，得到拼接特征图；对所述拼接特征图进行特征提取，得到所述速度场。7.根据权利要求1至6任一项所述的方法，其特征在于，在所述基于多次所述融合得到的速度场，生成用于配准所述第一图像和所述第二图像的配准参数之前，所述方法还包括：
在满足预设条件的情况下，基于最新得到的第一特征图和第二特征图，重新执行所述分别对所述第一特征图和所述第二特征图进行解码，得到新的第一特征图和新的第二特征图的步骤以及后续步骤。8.根据权利要求7所述的方法，其特征在于，所述预设条件包括以下任一者：执行所述解码的次数小于预设阈...

【专利技术属性】
技术研发人员：黄烨翀，叶宇翔，朱雅靖，陈翼男，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：