图像匹配方法、相关设备、存储介质及程序产品组成比例

本申请实施例涉及计算机视觉领域，公开了图像匹配方法、相关设备、存储介质及程序产品，该方法包括：对包含目标物体的目标图像对进行特征提取处理，得到第一特征图组和第二特征图组，其中第一特征图组包括第一特征图和第二特征图；对第一特征图和第二特征图进行第一特征匹配处理，得到初始匹配矩阵；根据第一特征图中的第一像素点和第二特征图中的第二像素点，对初始匹配矩阵进行更新，得到目标匹配矩阵；最后根据目标匹配矩阵，对第二特征图组进行第二特征匹配处理，得到目标图像对的目标特征匹配对。采用本申请实施例，可抑制外点，从而提高图像匹配的精度。图像匹配的精度。图像匹配的精度。

【技术实现步骤摘要】
图像匹配方法、相关设备、存储介质及程序产品


[0001]本申请涉及计算机视觉
，尤其涉及图像匹配方法、相关设备、存储介质及程序产品。

技术介绍

[0002]计算机视觉领域中如图像检索、物体姿态估计以及三维重建等技术的实现基础是图像匹配，即在两张或多张图片之间建立像素点或者图像区域的匹配关系，从而寻求两张或多张图片中的相似目标。因此，图像匹配的精度往往会影响后续的图像检索、物体姿态估计以及三维重建等技术的实现效果。现有的图像匹配算法在提取特征点之后的特征匹配时，或多或少都会受到外点(即错误匹配的特征点)的影响，导致图像匹配的整体精度不高。因此，如何抑制外点，从而提高图像匹配的精度，是目前亟需解决的问题。

技术实现思路

[0003]本申请实施例提供图像匹配方法、相关设备、存储介质及程序产品，可抑制外点，从而提高图像匹配的精度。
[0004]一方面，本申请实施例提供了一种图像匹配方法，包括：
[0005]对包含目标物体的目标图像对进行特征提取处理，得到第一特征图组和第二特征图组；所述目标图像对包括第一图像和第二图像，所述第一特征图组包括第一特征图和第二特征图，所述第二特征图组包括第三特征图和第四特征图，所述第一特征图和所述第三特征图是对所述第一图像进行特征提取得到的，所述第二特征图和所述第四特征图是对所述第二图像进行特征提取得到的，所述第一特征图组中各个特征图的尺寸小于所述第二特征图组中各个特征图的尺寸；
[0006]对所述第一特征图和所述第二特征图进行第一特征匹配处理，得到初始匹配矩阵；所述初始匹配矩阵用于表征：与所述第一特征图中的任一像素点匹配的所述第二特征图中的像素点，以及与所述第二特征图中的任一像素点匹配的所述第一特征图中的像素点；
[0007]确定所述第一特征图中的第一像素点，以及所述第二特征图中的第二像素点；所述第一像素点或者第二像素点指的是相应特征图中的目标像素点，任一特征图中的目标像素点指的是对相应图像中包含所述目标物体的图像区域的像素点进行特征提取处理后得到的像素点；
[0008]根据所述第一像素点和所述第二像素点，对所述初始匹配矩阵进行更新，得到目标匹配矩阵；所述目标匹配矩阵用于表征：与所述第一像素点匹配的所述第二特征图中的像素点，以及与所述第二像素点匹配的所述第一特征图中的像素点；
[0009]根据所述目标匹配矩阵，对所述第二特征图组进行第二特征匹配处理，得到所述目标图像对的目标特征匹配对，所述目标特征匹配对用于表征：所述第三特征图中的第m个亚像素点及其匹配的所述第四特征图中的第n个亚像素点，m或者n为正整数。
[0010]一方面，本申请实施例提供了一种图像匹配装置，所述图像匹配装置包括特征提取单元和特征匹配单元，其中：
[0011]所述特征提取单元，用于对包含目标物体的目标图像对进行特征提取处理，得到第一特征图组和第二特征图组；所述目标图像对包括第一图像和第二图像，所述第一特征图组包括第一特征图和第二特征图，所述第二特征图组包括第三特征图和第四特征图，所述第一特征图和所述第三特征图是对所述第一图像进行特征提取得到的，所述第二特征图和所述第四特征图是对所述第二图像进行特征提取得到的，所述第一特征图组中各个特征图的尺寸小于所述第二特征图组中各个特征图的尺寸；
[0012]所述特征匹配单元，用于对所述第一特征图和所述第二特征图进行第一特征匹配处理，得到初始匹配矩阵；所述初始匹配矩阵用于表征：与所述第一特征图中的任一像素点匹配的所述第二特征图中的像素点，或者与所述第二特征图中的任一像素点匹配的所述第一特征图中的像素点；
[0013]所述特征匹配单元，还用于确定所述第一特征图中的第一像素点，以及所述第二特征图中的第二像素点；所述第一像素点或者第二像素点指的是相应特征图中的目标像素点，任一特征图中的目标像素点指的是对相应图像中包含所述目标物体的图像区域的像素点进行特征提取处理后得到的像素点；
[0014]所述特征匹配单元，还用于根据所述第一像素点和所述第二像素点，对所述初始匹配矩阵进行更新，得到目标匹配矩阵；所述目标匹配矩阵用于表征：与所述第一像素点匹配的所述第二特征图中的像素点，或者与所述第二像素点匹配的所述第一特征图中的像素点；
[0015]所述特征匹配单元，还用于根据所述目标匹配矩阵，对所述第二特征图组进行第二特征匹配处理，得到所述目标图像对的目标特征匹配对，所述目标特征匹配对用于表征：所述第三特征图中的第m个亚像素点及其匹配的所述第四特征图中的第n个亚像素点，m或者n为正整数。
[0016]可选的，特征匹配单元在确定所述第一特征图中的第一像素点时，具体可以用于：根据所述第二特征图，对所述第一特征图进行特征交互处理，得到第一交互特征图；调用预设特征向量，对所述第一交互特征图进行交叉注意力特征提取处理，得到第一共视特征向量；根据所述第一共视特征向量，对所述第一交互特征图中的各个像素点进行筛选，得到所述第一像素点。
[0017]可选的，特征匹配单元在确定所述第二特征图中的第二像素点时，具体可以用于：根据所述第一特征图，对所述第二特征图进行特征交互处理，得到第二交互特征图；调用预设特征向量，对所述第二交互特征图进行交叉注意力特征提取处理，得到第二共视特征向量；根据所述第二共视特征向量，对所述第二交互特征图中的各个像素点进行筛选，得到所述第二像素点。
[0018]可选的，特征匹配单元在根据任一共视特征向量，对相应交互特征图中的各个像素点进行筛选，得到相应像素点时，具体可以用于：对所述任一共视特征向量和相应交互特征图进行特征融合处理，得到共视特征图；所述共视特征图中目标特征的特征值大于所述共视特征图中除所述目标特征以外的特征的特征值，所述目标特征指的是基于所述任一共视特征向量与相应交互特征图中的共视特征进行特征融合处理得到的特征；所述共视特征
指的是相应图像中包含所述目标物体的图像区域的特征；对所述共视特征图中的各个特征进行分类处理，得到所述共视特征图中的各个特征为共视特征的共视概率；将共视概率大于预设共视阈值的特征确定为相应像素点。
[0019]可选的，特征匹配单元在根据所述目标匹配矩阵，对所述第二特征图组进行第二特征匹配处理，得到所述目标图像对的目标特征匹配对时，具体可以用于：基于所述目标匹配矩阵，获取初始特征匹配对；所述初始特征匹配对用于表征：所述第一特征图中的任一第一像素点，及其匹配的所述第二特征图中的第二像素点；基于所述初始特征匹配对中的第一像素点，对所述第三特征图进行裁剪处理，得到第一初始特征块，并基于所述初始特征匹配对中的第二像素点，对所述第四特征图进行裁剪处理，得到第二初始特征块；基于所述第一初始特征块和所述第二初始特征块，得到所述目标图像对的目标特征匹配对。
[0020]可选的，特征匹配单元在基于所述第一初始特征块和所述第二初始特征块，得到所述目标图像对的目标特征匹配对时，具体可以用于：分别对所述第一初始特征块和所述第二初始特征块进行自注意力特征提取处理，得到第一目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像匹配方法，其特征在于，包括：对包含目标物体的目标图像对进行特征提取处理，得到第一特征图组和第二特征图组；所述目标图像对包括第一图像和第二图像，所述第一特征图组包括第一特征图和第二特征图，所述第二特征图组包括第三特征图和第四特征图，所述第一特征图和所述第三特征图是对所述第一图像进行特征提取得到的，所述第二特征图和所述第四特征图是对所述第二图像进行特征提取得到的，所述第一特征图组中各个特征图的尺寸小于所述第二特征图组中各个特征图的尺寸；对所述第一特征图和所述第二特征图进行第一特征匹配处理，得到初始匹配矩阵；所述初始匹配矩阵用于表征：与所述第一特征图中的任一像素点匹配的所述第二特征图中的像素点，以及与所述第二特征图中的任一像素点匹配的所述第一特征图中的像素点；确定所述第一特征图中的第一像素点，以及所述第二特征图中的第二像素点；所述第一像素点或者第二像素点指的是相应特征图中的目标像素点，任一特征图中的目标像素点指的是对相应图像中包含所述目标物体的图像区域的像素点进行特征提取处理后得到的像素点；根据所述第一像素点和所述第二像素点，对所述初始匹配矩阵进行更新，得到目标匹配矩阵；所述目标匹配矩阵用于表征：与所述第一像素点匹配的所述第二特征图中的像素点，以及与所述第二像素点匹配的所述第一特征图中的像素点；根据所述目标匹配矩阵，对所述第二特征图组进行第二特征匹配处理，得到所述目标图像对的目标特征匹配对；所述目标特征匹配对用于表征：所述第三特征图中的第m个亚像素点及其匹配的所述第四特征图中的第n个亚像素点，m或者n为正整数。2.根据权利要求1所述的方法，其特征在于，所述确定所述第一特征图中的第一像素点，包括：根据所述第二特征图，对所述第一特征图进行特征交互处理，得到第一交互特征图；调用预设特征向量，对所述第一交互特征图进行交叉注意力特征提取处理，得到第一共视特征向量；根据所述第一共视特征向量，对所述第一交互特征图中的各个像素点进行筛选，得到所述第一像素点。3.根据权利要求1所述的方法，其特征在于，所述确定所述第二特征图中的第二像素点，包括：根据所述第一特征图，对所述第二特征图进行特征交互处理，得到第二交互特征图；调用预设特征向量，对所述第二交互特征图进行交叉注意力特征提取处理，得到第二共视特征向量；根据所述第二共视特征向量，对所述第二交互特征图中的各个像素点进行筛选，得到所述第二像素点。4.根据权利要求2
‑
3任一项所述的方法，其特征在于，根据任一共视特征向量，对相应交互特征图中的各个像素点进行筛选，得到相应像素点，包括：对所述任一共视特征向量和相应交互特征图进行特征融合处理，得到共视特征图；所述共视特征图中目标特征的特征值大于所述共视特征图中除所述目标特征以外的特征的特征值，所述目标特征指的是基于所述任一共视特征向量与相应交互特征图中的共视特征
进行特征融合处理得到的特征；所述共视特征指的是相应图像中包含所述目标物体的图像区域的特征；对所述共视特征图中的各个特征进行分类处理，得到所述共视特征图中的各个特征为共视特征的共视概率；将共视概率大于预设共视阈值的特征确定为相应像素点。5.根据权利要求1所述的方法，其特征在于，所述根据所述目标匹配矩阵，对所述第二特征图组进行第二特征匹配处理，得到所述目标图像对的目标特征匹配对，包括：基于所述目标匹配矩阵，获取初始特征匹配对；所述初始特征匹配对用于表征：所述第一特征图中的任一第一像素点，及其匹配的所述第二特征图中的第二像素点；基于所述初始特征匹配对中的第一像素点，对所述第三特征图进行裁剪处理，得到第一初始特征块，并基于所述初始特征匹配对中的第二像素点，对所述第四特征图进行裁剪处理，得到第二初始特征块；基于所述第一初始特征块和所述第二初始特征块，得到所述目标图像...

【专利技术属性】
技术研发人员：陈颖，黄迪和，刘建林，刘永，徐尚，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：