一种特征点匹配方法、装置、电子设备和存储介质制造方法及图纸

本申请涉及计算技术领域，尤其涉及人工智能技术领域，提供一种特征点匹配方法、装置、电子设备和存储介质，用以提高特征点匹配方法的匹配精度。其中，方法包括：分别将待匹配的第一图像和第二图像进行特征提取，获得第一图像对应的第一目标特征图，及第二图像对应的第二目标特征图；获取第一目标特征图与第二目标特征图的匹配信息；基于匹配信息，在第二图像中，确定与第一图像中的待匹配特征点相匹配的多个候选特征点；基于多个候选特征点各自在第二图像中的位置，及各自与待匹配特征点之间的匹配度，确定亚像素级特征点在第二图像中的位置。本申请可用于确定亚像素级特征点的位置，实现了基于深度学习的亚像素级特征点匹配，提高了匹配精度。匹配精度。匹配精度。

【技术实现步骤摘要】
一种特征点匹配方法、装置、电子设备和存储介质


[0001]本申请涉及计算机
，尤其涉及人工智能
，提供一种特征点匹配方法、装置、电子设备和存储介质。

技术介绍

[0002]图像配准是对两幅不同条件下(不同时间，不同成像设备，不同角度、光照等条件)获取的图像进行匹配的过程，整个过程大体上可以分为4个部分：特征点检测及特征描述；特征点匹配；外点滤除；位姿估计。其中，特征点检测及特征描述会获取图像中每个特征点的位置和描述子，特征点匹配是根据两幅图像中特征点的位置和描述子得到两幅图像中特征点的匹配关系。
[0003]在相关的基于深度学习的特征点匹配方法中，由于深度学习中卷积核的最小操作尺寸为一个像素，因此这类方法很难达到亚像素级的匹配精度，导致特征点匹配关系的准确性差。
[0004]因而，如何提高基于深度学习的特征点匹配方法的匹配精度，实现基于深度学习的亚像素级特征点匹配是亟待解决的。

技术实现思路

[0005]本申请实施例提供一种特征点匹配方法、装置、电子设备和存储介质，用以提高基于深度学习的特征点匹配方法的匹配精度。
[0006]本申请实施例提供的一种特征点匹配方法，包括：
[0007]分别将待匹配的第一图像和第二图像进行特征提取，获得所述第一图像对应的第一目标特征图，及所述第二图像对应的第二目标特征图；
[0008]获取所述第一目标特征图与所述第二目标特征图的匹配信息；所述匹配信息表征：所述第一图像与所述第二图像中各像素点之间的匹配度；
[0009]基于所述匹配信息，在所述第二图像中，确定与所述第一图像中的待匹配特征点相匹配的多个候选特征点；每个候选特征点为：与所述待匹配特征点相匹配的亚像素级特征点的邻域像素点；
[0010]基于所述多个候选特征点各自在所述第二图像中的位置，及各自与所述待匹配特征点之间的匹配度，确定所述亚像素级特征点在所述第二图像中的位置。
[0011]本申请实施例提供的一种特征点匹配装置，包括：
[0012]特征提取单元，用于分别将待匹配的第一图像和第二图像进行特征提取，获得所述第一图像对应的第一目标特征图，及所述第二图像对应的第二目标特征图；
[0013]匹配学习单元，用于获取所述第一目标特征图与所述第二目标特征图的匹配信息；所述匹配信息表征：所述第一图像与所述第二图像中各像素点之间的匹配度；
[0014]候选筛选单元，用于基于所述匹配信息，在所述第二图像中，确定与所述第一图像中的待匹配特征点相匹配的多个候选特征点；每个候选特征点为：与所述待匹配特征点相
匹配的亚像素级特征点的邻域像素点；
[0015]位置确定单元，用于基于所述多个候选特征点各自在所述第二图像中的位置，及各自与所述待匹配特征点之间的匹配度，确定所述亚像素级特征点在所述第二图像中的位置。
[0016]可选的，所述候选筛选单元具体用于：
[0017]将所述第二图像中的各个像素点各自与所述待匹配特征点之间的匹配度，按照所述各个像素点在所述第二图像中的位置进行排列，获得匹配度矩阵；
[0018]通过预设滑动窗口从所述匹配度矩阵中，筛选出对应的匹配参数在预设次序的一组像素点；每组像素点的匹配参数是基于相应像素点各自与所述待匹配特征点之间的匹配度确定的；
[0019]将筛选出的所述一组像素点，作为所述待匹配特征点对应的所述多个候选特征点。
[0020]可选的，所述多个候选特征点为所述亚像素级特征点的四邻域像素点，所述预设滑动窗口的尺寸为2
×
2。
[0021]可选的，所述匹配参数为平均匹配度；所述候选筛选单元具体用于：
[0022]通过预设滑动窗口从所述匹配度矩阵中，筛选出对应的平均匹配度最大的一组像素点。
[0023]可选的，所述位置确定单元具体用于：
[0024]基于所述多个候选特征点各自在所述第二图像中的位置，确定所述亚像素级特征点在所述第二图像中对应的目标位置坐标的整数部分；
[0025]基于所述多个候选特征点各自对应的匹配度，确定所述目标位置坐标的小数部分。
[0026]可选的，所述多个候选特征点为所述亚像素级特征点的四邻域像素点；
[0027]所述位置确定单元具体用于：
[0028]基于所述多个候选特征点各自在所述第二图像中的位置，确定所述多个候选特征点对应的横坐标的较小值，并将所述横坐标的较小值，作为所述目标位置坐标中横坐标的整数部分；以及
[0029]确定所述多个候选特征点对应的纵坐标的较小值，并将所述纵坐标的较小值，作为所述目标位置坐标中纵坐标的整数部分。
[0030]可选的，所述多个候选特征点为所述亚像素级特征点的四邻域像素点；
[0031]所述位置确定单元具体用于：
[0032]基于所述多个候选特征点中，位于所述亚像素级特征点右侧的候选特征点对应的匹配度，与位于所述亚像素级特征点左侧的候选特征点对应的匹配度之间的差值，确定所述目标位置坐标中横坐标的小数部分；
[0033]基于所述多个候选特征点中，位于所述亚像素级特征点下侧的候选特征点对应的匹配度，与位于所述亚像素级特征点上侧的候选特征点对应的匹配度之间的差值，确定所述目标位置坐标中纵坐标的小数部分。
[0034]可选的，所述特征提取单元具体用于：
[0035]分别将所述第一图像和所述第二图像，经过已训练的特征提取模型中的卷积神经
网络进行卷积处理，获得所述第一图像对应的第一初始特征图，及所述第二图像对应的第二初始特征图；
[0036]基于注意力机制对所述第一初始特征图与所述第二初始特征图，分别进行注意力特征提取，获得所述第一图像对应的第一目标特征图，及所述第二图像对应的第二目标特征图。
[0037]可选的，所述装置还包括：
[0038]模型训练单元，用于通过如下方式训练得到所述特征提取模型：
[0039]获取训练样本集，所述训练样本集中的每个训练样本包括两个样本图像，以及相应的样本标签，所述样本标签用于标记所述两个样本图像中相匹配的真实特征点对；每个真实特征点对包括一个像素级第一特征点，和一个亚像素级第二特征点；
[0040]从所述训练样本集中选取训练样本输入待训练的特征提取模型，基于所述特征提取模型，确定与所述训练样本中的第一特征点相匹配的多个预测候选特征点；
[0041]基于确定的各个预测候选特征点与相应的第二特征点之间的差异，对所述特征提取模型进行参数调整。
[0042]可选的，所述模型训练单元具体用于：
[0043]基于所述特征提取模型对所述训练样本中的两个样本图像分别进行特征提取，获得所述两个样本图像各自对应的样本目标特征图；
[0044]获取两个样本目标特征图的样本匹配信息；所述样本匹配信息表征：所述两个样本图像中各像素点之间的匹配度；
[0045]基于所述样本匹配信息，确定与所述训练样本中的第一特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征点匹配方法，其特征在于，该方法包括：分别将待匹配的第一图像和第二图像进行特征提取，获得所述第一图像对应的第一目标特征图，及所述第二图像对应的第二目标特征图；获取所述第一目标特征图与所述第二目标特征图的匹配信息；所述匹配信息表征：所述第一图像与所述第二图像中各像素点之间的匹配度；基于所述匹配信息，在所述第二图像中，确定与所述第一图像中的待匹配特征点相匹配的多个候选特征点；每个候选特征点为：与所述待匹配特征点相匹配的亚像素级特征点的邻域像素点；基于所述多个候选特征点各自在所述第二图像中的位置，及各自与所述待匹配特征点之间的匹配度，确定所述亚像素级特征点在所述第二图像中的位置。2.如权利要求1所述的方法，其特征在于，所述基于所述匹配信息，在所述第二图像中，确定与所述第一图像中的待匹配特征点相匹配的多个候选特征点，包括：将所述第二图像中的各个像素点各自与所述待匹配特征点之间的匹配度，按照所述各个像素点在所述第二图像中的位置进行排列，获得匹配度矩阵；通过预设滑动窗口从所述匹配度矩阵中，筛选出对应的匹配参数在预设次序的一组像素点；每组像素点的匹配参数是基于相应像素点各自与所述待匹配特征点之间的匹配度确定的；将筛选出的所述一组像素点，作为所述待匹配特征点对应的所述多个候选特征点。3.如权利要求2所述的方法，其特征在于，所述多个候选特征点为所述亚像素级特征点的四邻域像素点，所述预设滑动窗口的尺寸为2
×
2。4.如权利要求2所述的方法，其特征在于，所述匹配参数为平均匹配度；所述通过预设滑动窗口从所述匹配度矩阵中，筛选出对应的匹配参数在预设次序的一组像素点，包括：通过预设滑动窗口从所述匹配度矩阵中，筛选出对应的平均匹配度最大的一组像素点。5.如权利要求1所述的方法，其特征在于，所述基于所述多个候选特征点各自在所述第二图像中的位置，及各自与所述待匹配特征点之间的匹配度，确定所述亚像素级特征点在所述第二图像中的位置，包括：基于所述多个候选特征点各自在所述第二图像中的位置，确定所述亚像素级特征点在所述第二图像中对应的目标位置坐标的整数部分；基于所述多个候选特征点各自对应的匹配度，确定所述目标位置坐标的小数部分。6.如权利要求5所述的方法，其特征在于，所述多个候选特征点为所述亚像素级特征点的四邻域像素点；所述基于所述多个候选特征点各自在所述第二图像中的位置，确定所述亚像素级特征点在所述第二图像中对应的目标位置坐标的整数部分，包括：基于所述多个候选特征点各自在所述第二图像中的位置，确定所述多个候选特征点对应的横坐标的较小值，并将所述横坐标的较小值，作为所述目标位置坐标中横坐标的整数部分；以及确定所述多个候选特征点对应的纵坐标的较小值，并将所述纵坐标的较小值，作为所
述目标位置坐标中纵坐标的整数部分。7.如权利要求5所述的方法，其特征在于，所述多个候选特征点为所述亚像素级特征点的四邻域像素点；所述基于所述多个候选特征点各自对应的匹配度，确定所述目标位置坐标的小数部分，包括：基于所述多个候选特征点中，位于所述亚像素级特征点右侧的候选特征点对应的匹配度，与位于所述亚像素级特征点左侧的候选特征点对应的匹配度之间的差值，确定所述目标位置坐标中横坐标的小数部分；基于所述多个候选特征点中，位于所述亚像素级特征点下侧的候选特征点对应的匹配度，与位于所述亚像素级特征点上侧的候选特征点对应的匹配度之间的差值，确定所述目标位置坐标中纵坐标的小数部分。8.如权利要求1～7任一项所述的方法，其特征在于，所述分别将待匹配的第一图像和第二图像进行特征提取，获得所述第一图像对应的第一目标特征图，以及所述第二图像对应的第二目标特征图，包括：分别将所述第一图像和所述第二图像，经过已训练的特征提取模型中的卷积神经网络进行卷积处理，获得所述第一图像对应的第一初始特征图，及所述第二图像对应的第二初始特征图；基于注意力机制对...

【专利技术属性】
技术研发人员：吴文龙，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：