关键点匹配方法、装置及电子设备制造方法及图纸

本公开提出一种关键点匹配方法、装置及电子设备，其中，方法包括：对待匹配的第一图像和第二图像进行关键点检测，以获取第一图像中的关键点和第二图像中的关键点，其中，第一图像和第二图像存在重合区域；针对第一图像中任一关键点，根据任一关键点在第一图像中的第一位置信息为中心，确定任一关键点所对应的设定尺寸的第一子图像；在第二图像中，获取与第一位置信息匹配的第二位置信息，并以第二位置为中心，确定设定尺寸的第二子图像；对第一子图像中的关键点和第二子图像中的关键点进行匹配，由此，可高效且准确地实现第一图像和第二图像的关键点匹配。的关键点匹配。的关键点匹配。

【技术实现步骤摘要】
关键点匹配方法、装置及电子设备


[0001]本公开涉及图像处理
，尤其涉及一种关键点匹配方法、装置及电子设备。

技术介绍

[0002]关键点匹配是计算机视觉领域的关键问题。关键点匹配的任务是，对于给定的两张局部重合的图片(可以是彩色图片或者黑白图片)，需要准确地找到两张图片中相同的点完成匹配，并且要求找到的匹配需要识别度即可能高，比如角点、边缘点等，减少无纹理重复区域的匹配。关键点匹配可广泛应用于即时定位与地图构建(SLAM)、运动目标的跟踪领域，因此，如何准确地进行关键点匹配是非常重要的。

技术实现思路

[0003]本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
[0004]为此，本公开提出一种关键点匹配方法、装置及电子设备，可实现先对待匹配的第一图像和第二图像进行关键点检测，并根据检测到的第一图像中的每个关键点为中心，确定设定尺寸的第一子图像，并在第二图像中的相同位置，确定与第一子图像尺寸相同的第二子图像，对第一子图像中的关键点和第二子图像中的关键点进行匹配，由此，在获取第一子图像和第二子图像中的关键点的情况下，将第一图像中的每个关键点为中心的设定尺寸的第一子图像和第二图像中相同位置的第二子图像进行关键点匹配，可高效且准确地实现第一图像和第二图像的关键点匹配。
[0005]根据本公开的第一方面，提供了一种关键点匹配方法，包括：对待匹配的第一图像和第二图像进行关键点检测，以获取所述第一图像中的关键点和所述第二图像中的关键点，其中，所述第一图像和所述第二图像存在重合区域；针对所述第一图像中任一所述关键点，根据任一所述关键点在所述第一图像中的第一位置信息为中心，确定任一所述关键点所对应的设定尺寸的第一子图像；在所述第二图像中，获取与所述第一位置信息匹配的第二位置信息，并在所述第二图像的关键点中，确定以所述第二位置信息为中心设定尺寸的第二子图像中的关键点；对所述第一子图像中的关键点和所述第二子图像中的关键点进行匹配。
[0006]根据本公开实施例的第二方面，提供了一种关键点匹配装置，包括：检测模块，用于对待匹配的第一图像和第二图像进行关键点检测，以获取所述第一图像中的关键点和所述第二图像中的关键点，其中，所述第一图像和所述第二图像存在重合区域；第一确定模块，用于针对所述第一图像中任一所述关键点，根据任一所述关键点在所述第一图像中的第一位置信息为中心，确定任一所述关键点所对应的设定尺寸的第一子图像；第二确定模块，用于在所述第二图像中，获取与第一位置信息匹配的第二位置信息，并在所述第二图像的关键点中，确定以所述第二位置信息为中心设定尺寸的第二子图像中的关键点；匹配模块，用于对所述第一子图像中的关键点和所述第二子图像中的关键点进行匹配。
[0007]根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所
述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面实施例提出的关键点匹配方法。
[0008]根据本公开的第四方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开第一方面实施例提出的关键点匹配方法。
[0009]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，当所述计算机程序由电子设备的处理器执行时，使得所述电子设备能够执行第一方面实施例提出的关键点匹配方法。
[0010]本公开的技术方案，通过对待匹配的第一图像和第二图像进行关键点检测，以获取第一图像中的关键点和第二图像中的关键点，其中，第一图像和第二图像存在重合区域；针对第一图像中任一关键点，根据任一关键点在第一图像中的第一位置信息为中心，确定任一关键点所对应的设定尺寸的第一子图像；在第二图像中，获取与第一位置信息匹配的第二位置信息，并在第二图像的关键点中，确定以第二位置信息为中心设定尺寸的第二子图像中的关键点；对第一子图像中的关键点和第二子图像中的关键点进行匹配，由此，在获取第一子图像和第二子图像中的关键点的情况下，将第一图像中的每个关键点为中心的设定尺寸的第一子图像和第二图像中相同位置的第二子图像进行关键点匹配，可高效且准确地实现第一图像和第二图像的关键点匹配。
[0011]本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
[0012]本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0013]图1是根据一示例性实施例所示出的一种关键点匹配方法的流程示意图；
[0014]图2是根据一示例性实施例所示出的一种关键点匹配方法的流程示意图；
[0015]图3是根据一示例性实施例所示出的一种关键点匹配方法的流程示意图；
[0016]图4是根据一示例性实施例所示出的一种关键点匹配方法的流程示意图；
[0017]图5是根据一示例性实施例所示出的一种关键点匹配方法的流程示意图；
[0018]图6是根据一示例性实施例所示出的一种关键点匹配装置的结构示意图；
[0019]图7是根据一示例性实施例示出的一种关键点匹配的电子设备的框图。
具体实施方式
[0020]下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
[0021]需要了解的是，关键点匹配的方法可以分为两类：深度学习的方法和传统的方法。其中深度学习的关键点匹配方法会通过深度神经网络先完成图片中的关键点检测，同时对每个关键点预测出特征描述子；然后利用深度学习或者数学相似度计算方式进行两张图片
之间的关键点匹配。传统的关键点匹配方法，通常分为两步，首先通过传统的方法比如尺度不变特征变换找到给定其中一张图片的角点、边缘点等；然后接着使用传统的点匹配算法，找到该点在另外一张图片中出现的位置。
[0022]但是，深度学习的方法，如果想要部署在深度学习专用芯片往往需要量化过程，目前主流的量化过程是训练后量化(PTQ，Post Training Quantization)，这种方法会对模型精度带来不可逆的损失，同时目前主流的深度学习方法都依赖于使用特征描述子做关键点匹配，特征描述子是一种对精度异常敏感的高维特征向量，量化会带来比较大的精度损失，且高维度特征描述子的量化后性能并不理想，从而导致关键点匹配的准确性下降。传统的关键点检测算法需要足够区分的关键点特征比如大梯度、色彩变化等。其次，传统的匹配方法需要经过大量的拟合优化过程，该过程对于CPU算力要求高，对于SLAM等任务，不适合部署在低成本的深度学习专用芯片上，导致硬件成本的提升。
[0023]针对上述问题本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关键点匹配方法，其特征在于，包括：对待匹配的第一图像和第二图像进行关键点检测，以获取所述第一图像中的关键点和所述第二图像中的关键点，其中，所述第一图像和所述第二图像存在重合区域；针对所述第一图像中任一所述关键点，根据任一所述关键点在所述第一图像中的第一位置信息为中心，确定任一所述关键点所对应的设定尺寸的第一子图像；在所述第二图像中，获取与所述第一位置信息匹配的第二位置信息，并以所述第二位置为中心，确定设定尺寸的第二子图像；对所述第一子图像中的关键点和所述第二子图像中的关键点进行匹配。2.根据权利要求1所述的方法，其特征在于，所述对所述第一子图像中的关键点和所述第二子图像中的关键点进行匹配，包括：将所述第一子图像和所述第二子图像，输入至经过训练的基于光流的关键点匹配模型，以使所述基于光流的关键点匹配模型对所述第一子图像中的任一所述关键点和所述第二子图像中的关键点进行匹配，并输出所述第二子图像中与任一所述关键点匹配的关键点相对于所述第一子图像中任一所述关键点的光流值。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取初始的基于光流的关键点匹配模型；获取第一训练数据集；其中，所述第一训练数据集包括：第一样本图像和第二样本图像，所述第一样本图像与所述第二样本图像中包含关键点；对所述第二样本图像中的关键点与所述第一样本图像中的匹配的关键点的光流值进行标注，以得到标注光流值；将所述第一训练数据集输入至所述初始的基于光流的关键点匹配模型中，以获取所述初始的基于光流的关键点匹配模型输出的预测光流值；根据所述预测光流值与所述标注光流值之间的差异，生成第一损失函数值；根据所述第一损失函数值，对所述初始的基于光流的关键点匹配模型进行训练。4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：将所述经过训练的基于光流的关键点匹配模型中的模型参数转换为设定硬件格式，以在设定硬件上部署所述经过训练的关键点匹配模型。5.根据权利要求1所述的方法，其特征在于，所述对待匹配的第一图像和第二图像进行关键点检测，以获取所述第一图像中关键点和所述第二图像中的关键点，包括：分别将所述第一图像和所述第二图像输入至经过训练的关键点检测模型，以使所述经过训练的关键点检测模型对所述第一图像中的关键点和所述第二图像中的关键点进行检测；获取所述经过训练的关键点检测模型输出的所述第一图像中的关键点和所述第二图像中的关键点。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：获取设定形状的第三样本图像；其中，所述第三样本图像携带第一标注关键点；采用第三样本图像以及所述第三样本图像携带的第一标注关键点，对所述初始的关键点检测模型进行第一训练，以得到经过第一训练的关键点检测模型；从设定图像数据库中，获取第四样本图像；
将所述第四样本图像输入至经过第一训练的关键点检测模型，以得到所述第四样本图像的目标关键点；响应于用户操作，对所述目标关键点进行...

【专利技术属性】
技术研发人员：刘建伟，
申请(专利权)人：爱芯元智半导体上海有限公司，
类型：发明
国别省市：