图像匹配的方法和系统、以及计算机可读介质技术方案

本发明专利技术提供一种对第一图像和第二图像进行匹配的方法，包括：S101：获得第一图像的特征图；S102：获得第二图像的特征图；S103：获得第一图像的特征图上的特定位置处的特征向量；S104：根据所述第二图像的特征图和所述特征向量，获得特征差图；和S105：根据所述特征差图，获得所述第二图像上与第一图像的所述特定位置匹配的匹配位置。置匹配的匹配位置。置匹配的匹配位置。

【技术实现步骤摘要】
图像匹配的方法和系统、以及计算机可读介质


[0001]本专利技术大致涉及图像处理领域，尤其涉及对图像进行匹配的方法和系统以及计算机可读介质。

技术介绍

[0002]给定对同一个场景拍摄的两张或多张图像，已知图像拍摄时相机的位置姿态，通过寻找跨图像匹配的关键点，可以得到点在物理世界中的位置，从而从图像上对场景内的需要的各种尺寸进行测量，这样可以避免人工在场测量物理尺度。图1示出了在超市中两个摄像头对于两个同一个货架所拍摄的图像，两个摄像头的角度位置不同，因此同一个商品或关键点在两幅图片中的位置会有差异。需要通过配图来将左边的点自动找到右边的匹配点。
[0003]针对自动关键点匹配，现有技术有两大类。第一类是基于图像在关键点上的局部特征计算跨图像关键点的相似度，如果两张图上的两个点的局部特征之间计算得到的相似度高则可以认为这两个点匹配的恰当。基于这个度量指标，给定一张图像上的一个关键点，对比另一张图像上所有可能的关键点，计算相似度，取相似度最高的点为匹配点。第二类是基于光流算法，计算两张连续拍摄的图像之间点到点的偏移量，选定一张图上的一个点，根据光流算法得到的偏移量，计算得到另一张图像上的匹配点位置。
[0004]如上所述，目前的方法存在以下问题。对视角变化不够健壮。比如基于光流算法的匹配点选取受限于两张图片的连续性，如果两张图拍摄时角度变化大，则不能处理。对上下文信息利用不足。比如基于局部特征相似度的方法，因为局部特征的感受野有限，如果图像上存在多个相似结构的情况下，不能准确的找到正确的匹配点。不能从直接历史数据中自动的学习提高匹配结果。以上两类方法都不能直接从人工标注的离散的匹配点中学习如何匹配，不能随着人工标注数据增多而逐步提高匹配效果。
[0005]
技术介绍
部分的内容仅仅是公开人所知晓的技术，并不当然代表本领域的现有技术。

技术实现思路

[0006]有鉴于现有技术的至少一个问题，本专利技术提供一种对第一图像和第二图像进行匹配的方法，包括：
[0007]S101：获得第一图像的特征图；
[0008]S102：获得第二图像的特征图；
[0009]S103：获得第一图像的特征图上的特定位置处的特征向量；
[0010]S104：根据所述第二图像的特征图和所述特征向量，获得特征差图；和
[0011]S105：根据所述特征差图，获得所述第二图像上与第一图像的所述特定位置匹配的匹配位置。
[0012]根据本专利技术的一个方面，所述步骤S101包括：通过第一卷积神经网络获得所述第
一图像的特征图；
[0013]所述步骤S102包括：通过第一卷积神经网络获得所述第二图像的特征图；
[0014]根据本专利技术的一个方面，其中所述特征差图可表征第二图像的特征图上各个位置处与所述特征向量之间的差异。
[0015]根据本专利技术的一个方面，所述第一图像和第二图像包括至少部分相同的场景。
[0016]根据本专利技术的一个方面，所述步骤S105包括：
[0017]根据所述特征差图，通过第二神经网络，获得所述第二图像上与第一图像的所述特定位置匹配的匹配位置。
[0018]根据本专利技术的一个方面，所述第二神经网络配置成输出所述第二图像上各个位置与第一图像的所述特定位置匹配的可能性。
[0019]根据本专利技术的一个方面，所述方法还包括：根据所述第二神经网络的输出生成热力图，其中所述热力图上各点的值表征所述第二图像上各个位置与第一图像的所述特定位置匹配的可能性。
[0020]根据本专利技术的一个方面，所述第一神经网络为resnet-50网络结构，所述第二神经网络为两层的卷积神经网络。
[0021]根据本专利技术的一个方面，所述方法还包括：
[0022]从所述第一图像上检测特定商品；
[0023]当检测到所述特定商品时，将所述特定商品的位置作为所述特定位置，通过所述步骤S101-S105，获得所述第二图像上与所述特定商品匹配的匹配位置。
[0024]本专利技术还提供一种对第一图像和第二图像进行匹配的系统，包括：
[0025]获得第一图像的特征图的单元；
[0026]获得第二图像的特征图的单元；
[0027]获得第一图像的特征图上的特定位置处的特征向量的单元；
[0028]根据所述第二图像的特征图和所述特征向量获得特征差图的单元；和
[0029]根据所述特征差图获得所述第二图像上与第一图像的所述特定位置匹配的匹配位置的单元。
[0030]本专利技术还提供一种计算机可读介质，具有存储于其上的指令，其中所述指令当被处理器执行时，可实施如上所述的神经网络训练方法。
[0031]本专利技术的实施例解决了对视角变化的健壮性的问题，可以利用上下文信息的自动关键点匹配算法。基于深度学习框架，自动从人工标注的结果中学习提高模型准确度。自动关键点匹配算法可以在做物理尺度测量的时候节约人工选取关键点的时间，提高测量效率。本专利技术的技术方案利用卷积神经网络提取特征，可以得到比传统局部特征更健壮的匹配效果。因为卷积神经网络可以通过人工标注数据学习到如何提取对视角变化健壮的特征。同时深度卷积神经网络提供更大的感受野，对于图像上的点，特征提取的过程中会考虑到上下文信息，使得给出的关键点位置更准确。本技术方案利用第二卷积神经网络从特征差图中得到热力图的方法进一步提供了更大的感受野，对于每个点，计算热力图的过程中会考虑到更大的上下文信息，使得给出的关键点位置更准确。另外，本技术方案的设计使得训练卷积神经网络的过程中，不需要密集的标注两图中所有可能的匹配点，给定任意一对匹配点，即可训练第一和第二卷积神经网络。通过积累人工标注的匹配点，提出的方案可以
自动学习匹配用的特征，得到更好的匹配结果。
附图说明
[0032]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：
[0033]图1示出了在超市中两个摄像头对于两个同一个货架所拍摄的图像；
[0034]图2示出了根据本专利技术一个实施例的对第一图像和第二图像进行匹配的方法；
[0035]图3示出了图2的方法进行图像处理的示意图；
[0036]图4示出了根据上述实施例进行图像匹配的示意图；
[0037]图5示出了根据本专利技术一个实施例的一种对第一图像和第二图像进行匹配的系统。
具体实施方式
[0038]在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本专利技术的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
[0039]在本专利技术的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对第一图像和第二图像进行匹配的方法，包括：S101：获得第一图像的特征图；S102：获得第二图像的特征图；S103：获得第一图像的特征图上的特定位置处的特征向量；S104：根据所述第二图像的特征图和所述特征向量，获得特征差图；和S105：根据所述特征差图，获得所述第二图像上与第一图像的所述特定位置匹配的匹配位置。2.如权利要求1所述的方法，其中所述步骤S101包括：通过第一卷积神经网络获得所述第一图像的特征图；所述步骤S102包括：通过第一卷积神经网络获得所述第二图像的特征图。3.如权利要求1或2所述的方法，其中所述特征差图表征第二图像的特征图上各个位置处与所述特征向量之间的差异。4.如权利要求1或2所述的方法，其中所述第一图像和第二图像包括至少部分相同的场景。5.如权利要求2所述的方法，其中所述步骤S105包括：根据所述特征差图，通过第二神经网络，获得所述第二图像上与第一图像的所述特定位置匹配的匹配位置。6.如权利要求5所述的方法，其中所述第二神经网络配置成输出所述第二图像上各个位置与第一图像的所述特定位置匹配的可能性...

【专利技术属性】
技术研发人员：李皓翔，康昊，管理，华刚，
申请(专利权)人：虫极科技北京有限公司，
类型：发明
国别省市：