【技术实现步骤摘要】
用于图片匹配定位的神经网络系统,方法及装置
本说明书一个或多个实施例涉及计算机图像处理领域,尤其涉及用于图片的匹配和定位的神经网络系统、方法和装置。
技术介绍
人工智能和机器学习已经广泛地应用在计算机图像处理领域,智能地进行图像分析、对比、匹配以及目标识别等,其中图像的匹配和匹配定位是常常面对的问题。简单来说,图像匹配是指,判断两幅图像是否相似,或者是否为同一内容;而图像匹配定位是指,找出一幅图所示内容在另一幅图中的位置。传统的匹配定位算法一般采用先遍历搜索各种大小的图块,再对这些图块逐个对比的方式进行匹配和定位。这样的方案时间复杂度很高,并且这样两步式的方案很难进行统一的整体优化。因此,希望能有改进的方案,更加快速高效地进行图像的匹配定位。
技术实现思路
本说明书一个或多个实施例描述了用于图片匹配定位的神经网络系统和方法,从而快速高效并一体化地进行图片的匹配和定位。根据第一方面,提供了一种计算机执行的、用于图片匹配定位的神经网络系统,包括:第一卷积网络,包括第一卷积层,以及池化层,所述第一卷积层对第一图片进行卷积处理,得到与第一图片对应的第一卷积特征图;所述池化层对所述第一卷积特征图进行池化操作,生成维度为第一数目的第一特征向量,其中所述第一图片为待匹配图片;第二卷积网络,对第二图片进行卷积处理,得到第二图片所包含的N个区域分别对应的N个特征向量,所述N个特征向量维度为所述第一数目;所述第二图片为待搜索图片;组合层,将所述第一特征向量分别与所述N个特征向量进行组合操作,得到N个组合向量;边框回归层,至少基于所述N个组合向量,在第二图片中输出预测边框的信息,所 ...
【技术保护点】
1.一种计算机执行的、用于图片匹配定位的神经网络系统,包括:第一卷积网络,包括第一卷积层,以及池化层,所述第一卷积层对第一图片进行卷积处理,得到与第一图片对应的第一卷积特征图;所述池化层对所述第一卷积特征图进行池化操作,生成维度为第一数目的第一特征向量,其中所述第一图片为待匹配图片;第二卷积网络,对第二图片进行卷积处理,得到第二图片所包含的N个区域分别对应的N个特征向量,所述N个特征向量维度为所述第一数目;所述第二图片为待搜索图片;组合层,将所述第一特征向量分别与所述N个特征向量进行组合操作,得到N个组合向量;边框回归层,至少基于所述N个组合向量,采用边框回归算法,在第二图片中输出预测边框的信息,所述预测边框指示出第二图片包含第一图片的图片内容的部分。
【技术特征摘要】
1.一种计算机执行的、用于图片匹配定位的神经网络系统,包括:第一卷积网络,包括第一卷积层,以及池化层,所述第一卷积层对第一图片进行卷积处理,得到与第一图片对应的第一卷积特征图;所述池化层对所述第一卷积特征图进行池化操作,生成维度为第一数目的第一特征向量,其中所述第一图片为待匹配图片;第二卷积网络,对第二图片进行卷积处理,得到第二图片所包含的N个区域分别对应的N个特征向量,所述N个特征向量维度为所述第一数目;所述第二图片为待搜索图片;组合层,将所述第一特征向量分别与所述N个特征向量进行组合操作,得到N个组合向量;边框回归层,至少基于所述N个组合向量,采用边框回归算法,在第二图片中输出预测边框的信息,所述预测边框指示出第二图片包含第一图片的图片内容的部分。2.根据权利要求1所述的系统,其中所述第二卷积网络包括第二卷积层和特征提取层,所述第二卷积层对所述第二图片进行卷积处理,得到与第二图片对应的第二卷积特征图;所述特征提取层基于所述第二卷积特征图,提取所述N个区域分别对应的N个特征向量。3.根据权利要求2所述的系统,其中所述第二卷积层与所述第一卷积层为共同的卷积层。4.根据权利要求1所述的系统,其中所述N个区域是按照预定分割规则,分割得到。5.根据权利要求1所述的系统,其中所述N个区域通过选择性搜索算法,或通过区域生成网络而生成。6.根据权利要求1所述的系统,其中所述组合层进行的组合操作包括,向量点积操作。7.根据权利要求1所述的系统,其中所述边框回归层包括第一隐层、第二隐层和输出层;所述第一隐层确定所述第一图片出现在所述N个区域中各个区域的区域概率;所述第二隐层在至少一个区域中生成备选边框,并得出各个备选边框的置信度;所述输出层根据各个区域的区域概率和各个备选边框的置信度,输出预测边框的信息,所述预测边框的信息包括,该预测边框的坐标,该预测边框对应的区域概率和置信度。8.根据权利要求7所述的系统,其中所述第二隐层在区域概率大于预设阈值的区域中,生成备选边框。9.根据权利要求7所述的系统,其中所述输出层将对应的区域概率和置信度的乘积最大的备选边框作为所述预测边框。10.根据权利要求1所述的系统,其中所述神经网络系统通过训练样本端到端训练得到,所述训练样本包括多个图片对,每个图片对包括第一训练图片和第二训练图片,第二训练图片中标注有目标框,该目标框示出第二训练图片包含第一训练图片的图片内容的部分。11.根据权利要求10所述的系统,其中所述边框回归层包括第一隐层,第二隐层和输出层;所述端到端训练包括:根据所述目标框的位置,在所述第二训练图片的N个区域中,确定该目标框所位于的特定区域,并根据该特定区域确定所述目标框的区域标签;通过所述第一隐层,预测第一训练图片位于所述各个区域的预测区域概率;通过所述第二隐层,在各个区域中生成备选边框;确定各个备选边框与所述目标框的交并比,作为该备选边框的置信度;至少基于所述区域标签和所述预测区域概率,所述备选边框的置信度,所述备选边框以及所述目标框的大小及位置,调整所述第一隐层、第二隐层和输出层的参数,从而训练所述神经网络系统。12.一种计算机执行的、用于图片匹配定位的方法,包括:对第一图片进行第一卷积处理,得到与第一图片对应的第一卷积特征图;其中所述第一图片为待匹配图片;对所述第一卷积特征图进行池化操作,生成维度为第一数目的第一特征向量;对第二图片进行卷积处理,得到第二图片所包含的N个区域分别对应的N个特征向量,所述N个特征向量维度为所述第一数目;所述第二图片为待搜索图片;将所述第一...
【专利技术属性】
技术研发人员:巢林林,徐娟,褚崴,
申请(专利权)人:阿里巴巴集团控股有限公司,
类型:发明
国别省市:开曼群岛,KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。