用于图片匹配定位的神经网络系统,方法及装置制造方法及图纸

技术编号:20177751 阅读:33 留言:0更新日期:2019-01-23 00:40
本说明书实施例提供一种计算机执行的用于图片匹配定位的神经网络系统。该神经网络系统第一卷积网络,第二卷积网络,组合层和边框回归层,其中第一卷积网络对第一图片进行卷积处理和池化操作,得到与第一图片对应的维度为第一数目的第一特征向量;第二卷积网络对第二图片进行卷积处理,得到第二图片所包含的N个区域分别对应的N个特征向量,其维度也为第一数目;组合层将所述第一特征向量分别与N个特征向量进行组合操作,得到N个组合向量;边框回归层,至少基于所述N个组合向量,采用边框回归算法,在第二图片中输出预测边框的信息,所述预测边框指示出第二图片包含第一图片的图片内容的部分。

【技术实现步骤摘要】
用于图片匹配定位的神经网络系统,方法及装置
本说明书一个或多个实施例涉及计算机图像处理领域,尤其涉及用于图片的匹配和定位的神经网络系统、方法和装置。
技术介绍
人工智能和机器学习已经广泛地应用在计算机图像处理领域,智能地进行图像分析、对比、匹配以及目标识别等,其中图像的匹配和匹配定位是常常面对的问题。简单来说,图像匹配是指,判断两幅图像是否相似,或者是否为同一内容;而图像匹配定位是指,找出一幅图所示内容在另一幅图中的位置。传统的匹配定位算法一般采用先遍历搜索各种大小的图块,再对这些图块逐个对比的方式进行匹配和定位。这样的方案时间复杂度很高,并且这样两步式的方案很难进行统一的整体优化。因此,希望能有改进的方案,更加快速高效地进行图像的匹配定位。
技术实现思路
本说明书一个或多个实施例描述了用于图片匹配定位的神经网络系统和方法,从而快速高效并一体化地进行图片的匹配和定位。根据第一方面,提供了一种计算机执行的、用于图片匹配定位的神经网络系统,包括:第一卷积网络,包括第一卷积层,以及池化层,所述第一卷积层对第一图片进行卷积处理,得到与第一图片对应的第一卷积特征图;所述池化层对所述第一卷积特征图进行池化操作,生成维度为第一数目的第一特征向量,其中所述第一图片为待匹配图片;第二卷积网络,对第二图片进行卷积处理,得到第二图片所包含的N个区域分别对应的N个特征向量,所述N个特征向量维度为所述第一数目;所述第二图片为待搜索图片;组合层,将所述第一特征向量分别与所述N个特征向量进行组合操作,得到N个组合向量;边框回归层,至少基于所述N个组合向量,在第二图片中输出预测边框的信息,所述预测边框指示出第二图片包含第一图片的图片内容的区域。在一个实施例中,第二卷积网络包括第二卷积层和特征提取层,其中第二卷积层对所述第二图片进行卷积处理,得到与第二图片对应的第二卷积特征图;特征提取层基于所述第二卷积特征图,提取所述N个区域分别对应的N个特征向量。进一步地,根据一种设计,第二卷积层与第一卷积层为共同的卷积层。根据一种实施方式,所述N个区域是按照预定分割规则,分割得到。根据另一种实施方式,所述N个区域通过选择性搜索算法,或通过区域生成网络而生成。根据一种实施方式,组合层进行的组合操作包括,向量点积操作。根据一种可能的设计,边框回归层包括第一隐层、第二隐层和输出层;所述第一隐层确定所述第一图片出现在所述N个区域中各个区域的区域概率;所述第二隐层在至少一个区域中生成备选边框,并得出各个备选边框的置信度;所述输出层根据各个区域的区域概率和各个备选边框的置信度,输出预测边框的信息,所述预测边框的信息包括,该预测边框的坐标,该预测边框对应的区域概率和置信度。进一步地,在一种设计中,所述第二隐层在区域概率大于预设阈值的区域中,生成备选边框。在一种实施例中,所述输出层将对应的区域概率和置信度的乘积最大的备选边框作为所述预测边框。根据一种实施方式,神经网络系统通过训练样本端到端训练得到,所述训练样本包括多个图片对,每个图片对包括第一训练图片和第二训练图片,第二训练图片中标注有目标框,该目标框示出第二训练图片包含第一训练图片的图片内容的区域。进一步地,在一个实施例中,边框回归层包括第一隐层和第二隐层;在这样的情况下,所述端到端训练包括:根据所述目标框的位置,在所述第二训练图片的N个区域中,确定该目标框所位于的特定区域,并根据该特定区域确定所述目标框的区域标签;通过所述第一隐层,预测第一训练图片位于所述各个区域的预测区域概率;通过所述第二隐层,在各个区域中生成备选边框;确定各个备选边框与所述目标框的交并比,作为该备选边框的置信度;至少基于所述区域标签和所述预测区域概率,以及所述备选边框的置信度,调整所述第一隐层和第二隐层的网络层参数,从而训练所述神经网络系统。根据第二方面,提供一种计算机执行的、用于图片匹配定位的方法,包括:对第一图片进行第一卷积处理,得到与第一图片对应的第一卷积特征图;其中所述第一图片为待匹配图片;对所述第一卷积特征图进行池化操作,生成维度为第一数目的第一特征向量;对第二图片进行卷积处理,得到第二图片所包含的N个区域分别对应的N个特征向量,所述N个特征向量维度为所述第一数目;所述第二图片为待搜索图片;将所述第一特征向量分别与所述N个特征向量进行组合操作,得到N个组合向量;至少基于所述N个组合向量,采用边框回归算法,在第二图片中输出预测边框的信息,所述预测边框指示出第二图片包含第一图片的图片内容的部分。根据第三方面,提供一种用于图片匹配定位的装置,包括:第一卷积单元,配置为对第一图片进行第一卷积处理,得到与第一图片对应的第一卷积特征图;其中所述第一图片为待匹配图片;池化单元,配置为对所述第一卷积特征图进行池化操作,生成维度为第一数目的第一特征向量;第二卷积单元,配置为对第二图片进行卷积处理,得到第二图片所包含的N个区域分别对应的N个特征向量,所述N个特征向量维度为所述第一数目;所述第二图片为待搜索图片;组合单元,配置为将所述第一特征向量分别与所述N个特征向量进行组合操作,得到N个组合向量;预测单元,配置为至少基于所述N个组合向量,采用边框回归算法,在第二图片中输出预测边框的信息,所述预测边框指示出第二图片包含第一图片的图片内容的部分。根据第四方面,提供了一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面的神经网络系统。通过本说明书实施例提供的方案,通过两分支的神经网络系统,实现图片的快速匹配定位,在待搜索图片中用边框框选出包含待匹配图片的区域。在这个过程中,匹配与定位同步实现,提高了处理效率,提升了处理性能。附图说明为了更清楚地说明本专利技术实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。图1示出本说明书披露的一个实施例的实施场景示意图;图2示出根据一个实施例的神经网络系统的结构示意图;图3示出根据一个实施例的第二卷积网络的结构示意图;图4示出根据另一个实施例的第二卷积网络的结构示意图;图5示出根据一个实施例的边框回归层的结构示意图;图6示出根据一个实施例的预测结果示意图;图7示出根据一个实施例的用于图片匹配定位的方法;图8示出根据一个实施例的确定预测边框的流程图;图9示出根据一个实施例的图片匹配定位装置的示意性框图。具体实施方式下面结合附图,对本说明书提供的方案进行描述。图1为本说明书披露的一个实施例的实施场景示意图。根据本说明书的实施例,采用标注好的图片对,作为训练样本训练一个神经网络模型。在该神经网络训练好之后,即可以用于对图片进行匹配定位。具体而言,该神经网络具有两个分支,具有双分支的结构。将待匹配图输入第一分支,将待搜索图输入第二分支,训练好的神经网络即可输出匹配定位的预测结果,一般地,该预测结果至少包括,用预测边框在待搜索图中框出包含待匹配图内容的部分。因此,该神经网络可以同时进行匹配和定位,直接输出图片的匹配定位结果。为了实现以上图片的匹配定位,上述神经网络在两个分支分别对两个图片,即待匹本文档来自技高网...

【技术保护点】
1.一种计算机执行的、用于图片匹配定位的神经网络系统,包括:第一卷积网络,包括第一卷积层,以及池化层,所述第一卷积层对第一图片进行卷积处理,得到与第一图片对应的第一卷积特征图;所述池化层对所述第一卷积特征图进行池化操作,生成维度为第一数目的第一特征向量,其中所述第一图片为待匹配图片;第二卷积网络,对第二图片进行卷积处理,得到第二图片所包含的N个区域分别对应的N个特征向量,所述N个特征向量维度为所述第一数目;所述第二图片为待搜索图片;组合层,将所述第一特征向量分别与所述N个特征向量进行组合操作,得到N个组合向量;边框回归层,至少基于所述N个组合向量,采用边框回归算法,在第二图片中输出预测边框的信息,所述预测边框指示出第二图片包含第一图片的图片内容的部分。

【技术特征摘要】
1.一种计算机执行的、用于图片匹配定位的神经网络系统,包括:第一卷积网络,包括第一卷积层,以及池化层,所述第一卷积层对第一图片进行卷积处理,得到与第一图片对应的第一卷积特征图;所述池化层对所述第一卷积特征图进行池化操作,生成维度为第一数目的第一特征向量,其中所述第一图片为待匹配图片;第二卷积网络,对第二图片进行卷积处理,得到第二图片所包含的N个区域分别对应的N个特征向量,所述N个特征向量维度为所述第一数目;所述第二图片为待搜索图片;组合层,将所述第一特征向量分别与所述N个特征向量进行组合操作,得到N个组合向量;边框回归层,至少基于所述N个组合向量,采用边框回归算法,在第二图片中输出预测边框的信息,所述预测边框指示出第二图片包含第一图片的图片内容的部分。2.根据权利要求1所述的系统,其中所述第二卷积网络包括第二卷积层和特征提取层,所述第二卷积层对所述第二图片进行卷积处理,得到与第二图片对应的第二卷积特征图;所述特征提取层基于所述第二卷积特征图,提取所述N个区域分别对应的N个特征向量。3.根据权利要求2所述的系统,其中所述第二卷积层与所述第一卷积层为共同的卷积层。4.根据权利要求1所述的系统,其中所述N个区域是按照预定分割规则,分割得到。5.根据权利要求1所述的系统,其中所述N个区域通过选择性搜索算法,或通过区域生成网络而生成。6.根据权利要求1所述的系统,其中所述组合层进行的组合操作包括,向量点积操作。7.根据权利要求1所述的系统,其中所述边框回归层包括第一隐层、第二隐层和输出层;所述第一隐层确定所述第一图片出现在所述N个区域中各个区域的区域概率;所述第二隐层在至少一个区域中生成备选边框,并得出各个备选边框的置信度;所述输出层根据各个区域的区域概率和各个备选边框的置信度,输出预测边框的信息,所述预测边框的信息包括,该预测边框的坐标,该预测边框对应的区域概率和置信度。8.根据权利要求7所述的系统,其中所述第二隐层在区域概率大于预设阈值的区域中,生成备选边框。9.根据权利要求7所述的系统,其中所述输出层将对应的区域概率和置信度的乘积最大的备选边框作为所述预测边框。10.根据权利要求1所述的系统,其中所述神经网络系统通过训练样本端到端训练得到,所述训练样本包括多个图片对,每个图片对包括第一训练图片和第二训练图片,第二训练图片中标注有目标框,该目标框示出第二训练图片包含第一训练图片的图片内容的部分。11.根据权利要求10所述的系统,其中所述边框回归层包括第一隐层,第二隐层和输出层;所述端到端训练包括:根据所述目标框的位置,在所述第二训练图片的N个区域中,确定该目标框所位于的特定区域,并根据该特定区域确定所述目标框的区域标签;通过所述第一隐层,预测第一训练图片位于所述各个区域的预测区域概率;通过所述第二隐层,在各个区域中生成备选边框;确定各个备选边框与所述目标框的交并比,作为该备选边框的置信度;至少基于所述区域标签和所述预测区域概率,所述备选边框的置信度,所述备选边框以及所述目标框的大小及位置,调整所述第一隐层、第二隐层和输出层的参数,从而训练所述神经网络系统。12.一种计算机执行的、用于图片匹配定位的方法,包括:对第一图片进行第一卷积处理,得到与第一图片对应的第一卷积特征图;其中所述第一图片为待匹配图片;对所述第一卷积特征图进行池化操作,生成维度为第一数目的第一特征向量;对第二图片进行卷积处理,得到第二图片所包含的N个区域分别对应的N个特征向量,所述N个特征向量维度为所述第一数目;所述第二图片为待搜索图片;将所述第一...

【专利技术属性】
技术研发人员:巢林林徐娟褚崴
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:开曼群岛,KY

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1