用于图像搜索的方法和系统技术方案

一种对类似于具有图案的帧的图像进行的实时反向图像搜索，所述实时反向图像搜索使用连接到网络并且可访问数字库的处理器来执行，该数字库存储多个矢量库以及与多个矢量中的每个相关联的相应图像/视频，该实时反向图像搜索包括：计算所述帧中的图案中的每个的表示以形成矢量，所述表示对应于矢量的维度；通过将所述维度的数量减少到约8％以及减少到图像的质量和矢量的大小之间的最大权衡中的一个来减小矢量的大小；在数字库中检测与所述帧的矢量最相似的多个矢量；并且经由网络实时地提供与所选择的多个矢量相关联的图像/视频，其中预先确定所提供的图像和视频的数量。

Methods and systems for image search

【技术实现步骤摘要】
用于图像搜索的方法和系统相关申请的交叉引用本申请要求2018年4月2日提交的名称为“METHODANDSYSTEMFORIMAGESEARCHING”的美国临时申请序列号62/651,304的权益，其通过引用整体并入本文。
本专利技术的系统大体上涉及反向图像搜索，并且具体地涉及在搜索字符串图像的代表帧中使用最小数量的对象维度来形成矢量，以及另外，在代表图像和视频的数字库或数据库中的图像和视频的矢量的聚类的子空间内执行反向图像搜索。
技术介绍
通常通过使用被称为“搜索引擎”的计算机程序在因特网上搜索图像和视频。搜索引擎需要输入描述图像的一些关键字以找到与描述有关的结果。例如，响应于所收到的关键字，诸如“苹果”，搜索引擎可以返回水果、苹果以及它可能识别为苹果的任何其他内容(诸如名称为“苹果”的公司的徽标)的图像。为了搜索图像，一些搜索引擎使用先进的技术。一种这样的技术是“反向图像搜索”。取代了关键字，反向图像搜索接受图像上传以用于搜索类似图像。例如，不是键入单词“苹果”而是上传水果“苹果”的图像，以便找到水果“苹果”的额外图像。通过图像识别技术的最新发展，这些技术已经得到了增强。增强功能识别静止图像或动态图像的形状、颜色等，确定哪些元素是主焦点，并从图像和视频或数据库的数字库中返回相关的“视觉上相似”的结果。然而，现有技术受限于关键字和图像搜索。因此，希望提供进一步增强和改善反向图像搜索的新技术。
技术实现思路
提供了对与具有一个或多个图案的代表帧类似的一个或多个图像的实时反向图像搜索，使用处理器来执行该搜索，该处理器连接到网络并且可访问至少一个数字库，该数字库存储多个矢量以及与多个矢量中的每个相关联的相应图像和视频，包括：在连接到网络并且具有至少一个视频摄像机的计算设备上，通过对感兴趣的对象训练至少一个视频摄像机和/或上传一个或多个图像来实时捕获；将所捕获的一个或多个图像中的至少一个确认为用作反向搜索中的输入的代表帧。在处理器上：为代表帧中的一个或多个图案中的每个计算一个或多个数学表示以形成代表矢量，该一个或多个数学表示对应于矢量的维度；通过将维度的数量减少到约8％以及减少到图像的质量和矢量的大小之间的最大权衡中的一个来减小矢量的大小；在至少一个数字库中检测与代表帧的矢量最相似的多个矢量中的一个或多个；并且经由网络实时提供与所选择的多个矢量中的一个或多个相关联的图像和视频，其中预先确定所提供的图像和视频的数量。根据本专利技术的反向图像搜索系统，接收动态图像或视频作为搜索输入。通过将算法加权应用于每个代表帧来确定搜索输入内的代表帧或多个代表帧。此外基于代表帧中包括的图案来确定搜索焦点。此后，执行反向搜索以确定具有类似图案的图像，并且将结果显示在用户设备上。搜索在图像和视频或数据库的数字库中执行。为了执行搜索，本专利技术系统的实施方式形成描述代表帧中的对象或图案的搜索矢量。其是代表一组或一系列图像的帧，或视频流中的序列帧。然后，例如通过使用卷积神经网络技术来减小搜索矢量的大小。然后，使用计算的、缩小的搜索矢量来反向搜索对应于与代表帧相似的图像和视频的数字库中的图像或视频的聚类矢量。对应于数字库中的图像或视频的聚类矢量可以以与搜索矢量相同的方式形成，其通过从卷积神经网络(CNN)提取矢量然后将维度数量减少到约40个维度。专利技术人通过实验发现，使用CNN减少到40个维度优于主成分分析(PCA)，因为使用PCA将维度减少到96个维度以下导致表示质量的显著损失。基于矢量彼此的接近度或相似性将数字库中的矢量分组成聚类。因此，例如，代表汽车图像的矢量被分组在一起，并且代表卡车图像的矢量被分组在一起。随后，这些聚类实现了增强的图像搜索。此外，为了避免彻底搜索对应于每个数字库中的所有图像或视频的矢量，对矢量进行聚类以创建可搜索的子空间。在搜索时，可能存在远离其聚类中心的矢量，并且实际上与附近聚类中的矢量具有比中心附近的矢量更多的共同点。因此，本专利技术的系统对矢量进行重新聚类以创建不同的、更高数量的聚类，这为新聚类创建了不同的中心。在一个实施方式中，本专利技术的系统使用处理器来接收一个或多个静止图像和形成预先录制的或现场视频的图像。处理器可以从静止图像和/或视频中选择代表帧，并生成与相应代表帧中的图像对应的搜索矢量。然后可以将生成的搜索矢量与对应于其他图像的其他先前计算的和聚类的矢量进行比较，并存储在一个或多个数字库或数据库中。该比较(也称为搜索)可以返回代表在视觉上相似于所选择的代表帧的图像的矢量。在本专利技术的系统的另一实施方式中，在生成搜索矢量之前，可以编辑代表帧。首先，分析代表帧以确定或识别对象或图案。然后，可以删除识别的对象或图案，并且可以将附加的、先前不存在的对象或图案添加到代表图像。在编辑完成之后，生成对应于代表帧的矢量。如上所述，根据本专利技术的系统，静止和动态图像或视频可用于选择代表帧以便形成对应的矢量。这允许使用例如直接从视频摄像机捕获的现场视频流来实时地执行反向图像搜索。另外，本专利技术的系统提供的编辑能力使得能够增强和校正失焦的图像的部分。本专利技术的系统包括从一个或多个图像中的至少一个中确认代表帧和代表帧中的一个或多个图案；计算对应于代表帧的一个或多个图案中的每个的矢量，其中代表帧中的图案由数学表示(例如，具有减小的大小的矢量)代表。根据对下面描述的实施方式的讨论，这些和其他优点将是显而易见的。前述内容是简化的概述，用于提供对本专利技术系统的一些实施方式的理解。该概述不是对本专利技术的系统及其各种实施方式的公开的广泛或详尽的总结。该概述以简化的形式呈现了本专利技术的系统的实施方式所选择的概念，作为对以下更详细描述的介绍。如将理解的，本公开的其他实施方式可以单独地或组合地利用以上阐述的或下面详细描述的特征中的一个或多个。附图说明考虑到以下对本专利技术的实施方式的详细描述，特别是当结合随附附图时，本专利技术的系统的上述和其它特征和优点将变得显而易见，其中在各个附图中使用相同的参考标记来指定相同的组件，并且其中：图1是根据本专利技术的系统的优选实施方式的用于执行反向图像搜索的系统的示意图；图2是根据本专利技术的系统的优选实施方式的形成代表帧或图像的图案信息的矢量以及构建相应图像的图案信息的矢量的数字库或数据库的方法的流程图；图3A和图3B是示出根据本专利技术的系统的优选实施方式的用于形成矢量的卷积神经网络(CNN)过程的序列；图4是根据本专利技术的系统的优选实施方式的示例性图像及其矢量；图5是根据本专利技术的系统的优选实施方式的将图4的初始矢量减小为输出矢量的示例；图6A是图像矢量分布的示例的2-维和3-维表示；图6B是示出根据本专利技术的系统的优选实施方式的图像的矢量的聚类的示意图；图7是根据本专利技术的系统的优选实施方式的矢量的分布、它们的聚类、通过使用不同数量的聚类对矢量进行重新聚类而校正“边缘问题”的图示说明；图8A-图8C是根据本专利技术的系统的优选实施方式的对应于图7中示出的示例性聚类中的矢量的图像的示例；图9是示出了根据本专利技术的系统的优选实施方式的用于从视频中选择一个或多个代表帧的方法的步骤的流程图；图10是示出根据本专利技术的系统的优选实施方式的用于执行反向图像搜索的方法的步骤的流程图；图11是根据本专利技术的系统的优选实施方式的用于执行反向图像搜索的方法的用户界面的屏幕截本文档来自技高网...

【技术保护点】
1.一种对类似于具有一个或多个图案的代表帧的一个或多个图像进行实时反向图像搜索的方法，所述方法包括以下步骤：提供连接到网络的计算设备，所述计算设备：实时捕获一个或多个图像；以及将所捕获的一个或多个图像中的至少一个确认为所述代表帧，用作反向搜索中的输入；提供处理器，所述处理器连接到所述网络并且可访问至少一个数字库，所述数字库存储多个矢量以及与所述多个矢量中的每个相关联的相应图像和视频，所述处理器：为所述代表帧中的所述一个或多个图案中的每个计算一个或多个数学表示，以形成代表矢量，所述一个或多个数学表示对应于所述矢量的维度；通过将所述维度的数量减少到约8％以及减少到所述图像的质量和所述矢量的大小之间的最大权衡中的一个来减小所述矢量的大小；在所述至少一个数字库中检测与所述代表帧的矢量最相似的所述多个矢量中的一个或多个；以及经由所述网络实时提供与所选择的多个矢量中的一个或多个相关联的图像和视频，其中预先确定所提供的图像和视频的数量。

【技术特征摘要】
2018.04.02 US 62/651,304;2018.09.18 US 16/133,7541.一种对类似于具有一个或多个图案的代表帧的一个或多个图像进行实时反向图像搜索的方法，所述方法包括以下步骤：提供连接到网络的计算设备，所述计算设备：实时捕获一个或多个图像；以及将所捕获的一个或多个图像中的至少一个确认为所述代表帧，用作反向搜索中的输入；提供处理器，所述处理器连接到所述网络并且可访问至少一个数字库，所述数字库存储多个矢量以及与所述多个矢量中的每个相关联的相应图像和视频，所述处理器：为所述代表帧中的所述一个或多个图案中的每个计算一个或多个数学表示，以形成代表矢量，所述一个或多个数学表示对应于所述矢量的维度；通过将所述维度的数量减少到约8％以及减少到所述图像的质量和所述矢量的大小之间的最大权衡中的一个来减小所述矢量的大小；在所述至少一个数字库中检测与所述代表帧的矢量最相似的所述多个矢量中的一个或多个；以及经由所述网络实时提供与所选择的多个矢量中的一个或多个相关联的图像和视频，其中预先确定所提供的图像和视频的数量。2.根据权利要求1所述的方法，其中，所述计算设备包括至少一个视频摄像机，并且所述捕获选自以下中的一个：针对所述感兴趣的对象训练所述至少一个视频摄像机，和/或上载图像和视频。3.根据权利要求2所述的方法，其中，响应于所述代表帧的背景的改变而自动更新所捕获的一个或多个图像。4.根据权利要求1所述的方法，其中，所述代表帧包括多个代表帧，并且所述多个代表帧中的至少一个是预先选择的代表帧和实时选择的代表帧中的一个。5.根据权利要求1所述的方法，其中，确认所述代表帧包括以下步骤：选择所述视频的第一多个帧；对于每帧，计算每个颜色值的像素数量，所述颜色值选自RGB、YUV和LAB中的一个，其中所述颜色值的分量被单独处理，并且基于所述分量的所述颜色值和缩放比例利用公式来计算分数，所述缩放比例基于所述帧中的像素总数，所述公式为分数＝log2(1.0+缩放比例×像素数量)；以及将每帧中的所有分数的总和与所有所述第一多个帧的所有分数的总和进行比较，其中选择具有所有分数的总和最高的所述第一多个帧的帧作为所述代表帧。6.根据权利要求5所述的方法，其中，确认所述代表帧的步骤还包括以下步骤：接收所捕获的一个或多个图像中的至少一个作为静止图像和/或视频，所捕获的一个或多个图像选自2-维图像和3-维图像；以及通过将所述一个或多个图案的部分从所述代表帧中移除和/或将一个或多个图案添加到所述代表帧来编辑所述代表帧。7.根据权利要求6所述的方法，还包括确认对应于所检测的所述多个矢量中的一个或多个的图像的一个或多个属性的步骤，其中所述属性选自选自大小、与所述代表帧的相似度、颜色、值和所述至少一个数字库的特定数字库的成员中的至少一个。8.根据权利要求6所述的方法，其中，将一个或多个图案添加到所述代表帧的步骤包括以下步骤：将一个或多个附加图案叠加到所述代表帧上，以及改变所叠加的一个或多个附加图案在所编辑的代表帧中的大小、角度和位置中的任一个。9.根据权利要求1所述的方法，还包括以下步骤：将所述至少一个数字库中的所述多个矢量聚类以形成第一数量的聚类；以及重新聚类所述多个矢量以形成与所述第一数量不同的第二数量的聚类，其中动态地确定聚类的数量以校正边缘问题。10.根据权利要求9所述的方法，其中，在所述反向搜索中使用重新聚类集的并集，并且由于所述代表帧的改变而自动更新所述聚类和重新聚类。11.根据权利要求1所述的方法，其中，所述数学表示是一个或多个图案中的每个出现在所述代表...

【专利技术属性】
技术研发人员：卡尔·阿斯曼，乔纳斯·佩尔松，马库斯·恩格内，
申请(专利权)人：庞德五公司，
类型：发明
国别省市：美国,US