计算机视觉和图像特征搜索制造技术

描述了计算机视觉和图像特征搜索。所描述的系统通过以下方式来利用视觉搜索技术：确定图像中所描绘的对象的视觉特征，并且将所确定的特征与其他图像的视觉特征进行比较，例如以便识别其他图像中的相似视觉特征。在一些方面，所描述的系统执行利用数字图像作为搜索查询的一部分的搜索，以找出感兴趣的数字内容。在一些方面，所描述的系统显现多个用户界面工具，该多个用户界面工具包括图案、纹理或材料的图像，并且可被选择以启动对具有相似图案、纹理或材料的数字内容的视觉搜索。所描述的方面还包括基于图案的认证，其中，系统基于图像的视觉特征与已知真品物品的视觉特征的相似性来确定图像中物品的真品性。

【技术实现步骤摘要】
【国外来华专利技术】计算机视觉和图像特征搜索相关申请本申请要求于2018年12月28日提交的题为“计算机视觉和图像特征搜索”的美国申请16/235,140的优先权，根据35U.S.C.§119(e)，16/235,140要求于2017年12月29日提交的题为“计算机视觉”的美国临时专利申请第62/612,275号的优先权，其全部公开内容通过引用并入于此。
技术介绍
常规的基于文本的搜索系统取决于用户的使用文本表达搜索目标的能力。因此，尽管这些系统在使用文本可以容易地表达目标的情况下(例如，找到“红色跑鞋”)可以很好地发挥作用，但是在难以使用文本表达该目标的情况下，这些系统可能会失败。这个问题进一步被这些常规系统中的以下要求加剧了：在如何识别搜索结果中的物品与用于表达目标的技术之间要达成共识，例如，列出物品的卖方和搜索该物品的潜在买方二者同意用如“红色跑鞋”的文本来描述该物品。此外，用户提供的文本描述以及描述图像中所描绘的物品的文本描述可能不准确。因此，依赖于这些用户提供的描述来列出物品的常规系统可能例如通过将具有不准确描述的列表显现给其他用户而传播对物品的不准确描述。
技术实现思路
为了克服这些问题，在数字媒体环境中利用了计算机视觉和图像特征搜索。不是通过将文本查询与图像的文本数据进行比较来搜索图像，本文中描述的系统而是利用视觉搜索技术，其中该系统确定图像中描绘的对象的视觉特征，并将确定的特征与其他图像的视觉特征进行比较，例如以便识别其他图像是否具有相似的视觉特征。在一些方面，所描述的系统执行利用数字图像作为搜索查询的一部分的搜索，以找出感兴趣的数字内容，例如，特定商品和服务的列表。这些数字图像可以用于识别以其他方式可能难以描述的特征，例如图案、对象的形状(例如，具有特定形状的领子、鞋子上的后跟的类型)等。在一些方面，所描述的系统显现多个用户界面工具，该多个用户界面工具包括图案、纹理或材料的图像，并且可被选择以启动对具有相似图案、纹理或材料的数字内容的视觉搜索。所描述的方面还包括基于图案的认证，其中，系统基于图像的视觉特征与已知真品物品的视觉特征(例如缝合图案、部件移动等)的相似性来确定图像中物品的真品性。本
技术实现思路
以简化的形式介绍了以下在具体实施方式中进一步描述的一些概念。这样，本
技术实现思路
既不意图标识所要求保护的主题的必要特征，也不意图用作帮助确定所要求保护的主题的范围。附图说明参照附图描述具体实施方式。图1是可操作为采用本文中所描述的技术的示例实现方式中的环境的图示。图2描绘了其中更详细地描绘了图1的相机平台管理器模块的操作的示例系统。图3A至图3B描绘了用户与相机平台进行交互以基于推断的图像特征来定义和完善图像搜索的示例实现。图4描绘了示例实现方式中的多个数字图像被用于推断特征的过程，其中该特征将被用作执行对数字内容的搜索的基础。图5A至图5B描绘了图像搜索的示例和实现。图6描绘了可操作成采用具有本文中所述的图案、纹理和材料的列表的一些方面的另一示例环境。图7描绘了具有多个不同图案的图像的示例用户界面，所述图像被呈现以使得能够执行视觉列表数据的视觉搜索。图8描绘了拍摄要被列出的物品的图像的示例场景。图9描绘了示例实现方式中的具有图案的多个可选图像的用户界面被用于对图像进行视觉搜索的过程。图10描绘了可操作成采用本文所述的基于图案的认证的一些方面的另一示例环境。图11描绘了客户端设备用户使用移动设备来拍摄物品的视觉内容的示例场景，其中该物品被选择为作为真品列出。图12描绘了示例实现方式中的基于真品的已知视觉特征确定要以列表服务列出的物品是真品还是非真品的过程。图13示出了包括示例设备的各种部件的示例系统，该示例设备可以实现为参照图1至图12描述和/或利用的任何类型的计算设备，以实现本文中描述的技术的实施方式。具体实施方式概述常规的基于文本的搜索系统取决于用户使用文本表达搜索目标的能力。因此，尽管这些系统在使用文本可以容易地表达目标的情况下(例如，找到“红色跑鞋”)可以很好地发挥作用，但是在难以使用文本表达该目标的情况下，这些系统可能会失败。这个问题进一步被这些常规系统中的以下要求加剧了：在如何识别搜索结果中的物品与用于表达目标的技术之间要达成共识。为了克服这些问题，在数字媒体环境中利用了计算机视觉和图像特征搜索。不是利用将文本查询与图像的文本数据(例如，元数据)进行比较的图像搜索，本文中描述的系统而是利用视觉搜索技术，其中该系统确定图像中描绘的对象的视觉特征，并将确定的特征与其他图像的视觉特征进行比较，例如以便识别其他图像是否具有相似的视觉特征。在一些方面，所描述的系统执行利用多个数字图像作为搜索查询的一部分的搜索，以找出感兴趣的数字内容，例如，特定商品和服务的列表。这些数字图像可以用于识别以其他方式可能难以描述的特征，例如图案、对象的形状(例如，具有特定形状的领子、鞋子上的后跟的类型)等。例如，在一些场景下，所描述的系统呈现用户界面，该用户界面允许用户例如从图像的存储库和/或图像的实况馈送中选择多个不同的数字图像或图像的部分。然后，所描述的系统使用不同数字图像或部分图像的相应视觉特征来识别感兴趣的数字内容。所描述的系统还被配置成经由用户界面接收提供图案的用户输入，诸如绘制图案的用户输入(例如，使用手写笔或触摸输入设备)。然后，所描述的系统使用用户所提供的图画的视觉特征作为用于执行基于图像的搜索的基础。鉴于这样的用户输入，系统识别并呈现基于用户所提供的图画的搜索结果。所描述的系统还能够使用第一所选图像中描绘的第一特征(例如，对象的形状)和第二所选图像中描绘的第二特征(例如，图案)来找出具有第一特征和第二特征二者(例如，描绘具有该形状和该图案的对象)的数字视觉内容(例如，单个图像)。这使得所描述的系统能够将搜索结果与用户难以使用文本表达的搜索目标进行匹配。实际上，所描述的系统减轻用户必须使用文本来传达他们的搜索目标的负担，并且还允许他们用不同图像传达搜索目标的不同部分。在一些方面，所描述的系统显现多个用户界面工具，该多个用户界面工具包括图案、纹理或材料的图像。这些工具中的每一个是可选择的，以启动对具有相似图案、纹理或材料的数字内容的视觉搜索。例如，对于正在向系统提供输入的客户端设备用户而言描述图案(诸如具有不同数量和大小的竖直条和水平条的特定格子图案)可能是困难的。为此，系统向搜索用户显现了包括描绘不同图案的多个用户界面工具的用户界面。这些图案是可选择的，例如利用触摸输入、手写笔输入、语音输入等。响应于这样的选择，系统使用描述图案的所选图像或其一部分的数据(例如，一个或多个特征向量)作为搜索查询来启动视觉搜索。所描述的方面还包括基于图案的认证。在此，所描述的系统基于图像中描绘的物品的视觉特征与已知真品物品的视觉特征(例如缝合图案、部件移动等)的相似性，来确定该物品的真品性。在这些场景下，系统获得将要被列为真品的产品或服务的视觉内容(例如，一个或多个图像或视本文档来自技高网...

【技术保护点】
1.一种由至少一个计算设备实现的方法，所述方法包括：/n由所述至少一个计算设备监视与用户界面的用户交互，所述用户界面输出数字图像的实况馈送；/n由所述至少一个计算设备检测对所述数字图像中的至少一个数字图像的用户选择；/n由所述至少一个计算设备通过与所述实况馈送的至少一个其他数字图像的比较，来推断所选择的数字图像的特征；/n由所述至少一个计算设备至少部分地基于所推断的特征来生成搜索查询；以及/n由所述至少一个计算设备基于所述搜索查询在所述用户界面中输出搜索结果。/n

【技术特征摘要】
【国外来华专利技术】20171229 US 62/612,2751.一种由至少一个计算设备实现的方法，所述方法包括：
由所述至少一个计算设备监视与用户界面的用户交互，所述用户界面输出数字图像的实况馈送；
由所述至少一个计算设备检测对所述数字图像中的至少一个数字图像的用户选择；
由所述至少一个计算设备通过与所述实况馈送的至少一个其他数字图像的比较，来推断所选择的数字图像的特征；
由所述至少一个计算设备至少部分地基于所推断的特征来生成搜索查询；以及
由所述至少一个计算设备基于所述搜索查询在所述用户界面中输出搜索结果。


2.根据权利要求1所述的方法，还包括：
检测对所述数字图像中的至少第二数字图像的用户选择；
推断所述第二数字图像的不同特征，所推断的不同特征与所述推断的特征不同；以及
基于所述推断的特征和所述推断的不同特征二者生成所述搜索查询。


3.根据权利要求2所述的方法，其中，所述搜索结果包括具有第一特征和第二特征的数字内容，所述第一特征与所述推断的特征相似，所述第二特征与所述推断的不同特征相似。


4.根据权利要求1所述的方法，其中，推断所述特征是基于所选择的数字图像和所述至少一个其他数字图像的缩放量。


5.根据权利要求1所述的方法，其中，推断所述特征是部分地基于所选择的数字图像是描绘对象的整体还是所述对象的有限部分。


6.根据权利要求1所述的方法，其中，所述推断的特征是在所述数字图像中部分地描绘的对象的图案、材料或纹理之一。


7.根据权利要求1所述的方法，其中，所述推断的特征是在所述数字图像中整体描绘的对象的形状。


8.根据权利要求1所述的方法，还包括：经由所述用户界面输出工具，所述工具可被选择以购买在所述搜索结果的数字图像中描绘的对象。


9.一种由至少一个计算设备实现的方法，所述方法包括：
由所述至少一个计算设备经由用户界面呈现多个图像，所述图像中的每一个描绘不同的图案；
由所述至少一个计算设备接收对所述图像之一的选择；
由所述至少一个计算设备将包括所选择的图像的搜索查询发送至列表服务，所述列表服务被配置成生成描述所选择的图像的相应图案的数据，并且基于生成的数据识别具有与所述相应图案匹配的图案的被列物品；
由所述至少一个计算设备接收搜索结果，所述搜索结果包括具有匹配图案的至少一个识别的物品；以及
由所述至少一个计算设备经由所述用户界面呈现描绘所述至少一个识别...

【专利技术属性】
技术研发人员：鲁宾逊·皮拉穆图，蒂莫西·塞缪尔·基弗，肯尼斯·克拉克·克鲁克斯顿，阿什米特·辛格·列希，尼亚兹·艾哈迈德·哈贾纳齐穆迪恩，帕德马普里亚·古迪帕蒂，林晨，约翰·F·韦格尔，钟福俊，苏奇特拉·拉梅什，穆罕默德哈迪·基亚普尔，郑帅，阿尔韦托·奥多涅斯佩雷拉，拉温德拉·苏里亚·兰卡，姆德·阿提克·乌尔·伊斯兰，尼古拉斯·安托尼·怀特，吉里达兰·延加尔，布赖恩·艾伦·普卢默，
申请(专利权)人：电子湾有限公司，
类型：发明
国别省市：美国;US