计算机通信网络上基于属性的可视化搜索的系统和方法技术方案

一种视觉搜索系统包括计算设备，该计算设备包括：图像处理引擎，用于生成表示图像输入中的用户所选择对象的特征矢量；对象检测引擎，用于在图像输入中定位一个或多个对象并且用于从图像输入中的对象确定用户所选择对象的类别，对象检测引擎使用类别生成针对用户所选择对象的多个属性；用于存储多个表的产品数据存储，多个表存储与用户所选择对象的类别相关联的一个或多个属性；属性生成引擎，用于为用户所选择对象的每个属性生成多个属性选项；以及属性匹配引擎，用于比较用户所选择对象的属性和属性选项以及视觉上相似的产品和图像的属性和属性选项。的属性和属性选项。的属性和属性选项。

【技术实现步骤摘要】
【国外来华专利技术】计算机通信网络上基于属性的可视化搜索的系统和方法


[0001]本公开总体上涉及计算和通信的领域，并且特别地但非排他性地涉及用于使用实物的用户所指定的属性在计算机通信网络上执行视觉搜索的系统和方法。

技术实现思路

[0002]描述了一种视觉搜索系统和方法，该系统和方法使用从移动或其他计算设备的用户接收的图像输入作为搜索查询，以生成视觉上相似的产品和图像的图像搜索结果。图像输入可以包括由用户在图像中特别指定或标识的用户感兴趣的一个或多个对象。在用户选择了图像中的对象时，视觉搜索系统和方法确定针对该对象的类别，然后确定与所选择的对象的类别中的对象相关联的属性。类别和所确定的属性的组合使得该系统和方法能够确定和显示针对与用户所选择对象相关联的属性中的每个属性的用户可选择选项。搜索查询、类别、属性和相关属性选项在视觉搜索系统和方法中被使用，以生成视觉上类似于用户所选择对象的产品和图像的列表。
[0003]在确定用于显示给用户的属性选项时，该系统和方法标识选项并且以用户的偏好的顺序显示这些选项，如从针对类别中的对象的用户选择的监测所确定的，或者以与用户所选择对象的相对视觉相似性的顺序来显示这些选项。属性选项被显示在用户界面内，并且在被选择时，能够启用在视觉上类似于用户所选择对象的产品和图像的搜索、标识和取回，包括搜索查询。
[0004]提供本
技术实现思路
以便以简化的形式介绍概念的选择，这些概念将在下面的详细描述中进一步描述。本
技术实现思路
既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

技术介绍

[0005]互联网用于搜索和取回大量信息的使用持续增长，因此需要增强以各种方式和格式搜索、查看、评估和显示信息的能力。视觉搜索能力越来越重要，并且几乎每天都有新能力出现。
[0006]然而，当前的视觉搜索服务的阵列通常执行类似的功能。由这些设备所执行的功能包括分别使用诸如移动设备中的数字图像捕获软件和嵌入式相机等资源来处理来自在线和离线资源的图像。这些图像然后可以由这些视觉搜索服务处理，并且被用于定位在结构或功能上与图像中所示的产品相似的产品。一些当代视觉搜索服务还可以用于帮助用户确定在哪里购买这些图像中所示的产品，或者甚至找到在样式或颜色上与所接收的图像中所示的产品相似的产品。
[0007]尽管具有这些显著进步的重要性，但是当代视觉搜索服务在执行搜索这些产品之前，几乎没有提供或者几乎没有能力动态地适配或调节与所接收的图像中所示的感兴趣产品相关联的属性。视觉搜索服务也没有能力向用户提供在执行搜索以查找和显示具有类似用户指定属性的产品之前定制与产品相关联的属性。
[0008]因此，对于智能的基于属性的视觉搜索系统和方法存在大量且快速增长的需求，该系统和方法将使用户能够与视觉搜索服务动态交互并且能够交互式地调节由视觉搜索服务所使用的图像中的感兴趣产品的属性。
附图说明
[0009]参考以下附图描述非限制性和非穷举性的实施例，其中除非另外指明，否则贯穿各个视图，相同的附图标记表示相同的部分。
[0010]图1是一个实施例中的针对视觉搜索系统的操作环境的图示。
[0011]图2是一个实施例中的在台式计算机的界面上所执行的视觉搜索的图示。
[0012]图3是一个实施例中的在移动设备的界面上所执行的视觉搜索的图示。
[0013]图4A是示出用于执行基于属性的视觉搜索的方法的一个实施例的流程图。
[0014]图4B是示出用于基于属性的视觉搜索结果匹配的方法的一个实施例的流程图。
[0015]图4C是示出用于对基于属性的视觉搜索结果进行排名的方法的一个实施例的流程图。
[0016]图5示出了示例性计算环境。
具体实施方式
[0017]下面的示例实施例涉及一种可以增加所返回的视觉搜索结果的相关性的搜索方法。下文所述的示例允许用户在执行定制视觉搜索查询之前在与视觉搜索服务交互时指定所接收的图像(诸如移动设备的相机拍摄的图像)中的感兴趣的对象的属性，上述定制视觉搜索查询是部分地从用户所指定的属性所产生的。以这种方式，用户所指定的属性可以用于指导视觉搜索。
[0018]以下描述的实施例的技术效果涉及从基于属性的视觉搜索过程确定在视觉上类似于查询图像中的用户所选择对象的产品。这些实施例引起更有效，更准确并且向用户提供更多相关信息的基于视觉的搜索。
[0019]如以下更详细地描述的，示例计算系统基于所接收的图像中的对象和用户所指定的属性来生成视觉搜索查询。该系统使用一种或多种对象检测方法对图像进行分析，以对图像中包括的对象进行分类和分类别。该系统取回与所选择的对象的类别相关联的默认预存储属性集，为所选择的对象生成属性集，然后生成属性选项的排名有序列表，以使得用户能够定制与所选择的对象相关联的选项，以用于执行针对视觉上相似的产品的视觉搜索的目的。向用户示出的属性选项最初是从与所选择的类别的对象相关联的预存储属性确定的，但可以基于从系统生成的定制属性选项进行修改。在用户选择了属性选项时，系统可以使用输入查询图像的表示、定制属性选项和多层学习排名计算性框架来执行视觉搜索，从该多层学习排名计算性框架产生与查询图像有关的产品和图像的一个或多个排名结果。
[0020]作为预备事项，一些附图在一个或多个结构组件的上下文中描述了概念，结构组件被不同地称为功能性、模块、特征、元件等。图中所示的各种组件可以以任何方式被实施，诸如软件、硬件、固件或其组合。在一些情况下，图中所示的各种组件可以反映实际实现中对应的组件的使用。在其他情况下，图中示出的任何单个组件可以由多个实际组件来实施。图中任何两个或更多个分开的组件的描绘可以反映由单个实际组件执行的不同功能。
[0021]其他附图以流程图形式描述了概念。以这种形式，某些操作被描述为构成以某个顺序执行的不同框。这样的实现是示例性且非限制性的。本文中描述的某些框可以组合在一起并且在单个操作中被执行，某些框可以被分解为多个组成框，并且某些框可以以与本文所示的顺序不同的顺序被执行，包括执行框的并行方式。流程图中示出的框可以由软件、硬件、固件、手动处理等来实施。如本文中使用的，硬件可以包括微处理器、数字信号处理器(DSP)、微控制器、计算机系统、离散逻辑组件、和/或定制逻辑组件，诸如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、可编程逻辑阵列(PLA)等。
[0022]关于术语，短语“被配置为”涵盖可以被构造为执行所标识的操作的任何种类的功能性的任何方式。该功能可以被配置为使用例如软件、硬件、固件等来执行操作。例如，短语“被配置为”可以是指被布置为实现相关联的功能的硬件元件的逻辑电路结构。短语“被配置为”还可以是指被布置为实现固件或软件的相关功能的编码设计的硬件元件的逻辑电路结构。术语“模块”是指可以使用任何合适的硬件(例如，处理器等)、软件(例如，应用等)、固件、和/或硬件、软件和固件的任何组合来实现的结构元件。术语“逻辑”涵盖用于执行任务的任何功能。例本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于视觉搜索的计算机实现的方法，所述方法包括：由计算设备接收图像输入；由所述计算设备确定所述图像输入中所表示的至少一个对象；由所述计算设备检测对所述图像输入中所表示的所述至少一个对象的用户选择；响应于所述用户选择，由所述计算设备生成表示所述图像输入中的至少一个用户所选择对象的特征矢量、以及针对所述至少一个用户所选择对象的第一多个属性；由所述计算设备取回针对所述至少一个用户所选择对象的第二多个属性，所述第二多个属性是针对所述至少一个用户所选择对象的类别被预定的；由所述计算设备生成针对属性集中的每个属性的一个或多个用户可选择选项，所述属性集包括所述第一多个属性和所述第二多个属性；响应于对所述用户可选择选项中的一个或多个用户可选择选项的用户选择，由所述计算设备从在图像处理框架中对所述特征矢量、所述属性集和用户所选择的所述选项的处理，生成多个搜索结果；由所述计算设备生成所述多个搜索结果的排名有序列表，所述多个搜索结果根据与针对所述至少一个用户所选择对象的所述属性集的匹配标准而是排名有序的；以及生成所述排名有序列表在显示设备的用户界面上的显示。2.根据权利要求1所述的计算机实现的方法，其中所述匹配标准是从统计优化过程中确定的，所述优化过程包括：将k均值聚类应用于图像索引中的多个图像；以及将针对图像的每个簇的质心与包括来自所述特征矢量的多个图像数据的簇进行比较，其中所述多个搜索结果包括一个或多个产品和图像，所述多个搜索结果基于n最近邻质心统计分析针对与所述用户所选择对象的视觉相似性被排名。3.根据权利要求2所述的计算机实现的方法，其中所述至少一个对象的所述确定还包括：将对象定位方法应用于所述图像输入，以用于建立所述至少一个对象中的每个对象在所述图像输入中的位置；以及执行对象类别分类方法，以用于使用所述对象定位方法确定针对位于所述图像输入中的所述至少一个对象中的每个对象的类别。4.根据权利要求2所述的计算机实现的方法，其中所述特征矢量的所述生成包括将特征提取方法应用于所述至少一个用户所选择对象，所述方法包括：检测所述至少一个用户所选择对象的一个或多个物理特征和视觉特征；以及确定所述用户所选择对象的所述物理特征和所述视觉特征的视觉单词量化表示。5.根据权利要求1所述的计算机实现的方法，其中所述第一多个属性的所述生成包括应用特征提取方法，所述方法包括：检测所述图像输入中所表示的所述至少一个用户所选择对象的多个物理特征和多个视觉特征；以及将多个检测到的特征与所生成的所述用户所选择对象的类别相关联，所述类别从所述图像输入中所表示的所述至少一个对象的所述确定被标识。6.根据权利要求1所述的计算机实现的方法，其中针对所述至少一个用户所选择对象
的所述第二多个属性的所述取回包括：使用从所述图像输入中所表示的所述至少一个对象的所述确定被标识的所述类别来搜索数据库；以及在所述数据库中与所述至少一个对象的所述类别的所存储的关联中取回预定的多个属性。7.根据权利要求1所述的计算机实现的方法，其中针对每个属性的所述用户可选择选项根据所监测的用户偏好和针对每个选项的排名得分中的至少一项被显示在用户界面上，所述排名得分表示与所述用户所选择对象...

【专利技术属性】
技术研发人员：黄丽，M，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：