使用图像中找到的特定属性进行搜索制造技术

本发明专利技术的各实施例总体上涉及使用图像中找到的特定属性进行搜索。具体地，在各实施例中，图像中找到的特定属性可以用于基于视觉的搜索。利用机器学习、深度神经网络和其他计算机视觉技术，诸如颜色、组分、字体、风格和纹理之类的图像的属性可以从给定图像中提取。用户继而可以从用户正在搜索的采样图像中选择特定属性，并且搜索可以被细化以关注于来自采样图像的特定属性。在某些实施例中，搜索包括来自不止一个图像的特定属性。

【技术实现步骤摘要】
相关申请的交叉引用本申请要求2015年10月2日提交的、名称为“SearchingUsingOneorMoreSpecificAttributesFoundInOneOrMoreImages”的第62/236,648号美国临时申请的权益，其优先权在本文中被要求，并且其全部内容通过引用并入于此。
本专利技术的各实施例总体上涉及使用图像中找到的特定属性进行搜索。
技术介绍
基于因特网的搜索引擎传统上采用共同图像搜索技术用于定位万维网上的数字图像内容。这些已知图像搜索引擎可以被分类成“基于文本”的图像搜索和“基于视觉”的图像搜索。传统基于文本的图像搜索可以接收用于搜索具有关键字标签图像的数据库的基于文本的查询，用于生成各自具有匹配基于文本的查询的一个或多个关键字标签的图像的结果集。这些基于文本的搜索主要依赖与图像相关联的关键字标签的质量，而忽视图像的视觉信息。另一方面，传统基于视觉的图像搜索可以接收图像作为用于搜索图像数据库的基于视觉的查询，而不考虑各图像具有与其相关联的关键字标签，用于生成各自具有视觉上与基于视觉的查询图像相似的特性的图像的结果集。虽然传统图像搜索技术可以生成可容忍的结果，但是基于文本的图像搜索中质量结果的生成可以取决于其上进行搜索的图像数据库中关键字标签的细节的水平。例如，如果其上执行搜索的数据库包括关键字标签图像，则基于文本的图像搜索可以只产生期望的结果。在这方面，如果图像数据库除了许多其他图像外还包括成千上万日落时海滩上情侣的图像，其中都不具有与关键字“情侣”、“日落”或“海滩”相关联的关键字标签，则通过“情侣海滩日落”的基于文本的查询(例如，描述性的关键字)进行的基于文本的图像搜索将不会生成任何期望的结果。具体针对基于视觉的图像搜索，质量结果的生成可以取决于基于视觉的搜索查询本身的质量甚至其存在。例如，如果提供了在所有属性都与期望图像相似的基于视觉的查询(例如，示例性图像)，则基于视觉的图像搜索可以只生成期望的结果。在这方面，如果用户期望搜索图像数据库以定位与日落时海滩上情侣的图像相似的图像，则用户需要具有在视觉上与图像数据库中的图像具有相似特性的至少一个图像以构造搜索查询。然而，这种搜索可能具有意外后果。例如，基于视觉的图像搜索可以基于整体相似度而不是对用户最重要的特定属性来标识包括与搜索查询的某些相似属性的图像。继续上文示例，假设用户期望通过颜色(或某些其他属性，诸如组分、风格、纹理、字体等)找到与日落时海滩上情侣的图像相似的图像，但不在意图像中的内容。当前基于视觉的图像搜索可以返回包括不期望的属性以及相似内容的许多图像。此外，这些搜索可能忽视或错过包括期望属性的许多图像。如此，传统图像搜索技术可能在范围方面相当受限。
技术实现思路
提供本
技术实现思路
以按简化形式介绍概念的选择，这些概念在下面的具体实施方式中进一步进行描述。本
技术实现思路
不旨在于标识要求保护的主题的关键特征或必要特征，其也不旨在于用来限制要求保护的主题的范围。本专利技术的各实施例涉及使用一个或多个图像中找到的一个或多个特定属性进行基于视觉的搜索。更具体地，在本专利技术的各实施例中，用户可以基于提交作为查询的一个或多个图像的选定视觉特性(即，属性)对图像进行搜索。利用机器学习、深度神经网络和其他计算机视觉技术，图像的属性(诸如颜色、组分、字体、风格和纹理)可以从给定图像中提取。用户继而可以从用户正在搜索的采样图像中选择特定属性，并且搜索可以被细化以关注于来自采样图像的特定属性。例如，用户可以搜索具有与采样图像相似的纹理但对采样图像的其他各方面(诸如颜色或组分)不感兴趣的图像。搜索继而可以关注于找到具有相似纹理的图像而不是搜索具有相似颜色或组分的图像。在某些实施例中，搜索包括来自不止一个图像的特定属性。通过此方式，搜索能够关注于来自第一图像的一个特定属性(诸如颜色)和来自第二图像的不同特定属性(诸如组分)。附图说明下面参考附图对本专利技术进行详细描述，其中：图1是根据本公开的实现方式图示了示例性系统的示图；图2和图3图示了根据本公开的实现方式用于使用一个或多个图像中找到的一个或多个特定属性进行搜索的示例性图形用户接口；图4和图5是根据本公开的实现方式示出了用于使用一个或多个图像中找到的一个或多个特定属性进行搜索的方法的流程图；图6和图7是根据本公开的实现方式示出了用于修改可以用于搜索的图像的至少一个属性的方法的流程图；以及图8是适于在本公开的实现方式中使用的示例性计算环境的框图。具体实施方式在本文中以某种特殊性描述本专利技术的主题以满足法定要求。然而，描述本身不旨在限制本专利的范围。相反，专利技术人已经预见到要求保护的主题还可以按其他方式来体现，以包括结合其他现有的或将来的技术的与在本文档中描述的步骤不同的步骤或步骤的组合。此外，尽管术语“步骤”和/或“框”可以在本文中用于意指采用的方法的不同的元素，但是这些术语不应当被解读为暗指在所公开的本文中的各个步骤之中或之间的任何特定顺序，除非并且除了当各个步骤的顺序被明确描述时。包括万维网的本地或联网环境中采用的传统图像搜索引擎可以基于文本查询或视觉查询之一生成图像搜索结果。基于文本的图像搜索通常接收用于查询标签图像数据库的基于文本的查询(即，“红色球”、“足球比赛”、“笼中老虎”)，其中数据库中的每个图像标签有描述与图像相关联的特性的至少一个关键字(例如，“红色”、“球”、“足球”、“比赛”、“老虎”、“笼”)。通常图像预先标签有描述图像的视觉特性的关键字。如果一个或多个标签图像被确定具有与其相关联的、对应于基于文本的查询的至少一个关键字，则响应于基于文本的查询返回图像作为搜索结果。如本文所使用的，术语“标签”用于指代图像中包括的或与之相关联的以及描述或指示图像的某些属性的元数据。例如，标签可以包括图像中描绘的主题的描述、图像的作者、图像的编辑、与图像相关联的时期或者与图像相关联或其中描绘的位置等。自然语言处理也可以用于基于文本的图像搜索。另一方面，基于视觉的图像搜索通常接收用于查询图像数据库的基于视觉的查询(即，红色球的图像、足球比赛的图像、笼中老虎的图像)，而不考虑各图像具有与其相关联的关键字标签。换言之，数据库中的图像可以是被标签的、未被标签的或者两者。通过采用图像分析算法，可以生成具有实质上与基于视觉查询相似的视觉特性的搜索结果，其中该图像分析算法被配置为将(1)与基于视觉的查询相关联的视觉信息与(2)与数据库中每个图像相关联的视觉信息进行比较。当前基于视觉的图像搜索不允许用户从特定图像中选择该用户在其他图像中寻找时实际上感兴趣的特定低水平属性。因此，虽然当前基于视觉的图像搜索可以基于整体相似度标识包括与搜索查询的某些相似属性的图像，但是可能忽视了对用户最重要的特定属性。因此，当前基于视觉的图像搜索可能返回包括相似内容的、以及不期望的附加属性的许多图像。更简单地，这些搜索可能忽视或错过许多包括期望属性的图像。如此，本专利技术的各实施例用于使用基于视觉的搜索中一个或多个图像中找到的一个或多个特定属性。如本文更详细所述，用户可以采用用于基于用户选定的一个或多个图像的视觉性质(即，特定属性)搜索图像的搜索系统。这使得用户能够将搜索关注于找到包括用户期望的特定属性的图像。虽然针对图像搜索描述本文档来自技高网...

【技术保护点】
一种存储有计算机可用指令的非瞬态计算机存储介质，当所述指令由计算设备使用时，使得所述计算设备执行以下操作包括：经由用户设备接收用户对图像的选择，所述图像包括属性；经由所述用户设备接收所述用户对所述图像的至少一个属性的选择，对所述图像的至少一个属性的所述选择发起被配置为搜索图像集的基于视觉的查询；以及基于所述至少一个属性的所述选择经由所述用户设备向所述用户提供图像结果集，所述图像结果集包括所述图像集中响应于所述基于视觉的查询的结果图像。

【技术特征摘要】
2015.10.02 US 62/236,648;2016.01.20 US 15/002,1791.一种存储有计算机可用指令的非瞬态计算机存储介质，当所述指令由计算设备使用时，使得所述计算设备执行以下操作包括：经由用户设备接收用户对图像的选择，所述图像包括属性；经由所述用户设备接收所述用户对所述图像的至少一个属性的选择，对所述图像的至少一个属性的所述选择发起被配置为搜索图像集的基于视觉的查询；以及基于所述至少一个属性的所述选择经由所述用户设备向所述用户提供图像结果集，所述图像结果集包括所述图像集中响应于所述基于视觉的查询的结果图像。2.根据权利要求1所述的介质，其中所述属性包括组分、颜色、风格、纹理或字体中的一个或多个。3.根据权利要求1所述的介质，进一步包括接收对由所述用户选择的每个属性的权重的选择。4.根据权利要求1所述的介质，进一步包括经由所述用户设备接收所述用户对所述图像的至少一个负面属性的选择，所述至少一个负面属性是所述用户不期望所述结果图像包括的属性。5.根据权利要求1所述的介质，进一步包括经由所述用户设备接收所述用户对包括细化属性的结果图像的选择。6.根据权利要求5所述的介质，进一步包括经由所述用户设备接收所述用户对所述结果图像的至少一个细化属性的选择。7.根据权利要求6所述的介质，进一步包括：根据所述细化属性来细化所述搜索查询；以及经由所述用户设备对所述用户更新所述图像结果集，所更新的图像结果集包括所述图像集中响应于所细化的基于视觉的查询的细化结果图像。8.根据权利要求1所述的介质，进一步包括：基于特征提取算法，将对应于所述图像的属性的第一特征向量集与对应于所述图像集中图像的特定属性的第二特定向量集进行比较；以及基于所述第一特征向量集与所述第二特征向量集之间的相似度标识所述...

【专利技术属性】
技术研发人员：B·J·科尔，林哲，P·雷诺兹，B·费塔，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国;US