使用颜色布局相关性对图像搜索结果进行交互地排列制造技术

本发明专利技术描述了用于使用颜色布局的对图像搜索结果进行交互地排列的细化方法的各种示例性用户界面、方法和计算机程序产品。方法包括接收用于图像搜索的文本查询，基于文本查询和来自兴趣颜色布局的信息在结构化呈现中呈现图像搜索结果。过程基于选色板或颜色布局说明方案来创建可由用户选择的图像搜索结果。随后基于选色板和颜色布局说明方案，根据来自图像搜索结果的颜色布局和来自用户的兴趣颜色布局之间的相似度分数，过程随后通过对结果进行排序来对图像搜索结果进行排列。

【技术实现步骤摘要】
【国外来华专利技术】
本主题一般涉及图像搜索，更具体地，涉及通过与图像视觉信息的交互来细化图像搜索结果。背景技 术商业图像搜索引擎的快速发展允许用户仅通过通常在搜索引擎上键入文本查询就能轻松地检索大量的图像。然而，现有的搜索引擎存在的问题是搜索结果仅使用与文本查询相关联的图像周围的文本信息的相关性。现有的搜索引擎在提供搜索结果方面不使用图像视觉信息。因此，正在进行努力通过利用包括有用的图像视觉信息的图像内容来改进图像搜索结果。数字图像内容的增长已经使得浏览大量的搜索结果更富挑战性。为了帮助检索图像，已经尝试了用于图像搜索结果细化的技术。通常用来帮助结果细化的两种常规技术是基于内容的重新排列和意图搜索(IntentSearch)。基于内容的重新排列可依靠图像聚类和分类来提供一组图像的高级描述。虽然基于内容的重新排列使用视觉信息对搜索结果进行重新排序，但其并未考虑用户的意图。另一方面，意图搜索提供界面以允许用户指示感兴趣的一些图像，并自动地试图猜测用户的意图以对图像搜索结果进行重新排序。然而，基于所选图像猜测用户的意图是有些困难。这样，与图像视觉信息一同使用的这些常规的方法不能真正地获得用户对于图像的意图。因此，期望的是通过用户与图像视觉信息的交互来找到细化图像搜索结果的方法。
技术实现思路
提供本
技术实现思路
以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本
技术实现思路
并不旨在标识出所要求保护主题的关键特征或必要特征，也不旨在用于限定所要求保护主题的范围。鉴于以上原因，本专利技术描述了用于通过将颜色布局相关性作为图像检索的一部分来对图像搜索结果进行交互地排列的各种示例性用户界面、方法和计算机程序产品。使用颜色布局相关性方法来对图像搜索结果进行交互地排列包括基于用户提交的文本查询和来自用户的用于兴趣颜色布局的信息，在结构化呈现中呈现图像搜索结果。过程允许从选色板或颜色说明方案中进行选择的交互的设计。接下来，相似度评估对兴趣颜色布局和对应于搜索结果中全部图像的颜色布局之间的相似度进行比较。过程随后根据已计算的相似度分数对图像搜索结果进行排序。这样，本专利技术允许用户与图像搜索结果进行交互，从而获得用户的意图。因此，使用颜色布局相关性过程对图像搜索结果进行交互地排列使用颜色布局相关性方法，以使得用户更为方便地指定感兴趣的颜色布局而无需任何特殊的知识或技能。附图说明参考附图说明详细描述。参考附图来描述各教学示例。在附图中，附图标记中最左边的数字标识该附图标记首次出现的附图。在不同附图中使用相同的附图标记指示相似或相同的项。图1是用于使用颜色布局相关性应用程序来对图像搜索结果进行交互地排列的示例性系统的框图。图2是示出用于使用图1的颜色布局相关性对图像搜索结果进行交互地排列的示例性过程的框图。图3是示出用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性过程的概览流程图。图4是示出用于兴趣颜色布局的用户输入的示例性过程的流程图。图5是用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性用户界面的框图。图6是示出用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性颜色布局提取的框图。图7是示出用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性颜色布局相似度评估的框图。图8是示出用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性自由涂写的框图。图9是示出用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性颜色布局排列结果的框图。图10是示出用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性操作系统的框图。具体实施例方式概览本专利技术致力于用于为图像检索使用颜色布局相关性对图像搜索结果进行交互地排列的各种示例性用户界面、方法和计算机程序产品。存在通过使用文本查询来处理图像搜索的常规的图像检索技术。这些技术通常关注文本查询而不利用图像视觉信息，并且不涉及用户的意图。这样，使用此处描述的颜色布局相关性对图像搜索结果进行交互地排列允许用户通过利用丰富且有用的图像视觉信息以及将对兴趣颜色布局的用户输入纳入对图像搜索结果进行细化的过程中来搜索图像。 一方面，使用颜色布局相关性过程对图像搜索结果进行交互地排列使用了颜色布局提取、兴趣颜色布局说明和布局排列器。在从因特网爬寻到图像之后为每个图像执行颜色布局提取。此外，过程接收对于兴趣颜色布局的用户输入，并基于用户的意图对图像搜索结果进行重新排序。布局排列器包括兴趣颜色布局和图像颜色布局之间的相似度评估。具体而言，图像的颜色布局包括颜色外观兼容性、空间分布一致性和上下文布局相似度。另一方面，使用了使用颜色布局相关性对图像搜索结果进行交互地排列的过程提供交互的用户界面。用户界面允许用户轻松地涂写以指示兴趣颜色布局。此外，用户界面允许用户挑选感兴趣的颜色并指定颜色布局。 所述的使用颜色布局相关性方法对图像搜索结果进行交互地排列在图像检索期间为用户在便利性、灵活性和适应性方面提供了优势。此外，由于特征提取的计算成本低， 使用所述的颜色布局相关性方法来对图像搜索结果进行交互地排列提供了低存储需求、所建议的布局相似度和颜色布局的代表性以及效率。作为示例而非限制，使用此处描述的颜色布局相关性方法对图像搜索结果进行交互地排列可应用于许多上下文和环境中。例如， 使用颜色布局相关性方法对图像搜索结果进行交互地排列可被实现以支持通过网络搜索、 搜索引擎、网络规模的应用程序、企业网络、内容网站、内容博客、多媒体等的图像检索。示例性系统图1是用于使用颜色布局相关性对图像搜索结果进行交互地排列以检索图像的示例性系统100的概览框图。系统100包括客户机侧和服务器侧上的某些组件的体系结构。 或者，这些组件可驻留在多个其他位置。例如，图1的全部组件可驻留在客户机侧或服务器侧。此外，所示组件中的两个或更多可组合以在单个位置处形成单个组件。示出位于客户机侧的计算设备102。适合与系统100 —同使用的计算设备102包括但不限于，个人计算机、膝上型计算机、台式计算机、工作站计算机、个人数字助理、蜂窝式电话、智能电话等。客户机侧的计算设备102可包括监视器104或显示器以显示作为图像检索的一部分的用于使用颜色布局相关性对图像搜索结果进行交互地排列的图像结果。系统100可包括将使用颜色布局相关性对图像搜索结果进行交互地排列作为，例如但不限于，工具、方法、解算机、软件、应用程序、服务、包括对因特网的访问的技术资源、 网络浏览器的一部分、商业或小型搜索引擎的一部分等。此处，使用颜色布局相关性对图像搜索结果进行交互地排列被实现为应用程序106。在其他实现中，使用颜色布局相关性对图像搜索结果进行交互地排列被提供为服务或商业搜索引擎的一部分。术语“使用颜色布局相关性应用程序106对图像搜索结果进行交互地排列”可与以下术语相互交换地使用，对图像搜索细化进行交互地排列、颜色布局相关性或对图像搜索结果进行交互性地排列。颜色布局相关性应用程序106使得用户108在搜索图像方面更为便利。用于图像检索的传统的技术仅解决文本查询。在现实中，图像通常与文本、丰富且有用的图像视觉信息相关联。如上所述，这些传统的技术关注文本查询而不利用图像视觉信息，并且不涉及用户的意图。这已经成为图像检索在满足用户意图方面存在的问题本文档来自技高网...

【技术保护点】
１．一种具有计算机可读指令的用户界面（５００），当由处理器（１００２）执行时该指令使处理器（１００２）执行以下动作：接收用于图像搜索的文本查询（１１０）；基于文本查询（１１０）和来自兴趣颜色布局（１１８、２０８）的信息，在结构化呈现中呈现图像搜索结果（１２０、２０４、２１８）；通过从选色板（２１４）和颜色布局说明方案（２１６）中进行选择来使能创建排列图像搜索结果（１２０、２０４、２１８）的交互的设计；基于选色板（２１４）和颜色布局说明方案（２１６），根据来自图像搜索结果（１２０、２０４、２１８）的颜色布局和来自用户（１０８）的兴趣颜色布局（１１８、２０８）之间的相似度分数，通过对图像搜索结果（１２０、２０４、２１８）进行排序来对图像搜索结果（２０６）进行排列。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：J·王，
申请(专利权)人：微软公司，
类型：发明
国别省市：US