基于自然语言查询的个性化图像和视频搜索的方法及其装置制造方法及图纸

一种个性化图像检索的方法包括：获得包括名称的自然语言查询；用通用术语替换自然语言查询中的名称，以提供匿名化的查询和带名称的实体信息；使用输入匿名化的查询和多个图像的经训练的评分模型，来获得对应于多个图像的多个初始排名得分和多个关注权重；使用输入多个关注权重和带名称的实体信息的重新评分模型，来获得对应于多个图像的多个增量得分；以及通过基于多个增量得分修改多个初始排名得分，来获得多个最终排名得分。经训练的评分模型执行基于语义的搜索，并且重新评分模型确定在多个图像中检测到的面部对应于名称的概率。图像中检测到的面部对应于名称的概率。图像中检测到的面部对应于名称的概率。

【技术实现步骤摘要】
【国外来华专利技术】基于自然语言查询的个性化图像和视频搜索的方法及其装置


[0001]本公开涉及视频搜索，更具体地，涉及一种基于包括专有名称的自然语言查询的个性化图像和视频搜索的方法及其装置。

技术介绍

[0002]由于对应于图像和视频的存储数据量的增加，图像搜索变得越来越流行。相关图像搜索过程输入对应于检测器标签或相近同义词/拼写错误的独立关键字。这些过程不能处理基于自然语言的查询，诸如句子或短语。此外，由于不同检测器的故障，这些相关过程经常不能返回适当的结果。

技术实现思路

[0003]问题的解决方案
[0004]根据本公开的一个方面，一种个性化图像检索的方法包括：获得包括名称的自然语言查询；用通用术语替换自然语言查询中的名称，以提供匿名化的查询和带名称的实体信息；使用输入匿名化的查询和多个图像的经训练的评分模型来获得对应于多个图像的多个初始排名得分和多个关注权重；使用输入多个关注权重和带名称的实体信息的重新评分模型来获得对应于多个图像的多个增量得分；以及通过基于多个增量得分修改多个初始排名得分来获得多个最终排名得分。经训练的评分模型执行基于语义的搜索。重新评分模型确定在多个图像中检测到的一个或多个面部对应于该名称的概率。
[0005]根据本公开的另一方面，一种用于个性化图像检索的装置，该装置包括存储指令的至少一个存储器；以及至少一个处理器，被配置为执行指令以：获得包括名称的自然语言查询；用通用术语替换自然语言查询中的名称，以提供匿名化的查询和带名称的实体信息；使用输入匿名化的查询和多个图像的经训练的评分模型来获得对应于多个图像的多个初始排名得分和多个关注权重；使用输入多个关注权重和带名称的实体信息的重新评分模型来获得对应于多个图像的多个增量得分；以及通过基于多个增量得分修改多个初始排名得分来获得多个最终排名得分。经训练的评分模型执行基于语义的搜索。重新评分模型确定在多个图像中检测到的一个或多个面部对应于该名称的概率。
[0006]根据本公开的又一方面，一种存储指令的非暂时性计算机可读介质，包括一个或多个指令，当由一个或多个处理器执行一个或多个指令时，使得一个或多个处理器：获得包括名称的自然语言查询；用通用术语替换自然语言查询中的名称，以提供匿名化的查询和带名称的实体信息；使用输入匿名化的查询和多个图像的经训练的评分模型来获得对应于多个图像的多个初始排名得分和多个关注权重；使用输入多个关注权重和带名称的实体信息的重新评分模型来获得对应于多个图像的多个增量得分；以及通过基于多个增量得分修改多个初始排名得分来获得多个最终排名得分。经训练的评分模型执行基于语义的搜索。重新评分模型确定在多个图像中检测到的一个或多个面部对应于该名称的概率。
[0007]附加的方面将部分地在随后的描述中阐述，并且部分地将从该描述明确，或者可
以通过实践本公开的所呈现的实施例来了解。
附图说明
[0008]从以下结合附图的描述中，本公开的实施例的上述和其他方面、特征和方面将变得更加明确，其中：
[0009]图1是示出根据实施例的基于自然语言输入的个性化图像和视频搜索的方法100的总体概况的图；
[0010]图2是根据实施例的查询匿名化过程的流程图；
[0011]图3是根据实施例的查询匿名化过程的图；
[0012]图4是根据实施例的重新评分模型的图；
[0013]图5是根据实施例的用于执行个性化图像和视频搜索方法的电子设备的图；
[0014]图6是根据实施例的用于执行个性化图像和视频搜索方法的网络环境的图；
[0015]图7是根据实施例的基于自然语言输入的个性化图像和视频搜索方法的流程图；
[0016]图8是用于解释根据实施例的图像上的个性化图像和视频搜索的方法的实现方式的图。
具体实施方式
[0017]以下对示例实施例的详细描述参考了附图。不同附图中的相同附图标记可以标识相同或相似的元件。
[0018]前述公开内容提供了说明和描述，但并不旨在穷举或将实现方式限制为所公开的精确形式。根据以上公开，修改和变化是可能的，或者可以从实现方式的实践中获取修改和变化。
[0019]如这里所使用的，术语“组件”旨在被广义地解读为硬件、固件或硬件和软件的组合。
[0020]很明显，这里描述的系统和/或方法可以用不同形式的硬件、固件，或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码并不限制这些实现方式。因此，这里描述了系统和/或方法的操作和行为，而没有参考具体的软件代码，应当理解，可以基于这里的描述设计软件和硬件来实现该系统和/或方法。
[0021]即使在权利要求中陈述和/或在说明书中公开这些特征的特定组合，这些组合并不旨在限制可能实现方式的公开内容。事实上，这些特征中的许多可以以权利要求中未具体陈述和/或说明书中未公开的方式组合。尽管下面列出的每个从属权利要求可能直接依赖于仅一个权利要求，但是可能的实现方式的公开内容包括每个从属权利要求与权利要求书中的每个其他权利要求的组合。
[0022]除非明确描述，否则这里使用的任何元素、动作或指令都不应被解读为关键或必要的。此外，如这里所用的，冠词“一”和“一个”旨在包括一个或多个项目，并且可以与“一个或多个”互换使用。此外，如这里所使用的，术语“集合”旨在包括一个或多个项目(例如，相关项目、不相关项目、相关和不相关项目的组合等)，并且可以与“一个或多个”互换使用。当只旨在针对仅仅一个项目时，使用术语“一个”或类似的语言。此外，如这里使用的，术语“具有”、“含有”等旨在是开放式术语。此外，短语“基于”旨在意味着“至少部分基于”，除非另有
明确说明。
[0023]图1是示出根据实施例的基于自然语言输入的个性化图像和视频搜索的方法100的总体概况的图。
[0024]如图1所示，方法100可以输入查询。该查询可以是包括专有名称(proper name)的自然语言查询，诸如“Sheldon正站在Amy旁边”[0025]可以对包括专有名称的输入自然语言查询执行查询匿名化操作110，以获得匿名化的查询和带名称的实体信息。图2和图3示出了查询匿名化的实施例。
[0026]如图2所示，可以对查询执行名称和实体识别操作210，以向实体信息提取操作220提供查询和识别的实体。基于输入查询和识别的实体，实体信息提取操作220获得匿名化的查询和带名称的实体信息。
[0027]图3示出了用于获得匿名化的查询的操作的示例。如图3所示，带名称的查询“Sheldon正站在Amy旁边”被分解成代表每个单词的标记(token)，包括针对名称“Sheldon”的标记
‑
1和针对名称“Amy”的标记
‑
2。基于标记
‑
1被检测为男人的名称，该标记可以被诸如男人或成人之类的通用术语替换。基于标记
‑
2被检测为女人的名称，该标记可以被诸如妇女或儿童之类的通用术语替换。相应地，带名称的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种个性化图像检索的方法，包括：获得包括名称的自然语言查询；用通用术语替换所述自然语言查询中的名称以提供匿名化的查询和带名称的实体信息；使用输入所述匿名化的查询和多个图像的经训练的评分模型，来获得对应于所述多个图像的多个初始排名得分和多个关注权重；使用输入所述多个关注权重和所述带名称的实体信息的重新评分模型，来获得对应于所述多个图像的多个增量得分；以及通过基于所述多个增量得分修改所述多个初始排名得分，来获得多个最终排名得分，其中，所述经训练的评分模型执行基于语义的搜索；以及其中，所述重新评分模型确定在所述多个图像中检测到的一个或多个面部对应于所述名称的概率。2.根据权利要求1所述的方法，其中，所述多个图像的所述多个关注权重基于所述多个图像的边界区域和对应的相似度得分，并且其中，所述相似度得分是基于从所述匿名化的查询中获得的语义信息而获得的。3.根据权利要求2所述的方法，其中，所述经训练的评分模型使用特征提取模型获得所述边界区域，并且使用语境化语言模型获得所述语义信息。4.根据权利要求2所述的方法，其中，所述重新评分模型被配置为检测所述多个图像中的面部区域，并且基于所述边界区域和所检测的面部区域之间的空间关系来获得所述多个增量得分。5.根据权利要求4所述的方法，其中，所述重新评分模型被配置成基于与所述名称相对应的面部位于当前图像的边界区域内，来生成所述当前图像的正增量得分。6.权利要求1所述的方法，其中，所述自然语言查询包括多个名称，并且所述多个增量得分是基于对应于所述多个名称的带名称的实体信息而获得的。7.根据权利要求1所述的方法，其中，通过将所述多个增量得分加到所述多个初始排名得分来获得所述多个最终排名得分。8.一种用于个性化图像检索的装置，所述装置包括：存储指令的至少一个存储器；和至少一个处理器，被配置为执行所述指令以：获得包括名称的自然语言查询；用通用术语替换所述自然语言查询中的所述名称，以提供匿名化的查询和带名称的实体信息；使用输入所述匿名化的查询和多个图像的经训练的评分模型，来获得对应于所述多个图像的多个初始排名得分和多个关注权重；使用输入所述多个关注权重和所述带名称的实体信息的重新评分模型，来获得对...

【专利技术属性】
技术研发人员：张昊天，A，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：