一种图文检索方法、装置和电子设备制造方法及图纸

本发明专利技术提供了一种图文检索方法、装置和电子设备，其中，该方法包括：获取检索指令，检索指令中携带有检索条件；将检索条件分别映射到语义空间和转换语义空间中，分别得到检索条件在语义空间的第一向量和检索条件在转换语义空间的第二向量；对第一向量和第二向量进行处理，得到检索条件的检索结果。通过本发明专利技术实施例提供的图文检索方法、装置和电子设备，可以得到与检索条件相似度高的检索结果，提高了图文检索的准确度。文检索的准确度。文检索的准确度。

【技术实现步骤摘要】
一种图文检索方法、装置和电子设备


[0001]本专利技术涉及计算机
，具体而言，涉及一种图文检索方法、 装置和电子设备。

技术介绍

[0002]目前，图文检索方法中，目标函数包括分类任务和融合任务。由 于各个模态的特征空间需要在完成分类的同时，还要考虑其它模态的 函数分布，因此会导致最终学习出来的特征空间出现精度损失和无法 拟合函数分布的情况，影响跨模态检索结果。

技术实现思路

[0003]为解决上述问题，本专利技术实施例的目的在于提供一种图文检索方 法、装置和电子设备。
[0004]第一方面，本专利技术实施例提供了一种图文检索方法，包括：
[0005]获取检索指令，所述检索指令中携带有检索条件；
[0006]将所述检索条件分别映射到语义空间和转换语义空间中，分别得 到所述检索条件在语义空间的第一向量和所述检索条件在转换语义空 间的第二向量；
[0007]对所述第一向量和所述第二向量进行处理，得到所述检索条件的 检索结果。
[0008]第二方面，本专利技术实施例还提供了一种图文检索装置，包括：
[0009]获取模块，用于获取检索指令，所述检索指令中携带有检索条件；
[0010]映射模块，用于将所述检索条件分别映射到语义空间和转换语义 空间中，分别得到所述检索条件在语义空间的第一向量和所述检索条 件在转换语义空间的第二向量；
[0011]处理模块，用于对所述第一向量和所述第二向量进行处理，得到 所述检索条件的检索结果。
[0012]第三方面，本专利技术实施例还提供了一种计算机可读存储介质，所 述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理 器运行时执行上述第一方面所述的方法的步骤。
[0013]第四方面，本专利技术实施例还提供了一种电子设备，所述电子设备 包括有存储器，处理器以及一个或者一个以上的程序，其中所述一个 或者一个以上程序存储于所述存储器中，且经配置以由所述处理器执 行上述第一方面所述的方法的步骤。
[0014]本专利技术实施例上述第一方面至第四方面提供的方案中，在获取到 检索指令时，将检索指令中的检索条件分别映射到语义空间和转换语 义空间中，分别得到所述检索条件在语义空间的第一向量和所述检索 条件在转换语义空间的第二向量；从而根据得到的第一向量和第二向 量进行处理，得到检索条件的检索结果，与相关技术中图文检索时， 目标函数需要执行多任务的方式相比，利用所述检索条件在语义空间 的第一向量和所述检索条件在转换语义空间的第二向量，就可以得到 与检索条件相似度高的检索结果，提高了图文检索的准确度。
[0015]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较 佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面 将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而 易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域 普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些 附图获得其他的附图。
[0017]图1示出了本专利技术实施例所提供的一种图文检索方法、装置和电 子设备中，从语义通过训练得到真实语义空间的示意图；
[0018]图2示出了本专利技术实施例1所提供的图文检索方法的流程图；
[0019]图3示出了本专利技术实施例2所提供的一种图文检索装置的结构示 意图；
[0020]图4示出了本专利技术实施例3所提供的一种电子设备的结构示意图。
具体实施方式
[0021]在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、
ꢀ“
长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖 直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的 方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描 述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有 特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的 限制。
[0022]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示 或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限 定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个 该特征。在本专利技术的描述中，“多个”的含义是两个或两个以上，除非 另有明确具体的限定。
[0023]在本专利技术中，除非另有明确的规定和限定，术语“安装”、“相连”、
ꢀ“
连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可 以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接； 可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内 部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解 上述术语在本专利技术中的具体含义。
[0024]目前，图文检索方法中，目标函数包括分类任务和融合任务。由 于各个模态的特征空间需要在完成分类的同时，还要考虑其它模态的 函数分布，因此会导致最终学习出来的特征空间出现精度损失和无法 拟合函数分布的情况，影响跨模态检索结果。
[0025]基于此，本申请各实施例提出一种图文检索方法、装置和电子设 备，在获取到检索指令时，将检索指令中的检索条件分别映射到语义 空间和转换语义空间中，分别得到所述检索条件在语义空间的第一向 量和所述检索条件在转换语义空间的第二向量；从而根据得到的第一 向量和第二向量进行处理，得到检索条件的检索结果，与相关技术中 图文检索时，目标函数需要执行多任务的方式相比，利用所述检索条 件在语义空间的第一向量和所述检索条件在转换语义空间的第二向量， 就可以得到与检索条件相似度高的检索结果，提高了图文检索的准确 度。
[0026]在本申请各实施例，为了实现图文检索方法、装置和电子设备中 描述的过程，需要预先构建语义空间和转换语义空间。
[0027]在本申请以下各实施例中，术语“语义空间”与术语“真实语义空间
”ꢀ
的含义相同。
[0028]在本申请各实施例中，模态就是指：图像或者文字。
[0029]其中，所述语义空间，包括：图像语义空间和文本语义空间；所 述转换语义空间，包括：图像转换语义空间和文本转换语义空间。
[0030]首先，需要构建真实语义空间，即在识别单模态标签上具有很好 的效果的完备语义空间。然后构建转换语义空间，转换语义空间是两 种模态真实语义空间的桥梁，具有自身模态的语义和待检索模态的函 数分布。在检索时，两个模态分别将该模态的转换空间特征和另一种 模态的真实空间特征相比较，计算相似度，综合结果，完成检索。
[0031]其中，单模态标签就是指某一个特定模态上的语义标签。
[0032]所述特定模态，可以是：图像或者文字。
[0033]所述完备语义空间，是一个向量空间，而且在这个空间中能对模 态标签很本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图文检索方法，其特征在于，包括：获取检索指令，所述检索指令中携带有检索条件；将所述检索条件分别映射到语义空间和转换语义空间中，分别得到所述检索条件在语义空间的第一向量和所述检索条件在转换语义空间的第二向量；对所述第一向量和所述第二向量进行处理，得到所述检索条件的检索结果。2.根据权利要求1所述的方法，其特征在于，所述检索条件，包括：图像信息和文本信息；所述语义空间，包括：图像语义空间和文本语义空间；所述转换语义空间，包括：图像转换语义空间和文本转换语义空间；对所述第一向量和所述第二向量进行处理，得到所述检索条件的检索结果，包括：当所述检索条件为图像信息时，确定所述第一向量是图像语义空间对所述检索条件的特征进行映射后得到的，并确定所述第二向量是图像转换语义空间对所述检索条件的特征进行映射后得到的；计算所述第一向量分别与所述文本转换语义空间中各向量的距离；从所述文本转换语义空间的各向量中选择与所述第一向量的距离小于距离阈值的向量作为第一候选向量；计算所述第二向量分别与所述文本语义空间中各向量的距离；从所述文本语义空间的各向量中选择与所述第二向量的距离小于距离阈值的向量作为第二候选向量；对所述第一候选向量和所述第二候选向量进行处理，得到所述检索条件的检索结果。3.根据权利要求2所述的方法，其特征在于，对所述第一向量和所述第二向量进行处理，得到所述检索条件的检索结果，还包括：当所述检索条件为文本信息时，确定所述第一向量是文本语义空间对所述检索条件的特征进行映射后得到的，并确定所述第二向量是文本转换语义空间对所述检索条件的特征进行映射后得到的；计算所述第一向量分别与所述图像转换语义空间中各向量的距离；从所述图像转换语义空间的各向量中选择与所述第一向量的距离小于距离阈值的向量作为第一候选向量；计算所述第二向量分别与所述图像语义空间中各向量的距离；从所述图像语义空间的各向量中选择与所述第二向量的距离小于距离阈值的向量作为第二候选向量；对所述第一候选向量和所述第二候选向量进行处理，得到所述检索条件的检索结果。4.根据权利要求2或者3所述的方法，其特征在于，对所述第一候选向量和所述第二候选向量进行处理，得到所述检索条件的检索结果，包括：将所述第一候选向量和所述第二候选向量合并，得到所述检索条件的候选向量集合；计算所述候选向量集合中各向量和所述第一向量的距离与所述候选向量集合中各向量和所述第二向量的距离的平均距离值；当所述检索条件为图像信息时，从所述候选向量集合中的各向量中选择所述平均距离值较小的多个向量对应的文本信息作为所述检索条件的检索结果；当所述检索条件为文本信息时，从所述候选向量集合中的各向量中选择所述平均距离
值较小的多个向量对应的图像信息作为所述检索条件的检索结果。5.一种图文检索装置，其特征在于，包括：获取模块，用于获取检索指令，所述检索指令中携带有检索条件；映射模块，用于将所述检索条件分别映射到语义空间和转换语义空间中，分别得到所述检索条件在语义空间的第...

【专利技术属性】
技术研发人员：李涵，
申请(专利权)人：卓尔智联武汉研究院有限公司，
类型：发明
国别省市：