跨媒体大数据搜索方法及装置制造方法及图纸

本说明书一个或多个实施例提供一种跨媒体大数据搜索方法及装置，包括：分别提取图像数据的图像语义特征和文本数据的文本语义特征；计算图像语义特征和文本语义特征之间的相似度，根据相似度分别确定图像注意力特征和文本注意力特征；以图像注意力特征为输入，经过图像表示网络输出图像上下文特征向量；以文本注意力特征为输入，经过文本表示网络输出文本上下文特征向量；根据图像上下文特征向量和文本上下文特征向量，利用对抗学习确定统一语义表示；基于统一语义表示进行搜索。本说明书的搜索方法能够获得精确的搜索结果。

【技术实现步骤摘要】
跨媒体大数据搜索方法及装置
本说明书一个或多个实施例涉及大数据
，尤其涉及一种跨媒体大数据搜索方法及装置。
技术介绍
目前，网络中存在大量的图像、文本等多媒体数据资源，实现跨媒体搜索的关键在于跨媒体数据语义空间的建模，根据原始的多媒体数据中提取出语义特征，针对不同模态数据进行统一建模，消除跨模态数据之间的“异构鸿沟”，确定不同模态数据之间的统一语义表示，基于统一语义表示实现语义搜索。目前的方法没有充分学习跨媒体大数据的语义特征，所获得的统一语义表示难以实现精确搜索。
技术实现思路
有鉴于此，本说明书一个或多个实施例的目的在于提出一种跨媒体大数据搜索方法及装置，能够实现精准搜索。基于上述目的，本说明书一个或多个实施例提供了跨媒体大数据搜索方法，包括：分别提取图像数据的图像语义特征和文本数据的文本语义特征；计算所述图像语义特征和文本语义特征之间的相似度，根据所述相似度分别确定图像注意力特征和文本注意力特征；以所述图像注意力特征为输入，经过图像表示网络输出图像上下文特征向量；以所述文本注意力特征为输入，经过文本表示网络输出文本上下文特征向量；根据所述图像上下文特征向量和所述文本上下文特征向量，利用对抗学习确定统一语义表示；基于所述统一语义表示进行搜索。可选的，根据所述相似度确定图像注意力特征，包括：对于所述图像数据的每个图像区域，计算所述文本数据的所有文本片段的注意力权值；根据每个图像区域的图像语义特征和所述注意力权值，计算所述图像注意力特征。可选的，根据所述相似度确定文本注意力特征，包括：对于所述文本数据的每个文本片段，计算所述图像数据的所有图像区域的注意力权值；根据每个文本片段的文本语义特征和所述注意力权值，计算文本注意力特征。可选的，所述分别提取图像数据的图像语义特征和文本数据的文本语义特征之前，还包括：获取查询内容；对所述查询内容进行语义扩展，得到语义扩展后的查询内容；所述语义扩展后的查询内容包括图像数据和文本数据。可选的，所述利用对抗学习确定统一语义表示之后，还包括：对所述统一语义表示进行哈希二值化处理，得到二值化的统一语义表示。本说明书还提供一种跨媒体大数据搜索装置，包括：语义特征提取模块，用于分别提取图像数据的图像语义特征和文本数据的文本语义特征；注意力特征提取模块，用于计算所述图像语义特征和文本语义特征之间的相似度，根据所述相似度分别确定图像注意力特征和文本注意力特征；上下文特征提取模块，用于以所述图像注意力特征为输入，经过图像表示网络输出图像上下文特征向量；以及以所述文本注意力特征为输入，经过文本表示网络输出文本上下文特征向量；统一语义模块，用于根据所述图像上下文特征向量和所述文本上下文特征向量，利用对抗学习确定统一语义表示；搜索模块，用于基于所述统一语义表示进行搜索。可选的，所述注意力特征提取模块，用于对于所述图像数据的每个图像区域，计算所述文本数据的所有文本片段的注意力权值；以及根据每个图像区域的图像语义特征和所述注意力权值，计算所述图像注意力特征。可选的，所述注意力特征提取模型，用于对于所述文本数据的每个文本片段，计算所述图像数据的所有图像区域的注意力权值；以及根据每个文本片段的文本语义特征和所述注意力权值，计算文本注意力特征。可选的，装置还包括：获取模块，用于获取查询内容；以及对所述查询内容进行语义扩展，得到语义扩展后的查询内容；所述语义扩展后的查询内容包括图像数据和文本数据。可选的，装置还包括：哈希处理模块，用于对确定出的统一语义表示进行哈希二值化处理，得到二值化的统一语义表示。从上面所述可以看出，本说明书一个或多个实施例提供的跨媒体大数据搜索方法及装置，分别提取图像数据的图像语义特征和文本数据的文本语义特征；计算图像语义特征和文本语义特征之间的相似度，根据相似度分别确定图像注意力特征和文本注意力特征；以图像注意力特征为输入，经过图像表示网络输出图像上下文特征向量；以文本注意力特征为输入，经过文本表示网络输出文本上下文特征向量；根据图像上下文特征向量和文本上下文特征向量，利用对抗学习确定统一语义表示；基于统一语义表示进行搜索。本说明书能够深入挖掘跨媒体大数据之间的语义关联，获得准确的统一语义表示，进行精确的语义搜索。附图说明为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本说明书一个或多个实施例的方法流程示意图；图2为本说明书一个或多个实施例的模型示意图；图3为本说明书一个或多个实施例的装置结构示意图；图4为本说明书一个或多个实施例的电子设备结构示意图。具体实施方式为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。如
技术介绍
部分所述，实现跨媒体搜索的关键在于确定不同模态数据的统一语义表示。一些方法中，基于关联图模型确定不同模态数据之间的流形结构，基于对抗学习机制，利用生成器拟合不同模态数据的流形结构的分布，利用判别器区分输入数据为真实分布或者生成分布，通过动态博弈不断训练生成器和判别器，最终学习到不同模态数据之间的深度语义关联；此方法针对文本数据，仅考虑了文本中单词的频次信息，未考虑文本的语义特征，而且，仅考虑了原始数据的全局语义特征，未考虑不同模态数据的关联特征。另一些方法中，基于特征学习模型学习不同模态数据的全局语义特征，基于全局语义特征利用多标签注意力模型学习不同模态数据之间的语义关联，加强多模态数据的特征学习，但是未学习不同模态数据的细粒度语义特征，没有挖掘不同模态数据在细粒度层次上的语义关联，导致搜索精度不高。有鉴于此，本说明书实施例提供一种跨媒体大数据搜索方法，提取图像数据的细粒度图像语义特征，提取文本数据的细粒度文本语义特征，深度挖掘图像语义特征本文档来自技高网...

【技术保护点】
1.跨媒体大数据搜索方法，其特征在于，包括：/n分别提取图像数据的图像语义特征和文本数据的文本语义特征；/n计算所述图像语义特征和文本语义特征之间的相似度，根据所述相似度分别确定图像注意力特征和文本注意力特征；/n以所述图像注意力特征为输入，经过图像表示网络输出图像上下文特征向量；/n以所述文本注意力特征为输入，经过文本表示网络输出文本上下文特征向量；/n根据所述图像上下文特征向量和所述文本上下文特征向量，利用对抗学习确定统一语义表示；/n基于所述统一语义表示进行搜索。/n

【技术特征摘要】
1.跨媒体大数据搜索方法，其特征在于，包括：
分别提取图像数据的图像语义特征和文本数据的文本语义特征；
计算所述图像语义特征和文本语义特征之间的相似度，根据所述相似度分别确定图像注意力特征和文本注意力特征；
以所述图像注意力特征为输入，经过图像表示网络输出图像上下文特征向量；
以所述文本注意力特征为输入，经过文本表示网络输出文本上下文特征向量；
根据所述图像上下文特征向量和所述文本上下文特征向量，利用对抗学习确定统一语义表示；
基于所述统一语义表示进行搜索。


2.根据权利要求1所述的方法，其特征在于，根据所述相似度确定图像注意力特征，包括：
对于所述图像数据的每个图像区域，计算所述文本数据的所有文本片段的注意力权值；
根据每个图像区域的图像语义特征和所述注意力权值，计算所述图像注意力特征。


3.根据权利要求1所述的方法，其特征在于，根据所述相似度确定文本注意力特征，包括：
对于所述文本数据的每个文本片段，计算所述图像数据的所有图像区域的注意力权值；
根据每个文本片段的文本语义特征和所述注意力权值，计算文本注意力特征。


4.根据权利要求1所述的方法，其特征在于，所述分别提取图像数据的图像语义特征和文本数据的文本语义特征之前，还包括：
获取查询内容；
对所述查询内容进行语义扩展，得到语义扩展后的查询内容；所述语义扩展后的查询内容包括图像数据和文本数据。


5.根据权利要求1所述的方法，其特征在于，所述利用对抗学习确定统一语义表示之后，还包括：
对所述统一语义表示进行哈希二值化处理，得到二值化的统一语义表示。

【专利技术属性】
技术研发人员：梁美玉，王笑笑，杜军平，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11