跨媒体检索模型的训练方法、跨媒体检索方法及其设备技术

本发明专利技术提供了一种跨媒体检索模型的训练方法、跨媒体检索方法及其设备，其中，该训练方法包括获取跨媒体数据集，每条数据包括图像、文本、时间、作者及语义标签；获取每条数据的语义标签向量及各部分的特征向量；计算标签相似度，得到相似度矩阵；由图像、时间及作者特征向量得到第一模态数据，由文本、时间及作者特征向量得到第二模态数据；将两模态数据分别输入至特征映射网络，得到第一特征映射向量和第二特征映射向量；计算两特征映射向量的相似度，得到相似度矩阵；计算两个相似度矩阵的差异值，将两个特征映射向量输入至模态判别网络，得到对抗损失函数的值，优化网络参数，得到跨媒体检索模型。通过上述方案能准确进行语义关联表达。

【技术实现步骤摘要】
跨媒体检索模型的训练方法、跨媒体检索方法及其设备
本专利技术涉及计算机
，尤其涉及一种跨媒体检索模型的训练方法、跨媒体检索方法及其设备。
技术介绍
信息时代下，各种各样的数据及信息充斥着生活的方方面面，其中科技资讯数据是学者了解目前科技动向，思考未来发展前景较为重要的信息来源。越来越多的学者对科技资讯数据资源的检索不再满足于单一模态的检索方式，能够更加智能化地得到跨媒体检索结果给搜索引擎提出了更高的要求。如何跨越不同模态间的语义鸿沟是亟待解决的关键问题。跨媒体科技资讯具有数据量大，赘余信息少，且信息会随着时间热点变化的特点。跨媒体检索难点在于如何将异构模态映射到一个公共子空间。目前共同空间学习法一共有两种，分别是传统直接映射方法和深度学习方法。传统直接映射方法结构简单，无法深层次理解高维度的跨模态语义；而随着深度网络模型的发展，使用多层卷积神经网络成为特征提取和公共空间映射的热点，例如，在深度学习的基础之上有效的结合关联分析方法，可以形成深度典型关联分析方法(DCCA)。然而，对于跨媒体科技资讯数据，仍然存在着语义理解不充本文档来自技高网...

【技术保护点】
1.一种跨媒体检索模型的训练方法，其特征在于，包括：/n获取跨媒体数据集，其中，每条跨媒体数据包括图像数据、文本数据、时间数据、作者数据及语义标签数据；/n获取各条跨媒体数据中图像数据的图像特征向量、文本数据的文本特征向量、时间数据的时间特征向量及作者数据的作者特征向量，并获取相应跨媒体数据中语义标签数据的语义标签向量；/n计算跨媒体数据集中两两跨媒体数据的语义标签向量的第一相似度，得到跨媒体数据集对应的第一相似度矩阵；/n提取各条跨媒体数据的图像特征向量、时间特征向量及作者特征向量，得到相应跨媒体数据的第一模态数据，提取各条跨媒体数据的文本特征向量、时间特征向量及作者特征向量，得到相应跨媒体...

【技术特征摘要】
1.一种跨媒体检索模型的训练方法，其特征在于，包括：
获取跨媒体数据集，其中，每条跨媒体数据包括图像数据、文本数据、时间数据、作者数据及语义标签数据；
获取各条跨媒体数据中图像数据的图像特征向量、文本数据的文本特征向量、时间数据的时间特征向量及作者数据的作者特征向量，并获取相应跨媒体数据中语义标签数据的语义标签向量；
计算跨媒体数据集中两两跨媒体数据的语义标签向量的第一相似度，得到跨媒体数据集对应的第一相似度矩阵；
提取各条跨媒体数据的图像特征向量、时间特征向量及作者特征向量，得到相应跨媒体数据的第一模态数据，提取各条跨媒体数据的文本特征向量、时间特征向量及作者特征向量，得到相应跨媒体数据的第二模态数据；
将各条跨媒体数据的第一模态数据和第二模态数据分别输入至初始特征映射网络，计算得到相应跨媒体数据的第一模态数据对应的第一特征映射向量和第二模态数据对应的第二特征映射向量；
计算跨媒体数据集中一条跨媒体数据的第一特征映射向量和另一条跨媒体数据的第二特征映射向量的第二相似度，得到跨媒体数据集对应的第二相似度矩阵；
计算所述第一相似度矩阵和第二相似度矩阵的差异值，作为语义偏差损失函数的值；
将跨媒体数据集中各跨媒体数据的第一特征映射向量和第二特征映射向量输入至初始模态判别网络，计算得到对抗损失函数的值；
利用语义偏差损失函数的值和对抗损失函数的值计算得到包含所述初始特征映射网络和所述初始模态判别网络的初始跨媒体检索网络的总损失函数的值，并利用总损失函数的值优化初始跨媒体检索网络中的参数，以训练得到对抗性的跨媒体检索网络并利用其得到跨媒体检索模型。


2.如权利要求1所述的跨媒体检索模型的训练方法，其特征在于，获取各条跨媒体数据中图像数据的图像特征向量、文本数据的文本特征向量、时间数据的时间特征向量及作者数据的作者特征向量，包括：
利用VGG16神经网络提取跨媒体数据中图像数据，得到相应的图像数据的图像特征向量；和/或，
利用LDA主题模型提取跨媒体数据中的文本数据，得到相应的文本数据的文本特征向量；和/或，
利用one-hot模型跨媒体数据中的时间数据，得到相应的时间数据的时间特征向量；和/或，
利用one-hot模型跨媒体数据中的作者数据，得到相应的作者数据的作者特征向量。


3.如权利要求1所述的跨媒体检索模型的训练方法，其特征在于，计算所述第一相似度矩阵和第二相似度矩阵的差异值，包括：
利用l2范数计算所述第一相似度矩阵和第二相似度矩阵的差异值。


4.如权利要求1所述的跨媒体检索模型的训练方法，其特征在于，
所述方法，还包括：
计算所述初始特征映射网络的语义标签预测损失函数的值和归一化损失函数的值；
利用语义偏差损失函数的值和对抗损失函数的值计算得到包含所述初始特征映射网络和所述初始模态判别网络的初始跨媒体检索网络的总损失函数的值，包括：
将语义偏差损失函数的值、语义标签预测损失函数的值及归一化损失函数的值加权求和得到嵌入损失函数的值；
利用嵌入损失函数的值减去对抗损失函数的值，得到包含所述初始特征映射网络和所述初始模态判别网络的初始跨媒体检索网络的总损失函数的值。


5.如权利要求4所述的跨媒体检索模型的训练方法，其特征在于，所述归一化损失函...

【专利技术属性】
技术研发人员：杜军平，姜阳，薛哲，徐欣，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11