一种基于多标记深度关联分析的物联网跨媒体大数据检索方法技术

本发明专利技术公开了一种基于多标记深度关联分析的物联网跨媒体大数据检索方法，针对物联网大数据平台获取的各类跨媒体数据，利用深度模型提取图像和文本特征，并通过关联分析刻画特征之间的语义相关性，最终借助深度关联特征实现跨媒体内容检索。本方法首先通过深度模型提取物联网跨媒体大数据平台的图像文本数据特征，然后利用多标记信息构造语义相似性矩阵，最后基于已获得的特征和语义相似性矩阵计算文本和图像的关联分析，进而实现跨媒体检索。进而实现跨媒体检索。进而实现跨媒体检索。

【技术实现步骤摘要】
一种基于多标记深度关联分析的物联网跨媒体大数据检索方法


[0001]本专利技术涉及物联网大数据检索领域，特别是一种基于多标记深度关联分析的物联网跨媒体大数据检索方法。

技术介绍

[0002]随着互联网、物联网、大数据等技术的快速发展，通过物联网获取的图像、文本、视频等多媒体大数据的不断涌现，对现有数据检索方法提出了新的挑战。一方面，多媒体数据为人类理解认识世界提供了丰富的素材，另一方面，多媒体数据的异构性对多媒体数据的处理提出的挑战。目前，对于物联网多媒体数据处理，主要存在两种方法。一种对多媒体数据提取特征，然后将所有特征映射至低维子空间，从而实现多媒体数据的统一表示。这种方法将特征提取和特征学习两个步骤分开处理，实现过程中会损失一些重要的信息。第二种方法是采用深度学习模型直接对多媒体数据进行特征学习，这种端到端的学习方法由于实现了特征自动提取及学习，在实际应用中表现出了优越的性能。一方面通过大量标记数据可以学习更为紧凑的表示特征。另一方面，多媒体数据具有丰富的标记信息，现有方法大多采用单一标记信息。
[0003]针对于上述这种情况，多标记语义信息在物联网跨媒体大数据检索中得到越来越多的重视。对跨媒体大数据而言，多标记信息能更好的描述多媒体的语义特征，从而在检索中得到更好的消息。

技术实现思路

[0004]针对现有技术中存在的问题，本专利技术提供了一种以现有深度模型的高层特征为基础，结合多标记信息进行深度关联学习获取图像、文本的低维表示，提升多标记跨媒体检索性能的基于多标记深度关联分析的物联网跨媒体大数据检索方法。
[0005]本专利技术的目的通过以下技术方案实现。
[0006]一种基于多标记深度关联分析的物联网跨媒体大数据检索方法，包括以下步骤：
[0007]1)对物联网获取的图像大数据使用VGG深度神经网络提取特征；对文本大数据，使用词袋模型编码，进而利用全连接神经网络进行特征学习；
[0008]2)利用多标签信息构建语义相似性矩阵；
[0009]3)利用图像、文本特征和语义相似性矩阵，建立深度关联学习模型；
[0010]4)利用深度关联学习模型输出图像文本特征向量，计算向量之间的余弦距离，实现跨媒体检索。
[0011]进一步的，所述步骤1)中图像文本特征提取方法具体为：
[0012]对物联网跨媒体大数据内容中的图像数据，选用VGG网络提取图像特征，然后利用2层的神经网络进行特征学习；对文本数据，先采用词袋模型进行编码，然后输入2层的全连接神经网络进行特征学习。
[0013]进一步的，所述步骤2中语义相似性矩阵构造公式为：
[0014][0015]其中S
ij
表示第i,j个样本之间的相似程度,z
i
,z
j
为第i,j个样本的多标签向量，||z
i
‑
z
j
||表示向量的2范数，σ为权重。
[0016]进一步的，所述步骤3)中采用深度关联分析的具体步骤为：
[0017]3‑
1)利用图像网络和文本网络提取的特征建立如下深度关联分析模型：
[0018][0019]其中
[0020][0021][0022][0023]分别是加权互协方差矩阵和加权方差矩阵，L(θ
x
,θ
y
,w,v)为目标函数，F
i
,G
j
分别为高层图像和文本特征，n
x
,n
y
分别是图像和文本数目，N＝n
x
×
n
y
为图像和文本总数，分别是由相似性矩阵S计算得到的权重向量，w,v为待学习的投影向量，T表示转置；
[0024]3‑
2)对变量进行迭代更新：
[0025]利用自动微分技术，求出模型关于参数θ
x
,θ
y
,w,v的梯度，迭代更新式子为：
[0026][0027][0028][0029][0030]其中τ为学习速率，是目标函数关于待学习网络参数的梯度，是目标函数关于向量w,v的梯度,w
k
,v
k
为当前第k步的值。
[0031]进一步的，所述步骤4)利用余弦距离计算图像和文本之间相似程度，具体为：
[0032][0033]其中为x
i
,y
j
为图像、文本特征向量，<x
i
，y
j
>表示两个向量的内积，||x
i
|| ||y
j
||表示向量的2范数。
[0034]相比于现有技术，本专利技术的优点在于：
[0035]1、本专利技术在高层语义特征上通过全连接网络进行特征学习，且相较于其他方法能够显著提高物联网跨媒体大数据的检索精度；实验结果表明，在不同规模数据集上，本方法均能取得较好的试验效果；
[0036]2、本专利技术的基于多标记深度关联分析的物联网跨媒体大数据检索方法，能充分利用多标记信息学习更具判别能力的图像文本嵌入，实验结果表明，本方法的边界模糊性相较于其他方法显著降低。
附图说明
[0037]图1是本专利技术的流程图。
[0038]图2是本专利技术的方法示意图。
具体实施方式
[0039]下面结合说明书附图和具体的实施例，对本专利技术作详细描述。
[0040]一种基于多标记深度关联分析的物联网跨媒体大数据检索方法，分为四个阶段，即深度特征提取，构造语义相似性矩阵，利用深度关联模型对跨媒体特征及语义信息建模，通过余弦距离计算各媒体特征向量直接的相似性，进而实现物联网跨媒体大数据检索。
[0041]如图1和2所示，具体包括以下步骤：
[0042]步骤1：对跨媒体内容中的图像数据，选用VGG网络提取图像特征，然后利用2层的神经网络进行特征学习；对文本数据，先采用词袋模型进行编码，然后输入2层的全连接网络进行特征学习。
[0043]步骤2：利用跨媒体数据的多标记信息，采用如下公式计算语义相似性矩阵
[0044][0045]其中S
ij
表示第i,j个样本之间的相似程度,z
i
,z
j
为第i,j个样本的多标签向量，||
·
||表示向量的2范数，σ为权重。
[0046]步骤3：利用深度关联分析对特征及语义信息建模，具体步骤为：
[0047]步骤3
‑
1：利用图像网络和文本网络提取的特征建立如下深度关联分析模型：
[0048][0049]其中
[0050][0051][0052][0053]分别是加权互协方差矩阵和加权方差矩阵，L(θ
x
,θ
y
,w,v)为目标函数，F
i
,G
j
分别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多标记深度关联分析的物联网跨媒体大数据检索方法，其特征在于，包括以下步骤：1)对物联网获取的图像大数据使用VGG深度神经网络提取特征；对文本大数据，使用词袋模型编码，进而利用全连接神经网络进行特征学习；2)利用多标签信息构建语义相似性矩阵；3)利用图像、文本特征和语义相似性矩阵，建立深度关联学习模型；4)利用深度关联学习模型输出图像文本特征向量，计算向量之间的余弦距离，实现跨媒体检索。2.根据权利要求1所述的基于多标记深度关联分析的物联网跨媒体大数据检索方法，其特征在于，所述步骤1)中图像文本特征提取方法具体为：对物联网跨媒体大数据内容中的图像数据，选用VGG网络提取图像特征，然后利用2层的神经网络进行特征学习；对文本数据，先采用词袋模型进行编码，然后输入2层的全连接神经网络进行特征学习。3.根据权利要求1或2所述的基于多标记深度关联分析的物联网跨媒体大数据检索方法，其特征在于，所述步骤2中语义相似性矩阵构造公式为：其中S
ij
表示第i,j个样本之间的相似程度,z
i
,z
j
为第i,j个样本的多标签向量，||z
i
‑
z
j
||表示向量的2范数，σ为权重。4.根据权利要求3所述的基于多标记深度关联分析的物联网跨媒体大数据检索方法，其特征在于，所述步骤3)中采用深度关联分析的具体步骤为：3
‑
1)利用图像网络和文本网络提取的特征建立如下深度关联分析模型：其中其中其中分别是加权互协方差矩阵和加权方差矩...

【专利技术属性】
技术研发人员：李庆铁，熊迎军，李靖，任守纲，舒欣，戴寅峰，
申请(专利权)人：上海蓝长自动化科技有限公司，
类型：发明
国别省市：