基于标记增强的社交多媒体数据的跨模态检索方法及系统技术方案

本公开提供了一种基于标记增强的社交多媒体数据的跨模态检索方法及系统，包括：获取待检索的数据样本；基于特征提取方法对所述数据样本进行特征提取；基于提取的待检索的数据样本的特征，利用预先训练得到的相应模态的哈希函数进行编码，获得数据样本的哈希码表示；计算所述数据样本的哈希码表示与待检索数据库中样本哈希码的相似度值；基于所述相似度值获得相应的检索结果；其中，所述哈希函数的训练基于标记增强的方式训练得到，该方案可以更好地表征样本间的相似性，生成更具有区分力的哈希码，跨模态的检索能力有很大提高。跨模态的检索能力有很大提高。跨模态的检索能力有很大提高。

【技术实现步骤摘要】
基于标记增强的社交多媒体数据的跨模态检索方法及系统


[0001]本公开属于跨模态检索
，尤其涉及一种基于标记增强的社交多媒体数据的跨模态检索方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
[0003]最近邻搜索(Nearest Neighbor Search，NN)作为最朴素的检索技术，它利用距离函数计算查询样本与所有数据库样本的距离，最后返回距离最小的样本。然而，随着数据集的规模不断增大且特征的维数升高，这种精准搜索策略的计算成本变得难以接受。因此，近似最近邻搜索(Approximate Nearest Neighbor Search，ANN)作为一个替代方案，通过搜索可能相似的而不再是最相似的数据样本，牺牲一定的精度来提升效率，从而满足实际应用中对大规模数据的检索需求。
[0004]近似最近邻搜索方法中，基于哈希学习的方法通过将高维的实值特征编码为低维的二进制哈希码，并尽可能保持数据的相似关系。在检索时，通过计算查询样本哈希码与数据库样本哈希码的海明距离来返回相似的样本作为检索结果。而海明距离可以通过中央处理器(CPU)上的异或(XOR)运算快速完成。这种编码和索引机制降低了存储开销并且实现了更快的搜索速度，适用于大规模多媒体数据的检索任务，因而受到了广泛关注。
[0005]专利技术人发现，不同模态的多媒体数据内容可能存在语义上的相互关联，而跨模态检索(Cross
‑
Modal Retrieval)就是给定一个模态的查询样本返回与之语义相关的另一个模态的查询结果。跨模态检索与哈希技术相结合为实现大规模多媒体数据的跨模态检索提供了一个有效解决方案，但是，由于不同模态数据之间天然地存在异构鸿沟和语义鸿沟问题，给跨模态哈希检索带来巨大的挑战。

技术实现思路

[0006]本公开为了解决上述问题，提供了一种基于标记增强的社交多媒体数据的跨模态检索方法及系统,所述方案能够更好地表征样本间的相似性，生成更具有区分力的哈希码，有效提高跨模态的检索能力。
[0007]根据本公开实施例的第一个方面，提供了一种基于标记增强的社交多媒体数据的跨模态检索方法，包括：
[0008]获取待检索的数据样本；
[0009]基于特征提取方法对所述数据样本进行特征提取；
[0010]基于提取的待检索的数据样本的特征，利用预先训练得到的相应模态的哈希函数进行编码，获得数据样本的哈希码表示；
[0011]计算所述数据样本的哈希码表示与待检索数据库中样本哈希码的相似度值；基于所述相似度值获得相应的检索结果；
[0012]其中，对于不同模态下所述哈希函数的训练，具体为：基于待检索数据库中的样本数据类别，获得相应的类别词，并通过词向量模型将所述类别词转化为类别属性；基于所述类别属性以及预先构建的目标函数，求解得到标记增强的标记分布；基于所述标记分布构造细粒度的相似性矩阵，并基于所述相似性矩阵构建内积适应目标函数，通过求解所述内积适应目标函数，获得训练样本的哈希码；基于所述训练样本的哈希码作为监督信息，训练得到不同模态下的哈希函数。
[0013]进一步的，所述基于所述相似性矩阵构建内积适应目标函数，同时，通过引入一个中间变量代替所述内积适应目标函数的内积运算中的哈希码，并通过引入一个正则化项使引入的中间变量与哈希码站之间的差异最小。
[0014]进一步的，所述基于所述训练样本的哈希码作为监督信息，训练得到不同模态下的哈希函数，具体采用如下目标函数：
[0015][0016]其中，λ为避免过拟合的正则化项的惩罚系数,W
(l)
是第l模态的映射矩阵，B是训练集的哈希码，X
(l)
为训练样本第l模态的特征矩阵。
[0017]进一步的，基于所述类别属性以及预先构建的目标函数，求解得到标记增强的标记分布，具体采用如下目标函数：
[0018][0019]其中，是投影矩阵，I是单位矩阵，为旋转矩阵，A为类别属性，L为逻辑标记，D为标记分布，α为平衡参数，θ为正则化项的惩罚系数。
[0020]进一步的，所述基于特征提取方法对所述数据样本进行特征提取，具体为:当所述数据样本为图像时，基于SIFT或GIST方法进行图像特征提取；当所述数据样本为文本时，基于BoW方法进行文本特征提取。
[0021]进一步的，所述数据样本包括待检索的图像或待检索的文本，当所述数据样本为图像时，其检索得到的数据为图像所对应的文本；当所述数据样本为文本时，其检索得到的数据为文本所对应的图像。
[0022]进一步的，所述计算所述数据样本的哈希码表示与待检索数据库中样本哈希码的相似度值,具体为：计算所述数据样本的哈希码表示与待检索数据库中样本哈希码的海明距离，基于所述距离值对数据库中的样本进行从小到大排序，选择前k个样本作为检索结果，其中，k为不小于1的整数。
[0023]根据本公开实施例的第二个方面，提供了一种基于标记增强的社交多媒体数据的跨模态检索系统，包括：
[0024]数据获取单元，其用于获取待检索的数据样本；
[0025]特征提取单元，其用于基于特征提取方法对所述数据样本进行特征提取；
[0026]编码单元，其用于基于提取的待检索的数据样本的特征，利用预先训练得到的相应模态的哈希函数进行编码，获得数据样本的哈希码表示；
[0027]检索单元，其用于计算所述数据样本的哈希码表示与待检索数据库中样本哈希码的相似度值；基于所述相似度值获得相应的检索结果；
[0028]其中，对于不同模态下所述哈希函数的训练，具体为：基于待检索数据库中的样本数据类别，获得相应的类别词，并通过词向量模型将所述类别词转化为类别属性；基于所述类别属性以及预先构建的目标函数，求解得到标记增强的标记分布；基于所述标记分布构造细粒度的相似性矩阵，并基于所述相似性矩阵构建内积适应目标函数，通过求解所述内积适应目标函数，获得训练样本的哈希码；基于所述训练样本的哈希码作为监督信息，训练得到不同模态下的哈希函数。
[0029]根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于标记增强的社交多媒体数据的跨模态检索方法。
[0030]根据本公开实施例的第四个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于标记增强的社交多媒体数据的跨模态检索方法。
[0031]与现有技术相比，本公开的有益效果是：
[0032](1)本公开提供了一种基于标记增强的社交多媒体数据的跨模态检索方法及系统,所述方案通过基于迁移学习的标记增强生成样本的标记分布，然后基于所述标记分布构造一个更精准的相似性矩阵，并基于所述相似性矩阵构建内积适应目标函数，通过求解所述内积适应目标函数，获得训练样本的哈希码，进而求解得到优化后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于标记增强的社交多媒体数据的跨模态检索方法，其特征在于，包括：获取待检索的数据样本；基于特征提取方法对所述数据样本进行特征提取；基于提取的待检索的数据样本的特征，利用预先训练得到的相应模态的哈希函数进行编码，获得数据样本的哈希码表示；计算所述数据样本的哈希码表示与待检索数据库中样本哈希码的相似度值；基于所述相似度值获得相应的检索结果；其中，对于不同模态下所述哈希函数的训练，具体为：基于待检索数据库中的样本数据类别，获得相应的类别词，并通过词向量模型将所述类别词转化为类别属性；基于所述类别属性以及预先构建的目标函数，求解得到标记增强的标记分布；基于所述标记分布构造细粒度的相似性矩阵，并基于所述相似性矩阵构建内积适应目标函数，通过求解所述内积适应目标函数，获得训练样本的哈希码；基于所述训练样本的哈希码作为监督信息，训练得到不同模态下的哈希函数。2.如权利要求1所述的一种基于标记增强的社交多媒体数据的跨模态检索方法，其特征在于，所述基于所述相似性矩阵构建内积适应目标函数，同时，通过引入一个中间变量代替所述内积适应目标函数的内积运算中的哈希码，并通过引入一个正则化项使引入的中间变量与哈希码站之间的差异最小。3.如权利要求1所述的一种基于标记增强的社交多媒体数据的跨模态检索方法，其特征在于，所述基于所述训练样本的哈希码作为监督信息，训练得到不同模态下的哈希函数，具体采用如下目标函数：其中，λ为避免过拟合的正则化项的惩罚系数,W
(l)
是第l模态的映射矩阵，B是训练集的哈希码，X
(l)
为训练样本第l模态的特征矩阵。4.如权利要求1所述的一种基于标记增强的社交多媒体数据的跨模态检索方法，其特征在于，基于所述类别属性以及预先构建的目标函数，求解得到标记增强的标记分布，具体采用如下目标函数：其中，是投影矩阵，I是单位矩阵，为旋转矩阵，A为类别属性，L为逻辑标记，D为标记分布，α为平衡参数，θ为正则化项的惩罚系数。5.如权利要求1所述的一种基于标记增强的社交多媒体数据的跨模态检索方法，其特征在于，所述基于特征提取方法对所述数据样本进行特征提取，具体为:当所述数据样本为图像时，基于SIFT或GIST方法进行图像特征提取；当所述数...

【专利技术属性】
技术研发人员：王永欣，董峰，马玉玲，
申请(专利权)人：山东建筑大学，
类型：发明
国别省市：