一种基于缺失多模态哈希的社交图像检索方法及系统技术方案

本公开提供了一种基于缺失多模态哈希的社交图像检索方法及系统，通过为完全成对数据学习一个共享潜在表示，为缺失数据学习一个独特潜在表示，探索图像与标签不同模态之间的关系，构造了一种同时适用于完全成对数据和缺失数据的在线哈希检索模式，通过设计新的离散优化策略，直接求解哈希码，有效地降低了现有技术中松弛策略的量化误差，提高了检索的性能；在无监督的缺失多模态哈希方法的基础上，将其扩展到监督学习模式，利用非对称哈希学习方法来指导投影学习过程，提高了哈希码的识别能力，通过直接求解二进制哈希码，速度快，操作简单，保证了学习效率。

A social image retrieval method and system based on missing multimodal hash

【技术实现步骤摘要】
一种基于缺失多模态哈希的社交图像检索方法及系统
本公开涉及多模态检索
，特别涉及一种基于缺失多模态哈希的社交图像检索方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
，并不必然构成现有技术。随着移动互联网技术的快速发展，越来越多的人喜欢将自己的照片上传到社交网站。社交网站允许用户主动上传带有描述性标签的图片和注释，已经成为互联网时代最普及、用户参与度最高的互动平台。然而，社交图像的爆炸式增长也导致了一个巨大的挑战，如何从庞大的社交图像数据库中进行有效的图像检索。多模态哈希能够将来自不同模态的多模态特征编码成紧凑的二进制码，有着检索速度快，存储开销小，能够有效的支持大规模的社交图像检索的优点，因此获得了越来越广泛的关注和应用。与单模态哈希和跨模态哈希不同，多模态哈希在训练阶段和查询阶段探索不同模态间的协同性，从而得到有效的哈希码。现存的多模态哈希方法可以分为两大类：无监督多模态哈希和监督多模态哈希。前者要么通过谱分析的方法将单模态哈希方法扩展到多模态设置，要么通过利用多模态矩阵分解获得潜在隐二进制编码，在本文档来自技高网...

【技术保护点】
1.一种基于无监督缺失多模态哈希的社交图像检索方法，其特征在于，包括以下步骤：/n获取多模态检索数据，构造训练集、测试集和数据库集，每个样本均包括成对的图像和文本两个模态的数据，并对训练集、测试集和数据库集分别构造缺失数据集；/n将训练集中的两个模态的原始数据分别输入到所构建的深度特征提取模型中进行多模态提取，将提取后的多模态特征利用高斯核函数映射到低维空间进行非线性特征表示；/n根据非线性特征表示的训练集的多模态特征，构造训练集的基于无监督缺失多模态哈希的目标函数；/n采用迭代求解算法求解上述目标函数，得到社交图像和文本的基矩阵与转换矩阵；/n构造并利用在线模态缺失哈希的目标函数，根据计算得...

【技术特征摘要】
1.一种基于无监督缺失多模态哈希的社交图像检索方法，其特征在于，包括以下步骤：
获取多模态检索数据，构造训练集、测试集和数据库集，每个样本均包括成对的图像和文本两个模态的数据，并对训练集、测试集和数据库集分别构造缺失数据集；
将训练集中的两个模态的原始数据分别输入到所构建的深度特征提取模型中进行多模态提取，将提取后的多模态特征利用高斯核函数映射到低维空间进行非线性特征表示；
根据非线性特征表示的训练集的多模态特征，构造训练集的基于无监督缺失多模态哈希的目标函数；
采用迭代求解算法求解上述目标函数，得到社交图像和文本的基矩阵与转换矩阵；
构造并利用在线模态缺失哈希的目标函数，根据计算得到的社交图像和文本的基矩阵与转换矩阵，获取测试集和数据库集中样本的哈希码，计算每个测试样本的哈希码与数据库集样本的哈希码之间的汉明距离，数据库集样本按其对应的汉明距离升序排序，得到检索结果。


2.如权利要求1所述的基于无监督缺失多模态哈希的社交图像检索方法，其特征在于，对于社交图像模态，将其输入到VGG-16网络模型中，提取多维的图像特征；对于文本模态，将标签利用词袋模型提取多维的文本特征。


3.如权利要求1所述的基于无监督缺失多模态哈希的社交图像检索方法，其特征在于，基于无监督缺失多模态哈希的目标函数，具体为：



s.t.H＝[Hc；H(1)；H(2)],B＝[Bc；B(1)；B(2)]∈{-1,1}n×r
其中，和是nc个完全成对的图像-文本对，是n1个缺失相应社交标签描述的社交图像，是n2个缺失图像的标签，其中d1和d2分别是图像和文本特征的维度，是单模态特征xi的高斯核函数，Hc是共享潜在表示，H(l)为独特潜在表示，H(1)和H(2)分别是图像和文本特征的独特潜在表示，U1和U2分别是社交图像和文本的基矩阵，W是转换矩阵，B是学习到的共享哈希码，μ1和μ2是动态权重，θ是平衡参数，λ是正则化参数，r是哈希码的长度，n是训练集中全部文本数量。


4.如权利要求3所述的基于无监督缺失多模态哈希的社交图像检索方法，其特征在于，将图像-文本对数据进行投影，得到共享潜在表示Hc，将仅存在于图像模态或标签模态中的缺失数据投射到各自的潜在语义空间中，得到独特潜在表示H(1)和H(2)。


5.如权利要求1所述的基于无监督缺失多模态哈希的社交图像检索方法，其特征在于，计算每个测试样本的哈希码与数据库集样本的哈希码之间的汉明距离，具体为：给定一个测试样本，计算该测试样本的哈希码跟数据库集中的所有样本的哈希码之间汉明距离，然后数据库集样本按照汉明距离排序，跟测试样本距离小的排在前面，距离大的排在后面，从而验证准确度。


6.一种基于监督缺失多模态哈希的社交图像检索方法，其特征在于，包括以下步骤：
获取多模态检索数据，构造训练集、测试集和数据库集，每个样本均包括成对的图像和文本两个模态的数据，并对训练集、测试集和数据库集分别构造缺失数据集；
将训练集中的两个模态的原始数据分别输入到所构建的深度特征提取模型中进行多模态提取，将提取后的多模态特征利用高斯核函数映射到低维空间进行非线性特征表示；
利用成对语义矩阵来指导投影学习过程，根据非线性特征表示的训练集的多模态特征，构造训练集上的基于监督缺失多模态哈希的目标函数；
采用迭代求解算法求解上述目标函数，得到社交图像和文本的基矩阵与转换矩阵；
构造并利用在线模态缺失哈希的目标函数，根据计算得到的社交图像和文本的基矩阵与转换矩阵，获取测试集...

【专利技术属性】
技术研发人员：朱磊，郑超群，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东;37