【技术实现步骤摘要】
一种基于中心相似度学习的哈希码生成方法及装置
[0001]本专利技术属于多模态哈希码生成
，尤其涉及一种基于中心相似度学习的哈希码生成方法及装置。
技术介绍
[0002]随着近年来互联网、云计算环境、多媒体传感器、社交网络以及其他信息技术的迅速发展，文本、图像、视频、音频等多模态信息数据呈现出爆炸式的累计态势。基于这些海量信息，人们对于多模态检索的需求日益增加，如何充分利用这些信息创造更大的价值是目前人工智能领域面临的主要挑战。所谓的多模态检索就是用户给定一种模态的数据作为检索条件，检索结果返回的是与条件相关的多种模态的数据，通俗的来讲就是以文搜图，以图搜文的检索方式。多模态检索很多方面都有着广阔的应用前景，包括物联网以及搜索引擎等。
[0003]早期多模态检索主要依赖于手动标注的特征，从本质上来说还是单一模态检索，例如在百度图片中输入文字检索相关图片时，其返回的结果虽然是图片，但这些检索结果都依照已经标注好的文本信息，与此同时还未进行文字标注的图片就不能被成功检索。除了检索的难题，数据爆炸时代面临的另一个挑战...
【技术保护点】
【技术特征摘要】
1.一种基于中心相似度学习的哈希码生成方法，其特征在于，包括：获取带有标签的训练数据集；利用哈达玛矩阵，为所述训练数据集中相同标签的数据构造一个共享的哈希中心，从而得到若干哈希中心；根据所述训练数据集中的样本经过多模态神经网络生成的哈希码与该样本对应的哈希中心之间的距离，计算得到中心相似性学习的目标损失函数；根据所述中心相似性学习的目标损失函数，反向计算梯度来更新所述多模态神经网络的参数，以训练所述多模态神经网络；获取多模态数据并对所述多模态数据进行预处理；将预处理后的多模态数据输入训练后的多模态神经网络中，生成多模态哈希码。2.根据权利要求1所述的方法，其特征在于，所述多模态神经网络包括：特征提取模块，所述特征提取模块包括图像特征提取模型和文本特征提取模型，所述图像特征提取模型用于对所述多模态数据中的图像数据进行特征提取，得到图像特征，所述文本特征提取模型用于对所述多模态数据中的文本数据进行特征提取，得到文本特征；特征归一化模块，所述特征归一化模块用于对所述图像特征和文本特征进行归一化，以使得所述图像特征和文本特征的维度和阈值统一；高层语义表示模块，所述高层语义表示模块用于对归一化后的图像特征和文本特征进行成对融合，生成多模态数据对特征矩阵，根据所述多模态数据对特征矩阵生成哈希码。3.根据权利要求2所述的方法，其特征在于，对所述多模态数据中的文本数据进行特征提取，得到文本特征的过程包括：对所述文本数据进行分词处理并将得到的词映射为相应的词向量并标注；将每个词的所述词向量、每个词序列的位置编码和词的句子级特征嵌入输入所述文本特征提取模型，得到文本特征。4.根据权利要求2所述的方法，其特征在于，基于多层感知器，根据所述多模态数据对特征矩阵生成哈希码。5.根据权利要求4所述的方法，其特征在于，所述多层感知器为将最后一个全连接层替换为带有R个隐藏单元的瓶颈层的多层感知器，所述瓶颈层用于将网络激活转换为R维度瓶颈向量，使用Ta...
【专利技术属性】
技术研发人员：朱健，张云云，陈光，曾令仿，程宏才，程永利，李勇，陈兰香，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。