一种用于单标签图像检索的标签表征构建方法技术

本发明专利技术提供了一种用于单标签图像检索的标签表征构建方法，包括：基于全连接神经网络确定单标签图像的标签表征，并基于标签表征平衡损失以及量化损失反向优化全连接神经网络；基于卷积神经网络提取单标签图像的图像特征，并与对应的标签表征之间的中心相似性损失来优化卷积神经网络；基于卷积神经网络提取待检索单标签图像特征，并符号化为二进制码，并基于二进制码实现对单标签图像的检索。通过确定单标签图像的单标签信息，同时，通过全连接神经网络生成各个标签的表征向量，并鼓励标签表征相互之间保持最大的距离，从而增加标签表征之间的可辨别性，将标签表征作为所有同标签图像特征的类中心，为图像特征学习提供了极大便利。利。利。

【技术实现步骤摘要】
一种用于单标签图像检索的标签表征构建方法


[0001]本专利技术涉及图像检索
，特别涉及一种用于单标签图像检索的标签表征构建方法。

技术介绍

[0002]目前，生活在互联网大数据时代，爆炸性的数据量以图像、视频、文本和音频等多种形式出现，对现有的搜索引擎和推荐系统带来了很大的挑战，因此使用深度哈希技术对图像进行编码，实现快速图像检索，提高检索效率；
[0003]传统的深度哈希方法大多基于成对标签或三元组的方法进行对比学习，但是该方法存在不足：一是对采样策略要求高，二是采样结果对数据分布的覆盖率不足；三是对不平衡数据的有效性较差，在现实场景中，不相似样本对的数量远大于相似样本对的数量。
[0004]因此，本专利技术提供了一种用于单标签图像检索的标签表征构建方法，用以通过确定单标签图像的单标签信息，便于准确生成单标签图像的标签表征，并鼓励标签表征相互之间保持最大的距离，从而增加标签表征之间的可辨别性，确保生成的类中心准确可靠，同时也为单标签图像检索提供了极大便利。

技术实现思路

[0005]本专利技术提供一种用于单标签图像检索的标签表征构建方法，获取数据集中所有的单标签信息，使用预训练的词向量作为各个标签的初始表征，使用全连接神经网络将其从高维空间中转换到低维度空间，将每个标签用低维度的向量来表征。在全连接神经网络的训练过程中，鼓励各个标签的表征向量互相远离，从而增加表征之间的可辨别性，为后续图像特征学习过程中提供具有辨别力的中心。在图像特征学习阶段，鼓励每一张图像靠近对应的标签表征，所有同标签图像能够靠近同一个标签表征，从而实现所有相似图像，即同标签图像，在特征空间中能够互相靠近。
[0006]本专利技术提供了一种用于单标签图像检索的标签表征构建方法，包括：
[0007]步骤1：基于单标签图像数据集获取所有的标签名称，并使用预训练的词向量作为所述标签的初始表征，将所述初始表征输入至全连接神经网络，输出得到各标签的标签表征，计算标签表征平衡损失和量化损失，并基于所述标签表征平衡损失和量化损失反向传播优化所述全连接神经网络；
[0008]步骤2：基于卷积神经网络提取单标签图像的图像特征，并将标签表征作为同类单标签图像的特征中心，计算图像特征与对应标签表征之间的余弦距离，且基于所述余弦距离确定中心相似性损失，并基于所述中心相似性损失反向传播优化卷积神经网络；
[0009]步骤3：基于训练完成的卷积神经网络提取数据集中所有单标签图像以及待检索单标签图像的图像特征，并将所述图像特征符号化为二进制码，且基于所述二进制码之间的汉明距离评估所述待检索单标签图像与数据集中所有单标签图像之间的相似性，并基于所述相似性完成单标签图像检索。
[0010]优选的，一种用于单标签图像检索的标签表征构建方法，步骤1中，基于单标签图像数据集获取所有的标签名称，并使用预训练的词向量作为所述标签的初始表征，将所述初始表征输入至全连接神经网络，输出得到各标签的标签表征，计算标签表征平衡损失和量化损失，并基于所述标签表征平衡损失和量化损失反向传播优化所述全连接神经网络，包括：
[0011]基于所述单标签图像数据集获取所述单标签图像的标签，并基于预训练的词向量模型来提取所述标签的词向量，将所述词向量作为各个标签的初始表征；
[0012]将各个标签的初始表征输入至全连接神经网络，得到所述各个标签的表征向量，其中，所述全连接神经网络基于最小化标签表征平衡损失和量化损失来优化所得；
[0013]其中，所述最小化标签表征平衡损失具体为最大化各个标签表征之前的距离，最小化各个标签表征之间的相似性，其中所述表征向量之间的距离与表征向量之间的相似性呈负相关关系；
[0014]其中，标签表征量化损失具体为将各个标签的表征向量的每一维度的值趋近于+1或
‑
1；
[0015]基于最小化所述标签表征平衡损失和标签表征量化损失来优化全连接神经网络。
[0016]优选的，一种用于单标签图像检索的标签表征构建方法，各个标签的表征向量的维度为预设的哈希码位数，其中，所述预设哈希码位数包括：16比特、32比特和64比特。
[0017]优选的，一种用于单标签图像检索的标签表征构建方法，步骤2中，基于卷积神经网络提取单标签图像的图像特征，并将标签表征作为同类单标签图像的特征中心计算图像特征与对应标签表征之间的余弦距离，且基于所述余弦距离确定中心相似性损失，并基于所述中心相似性损失反向传播优化卷积神经网络，包括：
[0018]获取单标签图像，对所述单标签图像进行预处理，并将预处理后的单标签图像输入卷积神经网络；
[0019]基于所述卷积神经网络提取所述预处理后的单标签图像的图像特征，并将所述图像特征进行特征维度变换，得到所述单标签图像对应的目标维度图像特征；
[0020]获取所述单标签图像的标签表征，计算所述单标签图像经过卷积神经网络提取得到的目标维度图像特征和其对应的标签表征之间的余弦距离，并基于所述余弦距离构建中心相似性损失，其中，目标维度图像特征与对应的标签表征具有相同的维度；
[0021]基于最小化中心相似性损失来优化卷积神经网络。
[0022]优选的，一种用于单标签图像检索的标签表征构建方法，步骤3中，基于训练完成的卷积神经网络提取数据集中所有单标签图像以及待检索单标签图像的图像特征，并将所述图像特征符号化为二进制码，且基于所述二进制码之间的汉明距离评估所述待检索单标签图像与数据集中所有单标签图像之间的相似性，并基于所述相似性完成单标签图像检索，包括：
[0023]获取训练完成的卷积神经网络，并基于所述卷积神经网络对数据集中的各单标签图像进行图像特征提取，得到各个单标签图像的图像特征；
[0024]将所述各个单标签图像的图像特征符号化为二进制码，并将每各个单标签图像及对应的二进制码存储至数据库；
[0025]获取待检索单标签图像，并将所述待检索单标签图像输入所述卷积神经网络，得
到所述待检索单标签图像对应的目标二进制码；
[0026]确定所述待检索单标签图像的二进制哈希码，与数据库中各个单标签图像的二进制码之间的汉明距离；
[0027]若数据库中存在单标签图像与待检索单标签图像对应的二进制码之间的汉明距离小于或等于预设汉明距离阈值，判定数据库中所述单标签图像为待检索单标签图像的相似图像；
[0028]返回数据库中与待检索单标签图像相似的图像，其中，所述相似图像即为对待检索单标签图像的检索结果。
[0029]优选的，一种用于单标签图像检索的标签表征构建方法，判定数据库中所述单标签图像为待检索单标签图像的相似图像，包括：
[0030]获取所述汉明距离小于或等于所述预设汉明距离阈值的二进制码，并调取存储记录表，其中，所述存储记录表中记录所述单标签图像的存储地址、单标签图像信息以及对应的二进制码，且所述存储地址、单标签图像以及对应的二进制码一一对应；
[0031]基于所述存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于单标签图像检索的标签表征构建方法，其特征在于，包括：步骤1：基于单标签图像数据集获取所有的标签名称，并使用预训练的词向量作为标签的初始表征，将所述初始表征输入至全连接神经网络，输出得到各标签的标签表征，计算标签表征平衡损失和量化损失，并基于所述标签表征平衡损失和量化损失反向传播优化所述全连接神经网络；步骤2：基于卷积神经网络提取单标签图像的图像特征，并将标签表征作为同类单标签图像的特征中心，计算图像特征与对应标签表征之间的余弦距离，且基于所述余弦距离确定中心相似性损失，并基于所述中心相似性损失反向传播优化卷积神经网络；步骤3：基于训练完成的卷积神经网络提取数据集中所有单标签图像以及待检索单标签图像的图像特征，并将所述图像特征符号化为二进制码，且基于所述二进制码之间的汉明距离评估所述待检索单标签图像与数据集中所有单标签图像之间的相似性，并基于所述相似性完成单标签图像检索。2.根据权利要求1所述的一种用于单标签图像检索的标签表征构建方法，其特征在于，步骤1中，基于单标签图像数据集获取所有的标签名称，并使用预训练的词向量作为标签的初始表征，将所述初始表征输入至全连接神经网络，输出得到各标签的标签表征，计算标签表征平衡损失和量化损失，并基于所述标签表征平衡损失和量化损失反向传播优化所述全连接神经网络，包括：基于所述单标签图像数据集获取所述单标签图像的标签，并基于预训练的词向量模型来提取所述标签的词向量，将所述词向量作为各个标签的初始表征；将各个标签的初始表征输入至全连接神经网络，得到所述各个标签的表征向量，其中，所述全连接神经网络基于最小化标签表征平衡损失和量化损失来优化所得；其中，所述最小化标签表征平衡损失具体为最大化各个标签表征之前的距离，最小化各个标签表征之间的相似性，其中，所述表征向量之间的距离与表征向量之间的相似性呈负相关关系；其中，标签表征量化损失具体为将各个标签的表征向量的每一维度的值趋近于+1或
‑
1；基于最小化所述标签表征平衡损失和标签表征量化损失来优化全连接神经网络。3.根据权利要求2所述的一种用于单标签图像检索的标签表征构建方法，其特征在于，各个标签的表征向量的维度为预设的哈希码位数，其中，所述预设哈希码位数包括：16比特、32比特和64比特。4.根据权利要求1所述的一种用于单标签图像检索的标签表征构建方法，其特征在于，步骤2中，基于卷积神经网络提取单标签图像的图像特征，并将标签表征作为同类单标签图像的特征中心，计算图像特征与对应标签表征之间的余弦距离，且...

【专利技术属性】
技术研发人员：樊常林，黄永军，周均，李生，肖波，
申请(专利权)人：北京东方通科技股份有限公司北京邮电大学，
类型：发明
国别省市：