一种用于多标签图像检索的标签表征构建方法技术

本发明专利技术提供了一种用于多标签图像检索的标签表征构建方法，其包括：确定多标签图像数据集中各标签之间的共现概率，并基于图卷积网络对各标签的初始表征向量进行融合，得到各标签的标签表征；基于卷积神经网络提取多标签图像的图像特征，并基于图像的标签及所得到的标签表征确定该图像的语义表征向量，且通过最小化中心相似性损失对卷积神经网络进行优化；基于卷积神经网络提取多标签图像的特征，并符号化为二进制码，并基于二进制码之间的汉明距离完成对待检索多标签图像的检索。通过标签表征平衡损失、量化损失以及图网络的处理，提高不同标签表征之间的可辨别性，同时为准确确定多标签图像类中心提供了保障，保障了多标签图像检索的准确率。检索的准确率。检索的准确率。

【技术实现步骤摘要】
一种用于多标签图像检索的标签表征构建方法


[0001]本专利技术涉及图像检索
，特别涉及一种用于多标签图像检索的标签表征构建方法。

技术介绍

[0002]目前，生活在互联网大数据时代，爆炸性的数据量以图像、视频、文本和音频等多种形式出现，对现有的搜索引擎和推荐系统带来了很大的挑战，因此使用深度哈希技术对图像进行编码，实现快速图像检索，提高检索效率；
[0003]传统的深度哈希方法大多基于成对标签或三元组的方法进行对比学习，但是该方法存在不足：一是对采样策略要求高，二是采样结果对数据分布的覆盖率不足；三是对不平衡数据的有效性较差；四是没有考虑到多标签数据集中各个标签之间的依赖关系。
[0004]因此，本专利技术提供了一种用于多标签图像检索的标签表征构建方法，用以通过图卷积网络生成各个标签的表征，且通过最小化标签表征平衡损失、量化损失来优化图卷积网络，确保对多标签图像的标签表征进行准确生成，提高不同标签表征之间的可辨别性，同时也为准确确定多标签图像类中心提供了保障。

技术实现思路

[0005]本专利技术提供了一种用于多标签图像检索的标签表征构建方法，用以通过图卷积网络生成各个标签的表征，且通过最小化标签表征平衡损失、量化损失来优化图卷积网络，确保对多标签图像的标签表征进行准确生成，提高不同标签表征之间的可辨别性，同时也为准确确定多标签图像类中心提供了保障。
[0006]本专利技术提供了一种用于多标签图像检索的标签表征构建方法，包括：
[0007]步骤1：从多标签图像数据集中获取标签集并计算所述标签集中不同标签之间的共现概率，将各标签的One
‑
Hot编码作为各标签的初始表征向量，同时，构建一张图，图的节点表示为每个标签的表征向量，图的边权为表示标签之间的共现概率，并基于图卷积网络根据所述共现概率对不同初始表征向量进行融合，得到每个标签的标签表征；
[0008]步骤2：通过卷积神经网络提取所述多标签图像的图像特征，并基于所述标签表征和多标签图像的标签信息计算所述多标签图像的语义表征，同时，计算图像特征与对应语义表征之间的余弦距离，且基于所述余弦距离构建中心相似性损失，并通过最小化所述中心相似性损失来优化卷积神经网络；
[0009]步骤3：基于训练完成的卷积神经网络提取所述数据集中所有多标签图像以及待检索多标签图像的图像特征，并将所述图像特征符号化为二进制码，且基于所述二进制码之间的汉明距离评估所述待检索多标签图像与所述数据集中多标签图像之间的相似性，并基于所述相似性完成多标签图像检索。
[0010]优选的，一种用于多标签图像检索的标签表征构建方法，步骤1中，从多标签图像数据集中获取标签集并计算所述标签集中不同标签之间的共现概率，将各标签的One
‑
Hot
编码作为各标签的初始表征向量，同时，构建一张图，图的节点表示为每个标签的表征向量，图的边权为表示标签之间的共现概率，并基于图卷积网络根据所述共现概率对不同初始表征向量进行融合，得到每个标签的标签表征，包括：
[0011]基于所述多标签图像数据集获取标签集，并基于多标签图像的总数目和不同标签出现在同一张多标签图像中的次数，计算任意两个不同标签之间的标签共现概率；
[0012]确定不同标签的One
‑
Hot编码，并将所述One
‑
Hot编码作为各个标签的初始表征向量；
[0013]构建一张图，其中，图是由若干给定节点及连接节点的边构成；
[0014]将所述图的节点使用各个标签的表征向量来表示，图的边权使用标签之间的共现概率来表示，其中，当任意两标签共现概率为0时，对应边权为0；
[0015]基于图卷积网络根据所述共现概率对不同标签的初始表征向量进行融合，得到每一个标签的标签表征，其中，任意两标签共现概率越高，经过图卷积网络的传播，这两个标签对应的的标签表征相似度越高，且所述图卷积网络是通过最小化标签表征平衡损失和量化损失的加权和进行优化所得；
[0016]其中，标签表征平衡损失具体为将各个标签表征之间的距离最大化，即将各个标签表征之间的相似性最小化，且所述标签表征之间的距离与标签表征之间的相似性呈负相关关系；
[0017]标签表征量化损失具体为促使各个标签表征的每一维度的值趋近于+1或
‑
1；
[0018]优选的，一种用于多标签图像检索的标签表征构建方法，标签表征的维度为预设的哈希码位数，其中，所述预设哈希码位数包括：16比特、32比特和64比特。
[0019]优选的，一种用于多标签图像检索的标签表征构建方法，步骤2中，通过卷积神经网络提取所述多标签图像的图像特征，并基于所述标签表征和多标签图像的标签信息计算所述多标签图像的语义表征，同时，计算图像特征与对应语义表征之间的余弦距离，且基于所述余弦距离构建中心相似性损失，并通过最小化所述中心相似性损失来优化卷积神经网络，包括：
[0020]获取所述多标签图像，并对所述多标签图像进行预处理，且将预处理后的多标签图像输入至卷积神经网络；
[0021]基于所述卷积神经网络对所述多标签图像提取特征，得到所述多标签图像的图像特征，并将所述图像特征进行特征维度变换，得到所述多标签图像对应的目标维度图像特征；
[0022]获取所述多标签图像的多个标签信息，并基于所述标签信息得到各个标签对应的标签表征，且将所述各个标签对应的标签表征进行平均得到所述多标签图像的语义表征向量；
[0023]计算对所述多标签图像提取得到的目标维度图像特征与对应的语义表征向量之间的余弦距离，并基于所述余弦距离构建中心相似性损失，其中，目标维度图像特征和对应的语义表征向量以及标签表征具有相同的维度；
[0024]计算图像特征量化损失，并基于所述图像特征量化损失促使所述目标维度图像特征的每一维度的值趋近于+1或
‑
1；
[0025]通过最小化中心相似性损失和图像特征量化损失的加权和来优化卷积神经网络。
[0026]优选的，一种用于多标签图像检索的标签表征构建方法，步骤3中，基于训练完成的卷积神经网络提取所述数据集中所有多标签图像以及待检索多标签图像的图像特征，并将所述图像特征符号化为二进制码，且基于所述二进制码之间的汉明距离评估所述待检索多标签图像与所述数据集中多标签图像之间的相似性，并基于所述相似性完成多标签图像检索，包括：
[0027]将数据集中所有多标签图像输入卷积神经网络进行特征提取，得到所述多标签图像对应的图像特征，并将所述图像特征符号化为二进制码，且将每张多标签图像及其对应的二进制码存储至数据库；
[0028]获取用户提交的待检索多标签图像，并将所述待检索多标签图像输入卷积神经网络，得到所述待检索多标签图像特征，并将其符号化为二进制码；
[0029]计算所述待检索多标签图像的二进制哈希码与数据库中所有的多标签图像对应的二进制码之间的汉明距离，并按照汉明距离从小到大进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于多标签图像检索的标签表征构建方法，其特征在于，包括：步骤1：从多标签图像数据集中获取标签集并计算所述标签集中不同标签之间的共现概率，将各标签的One
‑
Hot编码作为各标签的初始表征向量，同时，构建一张图，图的节点表示为每个标签的表征向量，图的边权为表示标签之间的共现概率，并基于图卷积网络根据所述共现概率对不同初始表征向量进行融合，得到每个标签的标签表征；步骤2：通过卷积神经网络提取所述多标签图像的图像特征，并基于所述标签表征和多标签图像的标签信息计算所述多标签图像的语义表征，同时，计算图像特征与对应语义表征之间的余弦距离，且基于所述余弦距离构建中心相似性损失，并通过最小化所述中心相似性损失来优化卷积神经网络；步骤3：基于训练完成的卷积神经网络提取所述数据集中所有多标签图像以及待检索多标签图像的图像特征，并将所述图像特征符号化为二进制码，且基于所述二进制码之间的汉明距离评估所述待检索多标签图像与所述数据集中多标签图像之间的相似性，并基于所述相似性完成多标签图像检索。2.根据权利要求1所述的一种用于多标签图像检索的标签表征构建方法，其特征在于，步骤1中，从多标签图像数据集中获取标签集并计算所述标签集中不同标签之间的共现概率，将各标签的One
‑
Hot编码作为各标签的初始表征向量，同时，构建一张图，图的节点表示为每个标签的表征向量，图的边权为表示标签之间的共现概率，并基于图卷积网络根据所述共现概率对不同初始表征向量进行融合，得到每个标签的标签表征，包括：基于所述多标签图像数据集获取标签集，并基于多标签图像的总数目和不同标签出现在同一张多标签图像中的次数，计算任意两个不同标签之间的标签共现概率；确定不同标签的One
‑
Hot编码，并将所述One
‑
Hot编码作为各个标签的初始表征向量；构建一张图，其中，图是由若干给定节点及连接节点的边构成；将所述图的节点使用各个标签的表征向量来表示，图的边权使用标签之间的共现概率来表示，其中，当任意两标签共现概率为0时，对应边权为0；基于图卷积网络根据所述共现概率对不同标签的初始表征向量进行融合，得到每一个标签的标签表征，其中，任意两标签共现概率越高，经过图卷积网络的传播，这两个标签对应的的标签表征相似度越高，且所述图卷积网络是通过最小化标签表征平衡损失和量化损失的加权和进行优化所得；其中，标签表征平衡损失具体为将各个标签表征之间的距离最大化，将各个标签表征之间的相似性最小化，且所述标签表征之间的距离与标签表征之间的相似性呈负相关关系；标签表征量化损失具体为促使各个标签表征的每一维度的值趋近于+1或
‑
1。3.根据权利要求2所述的一种用于多标签图像检索的标签表征构建方法，其特征在于，标签表征的维度为预设的哈希码位数，其中，所述预设哈希码位数包括：16比特、32比特和64比特。4.根据权利要求1所述的一种用于多标签图像检索的标签表征构建方法，其特征在于，步骤2中，通过卷积神经网络提取所述多标签图像的图像特征...

【专利技术属性】
技术研发人员：樊常林，黄永军，周均，李生，肖波，
申请(专利权)人：北京东方通科技股份有限公司北京邮电大学，
类型：发明
国别省市：