一种基于语义偏好的快速图像检索方法技术

本发明专利技术公开了一种基于语义偏好的快速图像检索方法，首先以语义(标签)关联度指导训练语义中心分配模块，得到语义中心矩阵V，然后基于语义中心矩阵V，对固定特征提取模块进行训练，这样通过依照语义关联度约束语义中心在特征空间的分布，并令特征向量朝着对应语义中心聚集，从而在语义关联度的指导下充分利用特征空间，有效避免了具备不同标签的特征向量的混淆，解决了特征分布不合理的情况，有效避免不同类特征向量的混淆，提升检索准确度；其次，本发明专利技术为码字指定了语义偏好，实现了不可导的量化损失与有偏的软量化损失之间的折衷，采用偏差较低的方案优化码字，从而提升量化器性能，以保证执行快速检索时，量化向量能更好地近似特征向量，实现了降低量化误差的目的。实现了降低量化误差的目的。实现了降低量化误差的目的。

【技术实现步骤摘要】
一种基于语义偏好的快速图像检索方法


[0001]本专利技术属于图像检索
，更为具体地讲，涉及一种基于语义偏好的快速图像检索方法。

技术介绍

[0002]在多媒体内容数据日益丰富的今日，直接在大规模多媒体数据库中检索内容对于数据库来说，无论是时间开销还是内存开销都代价太昂贵了。如何在多媒体数据库尤其是图像数据库中快速检索，以获得高相关性的结果(图像)变得愈加重要。尽管最近开发的深度学习技术在识别和感知图像用于图像匹配方面取得了成功，但这些技术仍然需要巨大的时空间开销，无法应用于实际场景。
[0003]为了解决这一问题，快速图像检索方法受到了越来越多的关注。具体来说，一个快速图像检索方法需要在可接受的时间内从数据库中找到相似的图像。因为同时考虑到了时间开销的问题，快速图像检索方法研究具备相当的实际应用价值，可以应用于商品图像检索系统、社交媒体图像检索系统以及人脸图像检索系统等大规模图像检索系统。
[0004]作为快速图像检索的主流方法之一，基于语义偏好的快速图像检索方法常常同时具备低内存消耗、高执行效率以及高检索精度等优势。但现有基于语义偏好的快速图像检索方法主要有以下缺陷：1)训练检索模型时通常从成对、三元组或基于锚的损失中学习特征提取器，这些损失只关注样本间的局部关系，而不是从全局的视角对齐特征。这可能会造成整个空间的利用不充分以及不同语义之间的严重混淆，从而导致检索性能下降；2)此外，为了使量化器能够以端到端的方式进行学习，当前的实践通常用softmax作为不可微分的量化操作的松弛函数，但是它是有偏的，通常会导致不尽如人意的次优解。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的不足，提供一种基于语义偏好的快速图像检索方法，采用了更符合该快速图像检索任务需求的网络结构和损失函数，以解决现有方法容易导致的特征分布不合理，有效避免不同类特征向量的混淆，提升检索准确度，同时解决码字优化过程的梯度估计偏差过大的问题，以提升量化器性能，以保证执行快速检索时，量化向量能更好地近似原始特征向量，实现降低量化误差的目的。
[0006]为实现上述专利技术目的，本专利技术基于语义偏好的快速图像检索方法，其特征在于，包括以下步骤：
[0007](1)、训练语义中心分配模块，获取语义中心矩阵V
[0008]1.1)、在给定的带标签的训练数据集中，统计各标签对应的图像集，计算标签i与标签j的关联度S
i,j
：
[0009][0010]其中，I
i
为标签i对应的图像集合，I
j
为标签j对应的图像集合，|| ||表示求图像集合的大小；
[0011]1.2)、语义中心分配模块的参数即各标签的语义中心,在初始化时，语义中心分配模块用随机值来初始化各标签的语义中心，然后计算每对语义中心的势能G
s
(v
i
,v
j
)：
[0012]G
s
(v
i
,v
j
)＝||cos(v
i
,v
j
)
‑
S
i,j
||2[0013]其中，v
i
为标签i对应的语义中心，v
j
为标签j对应的语义中心，语义中心为D维实数向量即cos(v
i
,v
j
)表示求语义中心v
i
、v
j
的余弦值，|| ||2表示求二范数；
[0014]1.3)、计算融合了难样本挖掘技术的语义中心损失
[0015][0016]其中，N
c
表示标签的数量；
[0017]1.4)、根据语义中心损失通过梯度下降法迭代地优化各语义中心，直到语义中心损失收敛；
[0018]1.5)、应用归一化方程，将优化过后的各语义中心投影至同一超球面：
[0019][0020]其中，R为超球面的半径。
[0021]1.6)、将各语义中心逐列拼接起来得到语义中心矩阵V，其中，第i列表示标签i对应的语义中心v
i
；
[0022](2)、基于语义中心矩阵V训练特征提取网络模块
[0023]构建由卷积神经网络层、用于分类的全连接层FC
c
以及用于特征映射的全连接层FC
g
组成特征提取网络模块，然后进行训练：
[0024]2.1)、在训练数据集中，选取一张图像及其对应的标签，将选取的图像进行数据增强操作后输入卷积神经网络层，得到隐藏特征向量f；
[0025]2.2)、将隐藏特征向量f分别输入到全连接层FC
c
和全连接层FC
g
，分别得到图像对应的N
c
维实数标签预测向量p即和D维实数特征向量x即
[0026]2.3)、对标签预测向量p计算交叉熵损失其中y表示图像对应的01标签向量，所述01标签向量为Nc维01组成的列向量，其中图像对应标签序号位为1，其余为0；
[0027]2.4)、图像对应的目标语义向量t将会由其对应的语义中心融合得到，即：
[0028][0029]2.5)、基于目标语义向量t，计算聚集损失
[0030][0031]其中，第一项表示特征提取模块输出的特征向量x同目标语义向量t的余弦相似
度，第二项用于通过L2范数约束特征向量x的模长，而λ
mag
是平衡系数；
[0032]2.6)、同时考虑分类损失和聚集损失得到用于优化特征提取模块的损失
[0033][0034]其中，λ
C
是用于平衡分类损失和聚集损失的影响的超参数；
[0035]2.7)、根据损失通过梯度下降法，优化特征提取网络模块参数，不断重复步骤2.1)到步骤2.7)，直至损失收敛，然后固定特征提取模块的参数，完成特征提取网络模块的训练；
[0036](3)、使用特征提取网络模块得到特征向量并训练语义偏好量化模块
[0037]3.1)、在训练数据集中，选取一张图像及其对应的标签，将选取的图像进行数据增强操作后输入训练好的特征提取网络模块，得到特征向量并按照维度将特征向量x均匀划分为M个特征子向量其中M为语义偏好量化模块中量化器的数量；
[0038]3.2)、语义偏好量化模块中的第m个量化器的码字集合C
m
为为K为码字集合C
m
中码字的数量，为每个码字C
m,k
设定各自的语义偏好P
m,k
，这样，码字集合C
m
对应的语义偏好集合P
m
为{P
m,k
∈N
*
|1≤k≤K}，其中，N
*
表示自然数，P
m,k
∈[1,N
c
]，令：
[0039]P
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义偏好的快速图像检索方法，其特征在于，包括以下步骤：(1)、训练语义中心分配模块，获取语义中心矩阵V1.1)、在给定的带标签的训练数据集中，统计各标签对应的图像集，计算标签i与标签j的关联度S
i,j
：其中，I
i
为标签i对应的图像集合，I
j
为标签j对应的图像集合，|| ||表示求图像集合的大小；1.2)、语义中心分配模块的参数即各标签的语义中心,在初始化时，语义中心分配模块用随机值来初始化各标签的语义中心，然后计算每对语义中心的势能G
s
(v
i
,v
j
)：G
s
(v
i
,v
j
)＝||cos(v
i
,v
j
)
‑
S
i,j
||2其中，v
i
为标签i对应的语义中心，v
j
为标签j对应的语义中心，语义中心为D维实数向量即cos(v
i
,v
j
)表示求语义中心v
i
、v
j
的余弦值，|| ||2表示求二范数；1.3)、计算融合了难样本挖掘技术的语义中心损失术的语义中心损失其中，N
c
表示标签的数量；1.4)、根据语义中心损失通过梯度下降法迭代地优化各语义中心，直到语义中心损失收敛；1.5)、应用归一化方程，将优化过后的各语义中心投影至同一超球面：其中，R为超球面的半径。1.6)、将各语义中心逐列拼接起来得到语义中心矩阵V，其中，第i列表示标签i对应的语义中心v
i
；(2)、基于语义中心矩阵V训练特征提取网络模块构建由卷积神经网络层、用于分类的全连接层FC
c
以及用于特征映射的全连接层FC
g
组成特征提取网络模块，然后进行训练：2.1)、在训练数据集中，选取一张图像及其对应的标签，将选取的图像进行数据增强操作后输入卷积神经网络层，得到隐藏特征向量f；2.2)、将隐藏特征向量f分别输入到全连接层FC
c
和全连接层FC
g
，分别得到图像对应的N
c
维实数标签预测向量p即和D维实数特征向量x即2.3)、对标签预测向量p计算交叉熵损失其中y表示图像对应的01标签向量，所述01标签向量为Nc维01组成的列向量，其中图像对应标签序号位为1，其余为0；2.4)、图像对应的目标语义向量t将会由其对应的语义中心融合得到，即：
2.5)、基于目标语义向量t，计算聚集损失2.5)、基于目标语义向量t，计算聚集损失其中，第一项表示特征提取模块输出的特征向量x同目标语义向量t的余弦相似度，第二项用于通过L2范数约束特征向量x的模长，而λ
mag
是平衡系数；2.6)、同时考虑分类损失和聚集损失得到用于优化特征提取模块的损失得到用于优化特征提取模块的损失其中，λ
C
是用于平衡分类损失和聚集损失的影响的超参数；2.7)、根据损失通过梯度下降法，优化特征提取网络模块参数，不断重复步骤2.1)到步骤2.7)，直至损失收敛，然后固定特征提取模块的参数，完成特征提取网络模块的训练；(3)、使用特征提取网络模块得到特征向量并训练语义偏好量化模块3.1)、在训练数据集中，选取一张图像及其...

【专利技术属性】
技术研发人员：宋井宽，张志斌，申恒涛，朱筱苏，高联丽，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：