图像特征提取、检索方法、装置、设备和存储介质制造方法及图纸

本发明专利技术属于视频处理领域，具体提供一种图像特征提取、检索方法、装置、设备和存储介质，旨在解决如何有效地进行图像特征提取，并根据图像特征在目标底库中准确、快速地找到检索图像所对应的目标图像的问题。为此目的，本发明专利技术的方法包括：使用包含自注意力结构网络的、具有两路输出的重识别模型提取图像的标准特征和哈希特征；使用哈希特征进行初次检索，缩减检索范围；再使用标准特征在缩减的目标底库中进行二次检索得到更精准范围内的目标图像。应用本发明专利技术的方法，在特征提取中通过自注意力结构网络可以更加提升特征效果；采用二值化的哈希特征和标准特征联合检索的方法，具有检索精确、计算速度快的优点，十分适用于超大规模底库检索任务。库检索任务。库检索任务。

【技术实现步骤摘要】
图像特征提取、检索方法、装置、设备和存储介质


[0001]本专利技术属于图像处理领域，具体提供一种图像特征提取、检索方法、装置、设备和存储介质。

技术介绍

[0002]随着大数据时代的到来，信息和数据的获取越来越便捷。大量的视频和图像数据为安防系统、智能寻人等智能信息管理系统提供了强有力的数据保障，使这些系统得以有效运转。在智能信息管理等系统中，通常会根据重识别模型提取摄像头下的行人特征并以此构建大数据行人底库，当需要对某个特定行人进行检索分析时，通常将该行人特征与底库中所有行人特征进行一一比对，从而得到该行人在跨镜境况下的完整行动轨迹。
[0003]随着深度学习的发展和进步，基于深度学习的重识别模型方法得到了业界越来越多的青睐。为了提高检索匹配的准确性，通常会增大重识别模型的容量，然而模型的增大必然导致相关计算处理开销的增大。在实际应用中，图像检索速度非常重要，例如在智能信息管理领域中，为了尽快确定人员的身份、位置等信息，安防系统必须准确、快速地找到该行人的完整行动轨迹。因此如何有效地提取行人图像特征，并根据行人图像特征在底库中进行检索，在保证准确率的同时，减少检索时间已成为了一个亟待解决的问题。
[0004]相应地，本领域需要一种新的方案来解决上述问题。

技术实现思路

[0005]本专利技术旨在解决上述技术问题，即如何有效地进行图像特征提取，并根据图像特征在目标底库中准确、快速地找到该图像所对应的目标图像的问题。
[0006]在第一方面，本专利技术提供一种图像特征提取方法，所述方法包括：
[0007]获取待处理图像；
[0008]将所述待处理图像输入训练好的目标重识别模型，得到所述待处理图像的标准特征和哈希特征，其中，所述目标重识别模型包括重识别模型基础网络、自注意力结构网络、第一输出网络和第二输出网络；
[0009]“将所述待处理图像输入训练好的目标重识别模型，得到所述待处理图像的标准特征和哈希特征”的方法包括：
[0010]利用所述重识别模型基础网络对所述待处理图像进行特征提取，得到所述待处理图像的第一张量；
[0011]利用所述自注意力结构网络对所述第一张量进行处理，得到所述待处理图像的第七张量；
[0012]将所述第七张量输入所述第一输出网络进行处理，得到所述待处理图像的所述标准特征；
[0013]将所述第七张量输入所述第二输出网络进行处理，得到所述待处理图像的所述哈希特征。
[0014]在上述图像特征提取方法的一个实施方式中，所述自注意力结构网络包括第一卷积核、第二卷积核、第三卷积核、第一运算单元、第二运算单元和逻辑回归单元，
[0015]“利用所述自注意力结构网络对所述第一张量进行处理，得到所述待处理图像的第七张量”的方法包括：
[0016]利用所述第一卷积核、所述第二卷积核和所述第三卷积核分别对所述第一张量进行处理，分别得到第二张量、第三张量向量和第六张量；
[0017]将所述第二张量和所述第三张量输入所述第一运算单元进行处理，得到第四张量；
[0018]将所述第四张量输入所述逻辑回归单元进行处理，得到第五张量；
[0019]将所述第五张量和所述第六张量输入所述第二运算单元进行处理，得到所述第七张量，所述第七张量为所述自注意力网络结构的输出。
[0020]在上述图像特征提取方法的一个实施方式中，所述第一输出网络包括第四卷积核、第一池化层、第一批量归一化层；所述第二输出网络包括第五卷积核、第二池化层、第二批量归一化层、第一哈希单元；所述方法还包括：
[0021]将所述第七张量输入所述第一输出网络，依次经所述第四卷积核、所述第一池化层、所述第一批量归一化层处理后，得到所述待处理图像的所述标准特征。
[0022]将所述第七张量输入所述第二输出网络，依次经所述第五卷积核、所述第二池化层、所述第二批量归一化层及所述第一哈希单元处理后，得到所述待处理图像的所述哈希特征。
[0023]在上述图像特征提取方法的一个实施方式中，所述重识别模型还包括用于模型训练的损失函数网络，所述方法还包括：
[0024]获取所述训练好的目标重识别模型；
[0025]“获取所述训练好的目标重识别模型”的方法包括：
[0026]获取样本图像；
[0027]将所述样本图像输入待训练的所述目标重识别模型进行特征提取，得到所述样本图像的所述标准特征和所述哈希特征；
[0028]将所述样本图像的所述标准特征和所述哈希特征输入所述损失函数网络，分别获取所述样本图像的标准特征损失和哈希特征损失；
[0029]基于所述标准特征损失和所述哈希特征损失，得到所述样本图像的损失计算结果；
[0030]基于所述损失计算结果对所述待训练的所述目标重识别模型进行调整，得到所述训练好的目标重识别模型。
[0031]在上述图像特征提取方法的一个实施方式中，所述损失函数网络包括第一损失函数单元，所述第一损失函数单元至少包括第一全连接层，所述标准特征损失的获取方法包括：
[0032]将所述样本图像的所述标准特征输入所述第一损失函数单元的所述第一全连接层，得到所述样本图像的标准特征分类结果；
[0033]基于所述样本图像的所述标准特征、所述标准特征分类结果和类间距离处罚损失函数F(u)，得到标准特征第一损失；
[0034]基于所述样本图像的所述标准特征、所述标准特征分类结果和交叉熵分类损失函数G(v)，得到标准特征第二损失；
[0035]基于所述标准特征第一损失和所述标准特征第二损失，得到所述样本图像的所述标准特征损失；
[0036]其中，所述类间距离处罚损失函数F(u)的通用表达式为：
[0037][0038]其中，u为一个训练批次中的单批次样本的特征张量，N为所述一个训练批次中的单批次样本的数量，u
i
为样本i所对应的特征向量，u
n
为所述一个训练批次中和u
i
分类标签不同，并且与u
i
距离最近的样本n所对应的特征向量，dist(u
i
,u
n
)表示u
i
和u
n
之间的第一距离，所述第一距离为余弦距离或欧氏距离，margin为预设参数；
[0039]所述交叉熵分类损失函数G(v)的通用表达式为：
[0040][0041]其中，C为全部训练数据的总类别数，v
ij
为特征v
i
在j维的值，k为样本i的类别标签，v
ik
为特征v
i
在k维的值，v通过全连接层获取，具体为：
[0042]v＝f(u)＝weight
·
u+bias
[0043]其中，weight为所述全连接层的权值参数，bias为所述全连接层的偏置参数。
[0044]在上述图像特征提取方法的一个实施方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像特征提取方法，其特征在于，所述方法包括：获取待处理图像；将所述待处理图像输入训练好的目标重识别模型，得到所述待处理图像的标准特征和哈希特征，其中，所述目标重识别模型包括重识别模型基础网络、自注意力结构网络、第一输出网络和第二输出网络；“将所述待处理图像输入训练好的目标重识别模型，得到所述待处理图像的标准特征和哈希特征”的方法包括：利用所述重识别模型基础网络对所述待处理图像进行特征提取，得到所述待处理图像的第一张量；利用所述自注意力结构网络对所述第一张量进行处理，得到所述待处理图像的第七张量；将所述第七张量输入所述第一输出网络进行处理，得到所述待处理图像的所述标准特征；将所述第七张量输入所述第二输出网络进行处理，得到所述待处理图像的所述哈希特征。2.根据权利要求1所述的图像特征提取方法，其特征在于，所述自注意力结构网络包括第一卷积核、第二卷积核、第三卷积核、第一运算单元、第二运算单元和逻辑回归单元，“利用所述自注意力结构网络对所述第一张量进行处理，得到所述待处理图像的第七张量”的方法包括：利用所述第一卷积核、所述第二卷积核和所述第三卷积核分别对所述第一张量进行处理，分别得到第二张量、第三张量向量和第六张量；将所述第二张量和所述第三张量输入所述第一运算单元进行处理，得到第四张量；将所述第四张量输入所述逻辑回归单元进行处理，得到第五张量；将所述第五张量和所述第六张量输入所述第二运算单元进行处理，得到所述第七张量，所述第七张量为所述自注意力网络结构的输出。3.根据权利要求1所述的图像特征提取方法，其特征在于，所述第一输出网络包括第四卷积核、第一池化层、第一批量归一化层；所述第二输出网络包括第五卷积核、第二池化层、第二批量归一化层、第一哈希单元；所述方法还包括：将所述第七张量输入所述第一输出网络，依次经所述第四卷积核、所述第一池化层、所述第一批量归一化层处理后，得到所述待处理图像的所述标准特征。将所述第七张量输入所述第二输出网络，依次经所述第五卷积核、所述第二池化层、所述第二批量归一化层及所述第一哈希单元处理后，得到所述待处理图像的所述哈希特征。4.根据权利要求1所述的图像特征提取方法，其特征在于，所述重识别模型还包括用于模型训练的损失函数网络，所述方法还包括：获取所述训练好的目标重识别模型；“获取所述训练好的目标重识别模型”的方法包括：获取样本图像；将所述样本图像输入待训练的所述目标重识别模型进行特征提取，得到所述样本图像的所述标准特征和所述哈希特征；
将所述样本图像的所述标准特征和所述哈希特征输入所述损失函数网络，分别获取所述样本图像的标准特征损失和哈希特征损失；基于所述标准特征损失和所述哈希特征损失，得到所述样本图像的损失计算结果；基于所述损失计算结果对所述待训练的所述目标重识别模型进行调整，得到所述训练好的目标重识别模型。5.根据权利要求4所述的图像特征提取方法，其特征在于：所述损失函数网络包括第一损失函数单元，所述第一损失函数单元至少包括第一全连接层，所述标准特征损失的获取方法包括：将所述样本图像的所述标准特征输入所述第一损失函数单元的所述第一全连接层，得到所述样本图像的标准特征分类结果；基于所述样本图像的所述标准特征、所述标准特征分类结果和类间距离处罚损失函数F(u)，得到标准特征第一损失；基于所述样本图像的所述标准特征、所述标准特征分类结果和交叉熵分类损失函数G(v)，得到标准特征第二损失；基于所述标准特征第一损失和所述标准特征第二损失，得到所述样本图像的所述标准特征损失；其中，所述类间距离处罚损失函数F(u)的通用表达式为：其中，u为一个训练批次中的单批次样本的特征张量，N为所述一个训练批次中的单批次样本的数量，u
i
为样本i所对应的特征向量，u
n
为所述一个训练批次中和u
i
分类标签不同，并且与u
i
距离最近的样本n所对应的特征向量，dist(u
i
，u
n
)表示u
i
和u
n
之间的第一距离，所述第一距离为余弦距离或欧氏距离，margin为预设参数；所述交叉熵分类损失函数G(v)的通用表达式为：其中，C为全部训练数据的总类别数，v
ij
为特征v
i
在j维的值，k为样本i的类别标签，v
ik
为特征v
i
在k维的值，v通过全连接层获取，具体为：v＝f(u)＝weight
·
u+bias其中，weight为所述全连接层的权值参数，bias为所述全连接层的偏置参数。6.根据权利要求5所述的图像特征提取方法，其特征在于，所述损失函数网络还包括第二损失函数单元，所述...

【专利技术属性】
技术研发人员：陈壮，袁哲，
申请(专利权)人：四川云从天府人工智能科技有限公司，
类型：发明
国别省市：