图像检索方法、装置、计算机可读存储介质及计算机设备制造方法及图纸

本申请公开了一种图像检索方法、装置、计算机可读存储介质及计算机设备。方法通过获取检索图像以及候选图像库；基于神经网络模型对检索图像以及候选图像库中的候选图像进行对象特征提取，得到多个对象的对象特征；以多个对象的局部特征为节点构建局部特征对应的第一图，以及以多个对象的全局特征为节点构建全局特征对应的第二图；根据第一图中节点之间的连接关系对第二图进行更新，得到目标图；根据目标图中节点间的相似度在候选图像库中的候选图像中确定检索得到的目标图像。该方法可以大大提升图像检索的准确性。大大提升图像检索的准确性。大大提升图像检索的准确性。

【技术实现步骤摘要】
图像检索方法、装置、计算机可读存储介质及计算机设备


[0001]本申请涉及图像处理
，具体涉及一种图像检索方法、装置、计算机可读存储介质及计算机设备。

技术介绍

[0002]近年来，随着视频采集设备的不断普及以及天网系统的不断完善，社会的稳定与安全也得到了极大的改善。其中，基于视频采集设备拍摄得到的图像进行目标检测和重识别的技术也在其中发挥了重大的作用，该技术大大提升了对需要查找的对象进行识别和定位的效率。
[0003]目标检测与重识别技术可以在多张图像中快速检测出目标，并对目标进行身份识别。然而，在一些场景下，目前的目标检测与重识别技术的识别准确率还比较低。

技术实现思路

[0004]本申请实施例提供一种图像检索方法、装置、计算机可读存储介质及计算机设备，该方法可以提升图像检索的准确性。
[0005]本申请第一方面提供一种图像检索方法，方法包括：
[0006]获取检索图像以及候选图像库，所述检索图像中包括待检索的目标对象；
[0007]基于神经网络模型对所述检索图像以及所述候选图像库中的候选图像进行对象特征提取，得到多个对象的对象特征，所述多个对象包含所述目标对象，所述对象特征包括全局特征以及局部特征；
[0008]以所述多个对象的所述局部特征为节点构建局部特征对应的第一图，以及以所述多个对象的所述全局特征为节点构建全局特征对应的第二图，所述第一图和所述第二图中均包含节点间的连接关系，所述连接关系包含连接或不连接，相似的节点之间采用边连接，不相似的节点之间不连接；
[0009]根据所述第一图中节点之间的连接关系对所述第二图进行更新，得到目标图；
[0010]根据所述目标图中所述节点间的相似度在所述候选图像库中的候选图像中确定检索得到的目标图像。
[0011]相应的，本申请第二方面提供一种图像检索装置，所述装置包括：
[0012]获取单元，用于获取检索图像以及候选图像库，所述检索图像中包括待检索的目标对象；
[0013]提取单元，用于基于神经网络模型对所述检索图像以及所述候选图像库中的候选图像进行对象特征提取，得到多个对象的对象特征，所述多个对象包含所述目标对象，所述对象特征包括全局特征以及局部特征；
[0014]构建单元，用于以所述多个对象的所述局部特征为节点构建局部特征对应的第一图，以及以所述多个对象的所述全局特征为节点构建全局特征对应的第二图，所述第一图和所述第二图中均包含节点间的连接关系，所述连接关系包含连接或不连接，相似的节点
之间采用边连接，不相似的节点之间不连接；
[0015]更新单元，用于根据所述第一图中节点之间的连接关系对所述第二图进行更新，得到目标图；
[0016]检索单元，用于根据所述目标图中所述节点间的相似度在所述候选图像库中确定检索得到的目标图像。
[0017]可选地，在一些实施例中，本申请提供的图像检索装置，还包括：
[0018]第一获取子单元，用于获取训练样本数据，所述训练样本数据包括多张样本图像以及每张样本图像的标签数据，所述样本图像包括正样本图像以及负样本图像，所述标签数据包括局部标签、全局标签以及身份标签；
[0019]第二获取子单元，用于获取待训练的神经网络模型，所述神经网络模型包括图像特征提取模块，局部检测模块，全局检测模块以及身份识别模块；
[0020]训练子单元，用于采用所述训练样本数据对所述神经网络模型进行训练。
[0021]可选地，在一些实施例中，训练子单元，包括：
[0022]提取模块，用于采用神经网络模型的特征提取模块对样本图像进行特征提取，得到样本图像的特征图；
[0023]第一检测模块，用于基于所述局部检测模块对所述特征图进行局部检测，得到多个样本对象的局部检测结果；
[0024]第二检测模块，用于基于所述全局检测模块对所述特征图进行全局检测，得到多个样本对象的全局检测结果；
[0025]识别模块，用于基于所述身份识别模块对所述特征图中的样本对象进行身份识别，得到身份识别结果；
[0026]第一更新模块，用于根据所述局部检测结果、所述全局检测结果以及所述身份识别结果与所述标签数据之间的差异对所述神经网络模型的模型参数进行更新。
[0027]可选地，在一些实施例中，第一更新模块，包括：
[0028]第一构建子模块，用于基于所述局部检测结果与样本图像对应的局部标签之间的差异构建第一损失；
[0029]第二构建子模块，用于基于所述全局检测结果与样本图像对应的全局标签之间的差异构建第二损失；
[0030]第三构建子模块，用于基于身份识别结果与样本图像对应的身份标签之间的差异构建第三损失；
[0031]计算子模块，用于根据所述第一损失、所述第二损失以及所述第三损失计算目标损失，并根据所述目标损失计算反传梯度；
[0032]更新子模块，用于根据所述反传梯度对所述神经网络模型的参数进行更新。
[0033]可选地，在一些实施例中，构建单元，包括：
[0034]第一计算子单元，用于计算提取得到的多个局部特征之间的第一相似度，以及计算多个全局特征之间的第二相似度；
[0035]第一确定子单元，用于根据所述第一相似度确定所述多个局部特征之间的第一连接关系，以及根据所述第二相似度确定所述多个全局特征之间的第二连接关系；
[0036]第一构建子单元，用于以所述多个局部特征为节点，并根据所述多个局部特征之
间的第一连接关系为边构建第一图；
[0037]第二构建子单元，用于以所述多个全局特征为节点，并根据所述多个全局特征之间的第二连接关系为边构建第二图。
[0038]可选地，在一些实施例中，更新单元，包括：
[0039]第一更新子单元，用于基于所述第一图中节点之间的连接关系对所述第二图中节点之间的连接关系进行更新；
[0040]第二更新子单元，用于根据更新后的连接关系对所述第二图中的节点所表示的全局特征进行更新，得到目标图。
[0041]可选地，在一些实施例中，更新子单元，包括：
[0042]第一获取模块，用于获取所述第一图中每一节点与所述第二图中每一节点之间的对应关系；
[0043]第三检测模块，用于基于所述对应关系对任一节点对在所述第一图与所述第二图中的连接关系进行一致性检测；
[0044]第二更新模块，用于当检测到目标节点对在所述第一图中的连接关系与在所述第二图中的连接关系不同时，基于所述目标节点对在所述第一图中的连接关系对所述目标节点在所述第二图中的连接关系进行更新。
[0045]可选地，在一些实施例中，检索单元，包括：
[0046]第二确定子单元，用于在所述目标图中确定所述目标对象对应的第一目标节点；
[0047]第三确定子单元，用于根据所述第一目标节点与所述目标图中其他节点之间的第三相似度，在所述候选图像库中确定检索得到的目标图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像检索方法，其特征在于，所述方法包括：获取检索图像以及候选图像库，所述检索图像中包括待检索的目标对象；基于神经网络模型对所述检索图像以及所述候选图像库中的候选图像进行对象特征提取，得到多个对象的对象特征，所述多个对象包含所述目标对象，所述对象特征包括全局特征以及局部特征；以所述多个对象的所述局部特征为节点构建局部特征对应的第一图，以及以所述多个对象的所述全局特征为节点构建全局特征对应的第二图，所述第一图和所述第二图中均包含节点间的连接关系，所述连接关系包含连接或不连接，相似的节点之间采用边连接，不相似的节点之间不连接；根据所述第一图中节点之间的连接关系对所述第二图进行更新，得到目标图；根据所述目标图中所述节点间的相似度在所述候选图像库中的候选图像中确定检索得到的目标图像。2.根据权利要求1所述的方法，其特征在于，所述基于神经网络模型对所述检索图像以及所述候选图像库中的候选图像进行特征提取，得到多个对象的对象特征，所述多个对象包含所述目标对象，所述对象特征包括全局特征以及局部特征之前，还包括：获取训练样本数据，所述训练样本数据包括多张样本图像以及每张样本图像的标签数据，所述样本图像包括正样本图像以及负样本图像，所述标签数据包括局部标签、全局标签以及身份标签；获取待训练的神经网络模型，所述神经网络模型包括图像特征提取模块，局部检测模块，全局检测模块以及身份识别模块；采用所述训练样本数据对所述神经网络模型进行训练。3.根据权利要求2所述的方法，其特征在于，所述采用所述训练样本数据对所述神经网络模型进行训练，包括：采用神经网络模型的特征提取模块对样本图像进行特征提取，得到样本图像的特征图；基于所述局部检测模块对所述特征图进行局部检测，得到多个样本对象的局部检测结果；基于所述全局检测模块对所述特征图进行全局检测，得到多个样本对象的全局检测结果；基于所述身份识别模块对所述特征图中的样本对象进行身份识别，得到身份识别结果；根据所述局部检测结果、所述全局检测结果以及所述身份识别结果与所述标签数据之间的差异对所述神经网络模型的模型参数进行更新。4.根据权利要求3所述的方法，其特征在于，所述根据所述局部检测结果、所述全局检测结果以及所述身份识别结果与所述标签数据之间的差异对所述神经网络模型的模型参数进行更新，包括：基于所述局部检测结果与样本图像对应的局部标签之间的差异构建第一损失；基于所述全局检测结果与样本图像对应的全局标签之间的差异构建第二损失；基于身份识别结果与样本图像对应的身份标签之间的差异构建第三损失；
根据所述第一损失、所述第二损失以及所述第三损失计算目标损失，并根据所述目标损失计算反传梯度；根据所述反传梯度对所述神经网络模型的参数进行更新。5.根据权利要求1所述的方法，其特征在于，所述以所述多个对象的所述局部特征为节点构建局部特征对应的第一图，以及以所述多个对象的所述全局特征为节点构建全局特征对应的第二图，包括：计算提取得到的多个局部特征之间的第一相似度，以及计算多个全局特征之间的第二相似度；根据所述第一相似度确定所述多个局部特征之间的第一连接关系，以及根据所述第二相似度确定所述多个全局特征之间的第二连接关系；以所述多个局部特征为节点，并根据所述多个局部特征之间的第一连接关系构建第一图；以所述多个全局特征为节点，并根据所述多个全局特征之间的第二连接关系构建第二图。6.根据权利要求1所述的方法，其特征在于，所述根据所述第一图中节点之间的连接关系对所述第二图进行更新，得到目标图，包括：基于所述第一图中节点之间的连接关系对所述第二图中节点之间的连接关系进行更新；根据更新后的连接关系对所述第二图中的节点所表示的全...

【专利技术属性】
技术研发人员：舒秀军，谯睿智，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：