目标匹配方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种目标匹配方法及装置、电子设备和存储介质。该方法包括：提取查询图像序列中每一帧的特征向量和候选图像序列中每一帧的特征向量；基于查询图像序列中每一帧的特征向量和候选图像序列中每一帧的特征向量，确定查询图像序列的自表达特征向量、查询图像序列的协同表达特征向量、候选图像序列的自表达特征向量和候选图像序列的协同表达特征向量；基于查询图像序列的自表达特征向量、查询图像序列的协同表达特征向量、候选图像序列的自表达特征向量和候选图像序列的协同表达特征向量，确定查询图像序列与候选图像序列的相似性特征向量；基于相似性特征向量，确定查询图像序列与候选图像序列的匹配结果。本公开能够提高目标匹配的准确性。

【技术实现步骤摘要】
目标匹配方法及装置、电子设备和存储介质
本公开涉及计算机视觉
，尤其涉及一种目标匹配方法及装置、电子设备和存储介质。
技术介绍
目标匹配是指返回数据库中与查询视频或查询图像具有相同目标的视频或图像。目标匹配技术广泛地应用于机场、车站、校园和商场等场所的安防监控系统中。相关技术中，目标匹配的准确性较低。
技术实现思路
本公开提出了一种目标匹配技术方案。根据本公开的一方面，提供了一种目标匹配方法，包括：分别提取查询图像序列中每一帧的特征向量和候选图像序列中每一帧的特征向量，其中，所述查询图像序列包含待匹配目标；分别基于所述查询图像序列中每一帧的特征向量和所述候选图像序列中每一帧的特征向量，确定所述查询图像序列的自表达特征向量和所述候选图像序列的自表达特征向量；基于所述查询图像序列中每一帧的特征向量和所述候选图像序列的自表达特征向量，确定所述查询图像序列的协同表达特征向量，以及基于所述候选图像序列中每一帧的特征向量和所述查询图像序列的自表达特征向量，确定所述候选图像序列的协同表达特征向量；基于所述查询图像序列的自表达特征向量、所述查询图像序列的协同表达特征向量、所述候选图像序列的自表达特征向量以及所述候选图像序列的协同表达特征向量，确定所述查询图像序列与所述候选图像序列的相似性特征向量；基于所述相似性特征向量，确定所述查询图像序列与所述候选图像序列的匹配结果。在一种可能的实现方式中，分别提取查询图像序列中每一帧的特征向量和候选图像序列中每一帧的特征向量，包括：通过第一子神经网络提取查询图像序列中每一帧的特征向量和候选图像序列中每一帧的特征向量。在一种可能的实现方式中，在提取查询图像序列中每一帧的特征向量和候选图像序列中每一帧的特征向量之后，所述方法还包括：通过第一子神经网络的第一全连接层对所述查询图像序列中每一帧的特征向量和所述候选图像序列中每一帧的特征向量进行降维处理，得到所述查询图像序列中每一帧的第一降维特征向量和所述候选图像序列中每一帧的第一降维特征向量。在一种可能的实现方式中，分别基于所述查询图像序列中每一帧的特征向量和所述候选图像序列中每一帧的特征向量，确定所述查询图像序列的自表达特征向量和所述候选图像序列的自表达特征向量包括：将所述查询图像序列中每一帧的特征向量和所述查询图像序列中每一帧的第一降维特征向量输入第二子神经网络中，确定所述查询图像序列的自表达特征向量；将所述候选图像序列中每一帧的特征向量和所述候选图像序列中每一帧的第一降维特征向量输入第二子神经网络中，确定所述候选图像序列的自表达特征向量。在一种可能的实现方式中，将所述查询图像序列中每一帧的特征向量和所述查询图像序列中每一帧的第一降维特征向量输入第二子神经网络中，确定所述查询图像序列的自表达特征向量，包括：通过所述第二子神经网络的第二全连接层对所述查询图像序列中每一帧的特征向量进行降维处理，得到所述查询图像序列中每一帧的第二降维特征向量；将所述查询图像序列中每一帧的第二降维特征向量经过时间维度的平均池化处理，得到所述查询图像序列的整体特征向量；基于所述查询图像序列中每一帧的第二降维特征向量、所述查询图像序列的整体特征向量以及所述查询图像序列中每一帧的第一降维特征向量，确定所述查询图像序列的自表达特征向量。在一种可能的实现方式中，将所述候选图像序列中每一帧的特征向量和所述候选图像序列中每一帧的第一降维特征向量输入第二子神经网络中，得到所述候选图像序列的自表达特征向量，包括：通过所述第二子神经网络的第二全连接层对所述候选图像序列中每一帧的特征向量进行降维处理，得到所述候选图像序列中每一帧的第二降维特征向量；将所述候选图像序列中每一帧的第二降维特征向量经过时间维度的平均池化处理，得到所述候选图像序列的整体特征向量；基于所述候选图像序列中每一帧的第二降维特征向量、所述候选图像序列的整体特征向量以及所述候选图像序列中每一帧的第一降维特征向量，确定所述候选图像序列的自表达特征向量。在一种可能的实现方式中，基于所述查询图像序列中每一帧的第二降维特征向量、所述查询图像序列的整体特征向量以及所述查询图像序列中每一帧的第一降维特征向量，确定所述查询图像序列的自表达特征向量，包括：通过无参数相关函数计算所述查询图像序列中每一帧的第二降维特征向量与所述查询图像序列的整体特征向量的相关度，得到所述查询图像序列中每一帧的第一相关权重；基于所述查询图像序列中每一帧的第一相关权重，对所述查询图像序列中每一帧的第一降维特征向量进行加权，得到所述查询图像序列的自表达特征向量。在一种可能的实现方式中，基于所述候选图像序列中每一帧的第二降维特征向量、所述候选图像序列的整体特征向量以及所述候选图像序列中每一帧的第一降维特征向量，确定所述候选图像序列的自表达特征向量，包括：通过无参数相关函数计算所述候选图像序列中每一帧的第二降维特征向量与所述候选图像序列的整体特征向量的相关度，得到所述候选图像序列中每一帧的第一相关权重；基于所述候选图像序列中每一帧的第一相关权重，对所述候选图像序列中每一帧的第一降维特征向量进行加权，得到所述候选图像序列的自表达特征向量。在一种可能的实现方式中，所述第一相关权重包括第一归一化相关权重，所述第一归一化相关权重是对所述第一相关权重进行归一化处理得到的。在一种可能的实现方式中，基于所述查询图像序列中每一帧的特征向量和所述候选图像序列的自表达特征向量，确定所述查询图像序列的协同表达特征向量，以及基于所述候选图像序列中每一帧的特征向量和所述查询图像序列的自表达特征向量，确定所述候选图像序列的协同表达特征向量，包括：将所述查询图像序列中每一帧的特征向量、所述查询图像序列中每一帧的第一降维特征向量以及所述候选图像序列的自表达特征向量输入第三子神经网络中，得到所述查询图像序列的协同表达特征向量；将所述候选图像序列中每一帧的特征向量、所述候选图像序列中每一帧的第一降维特征向量以及所述查询图像序列的自表达特征向量输入第三子神经网络中，得到所述候选图像序列的协同表达特征向量。在一种可能的实现方式中，将所述查询图像序列中每一帧的特征向量、所述查询图像序列中每一帧的第一降维特征向量以及所述候选图像序列的自表达特征向量输入第三子神经网络中，得到所述查询图像序列的协同表达特征向量，包括：通过所述第三子神经网络的第三全连接层对所述查询图像序列中每一帧的特征向量进行降维处理，得到所述查询图像序列中每一帧的第三降维特征向量；基于所述查询图像序列中每一帧的第三降维特征向量、所述候选图像序列的自表达特征向量以及所述查询图像序列中每一帧的第一降维特征向量，得到所述查询图像序列的协同表达特征向量；将所述候选图像序列中每一帧的特征向量、所述候选图像序列中每一帧的第一降维特征向量以及所述查询图像序列的自表达特征向量输入第三子神经网络中，得到所述候选图像序列的协同表达特征向量，包括：通过所述第三子神经网络的第三全连接层对所述候选图像序列中每一帧的特征向量进行降维处理，得到所述候选图像序列中每一帧的第三降维特征向量；基于所述候选图像序列中每一帧的第三降维特征向量、所述查询图像序列的自表达特征向量以及所述候选图像序列中每一帧的第一降维特征向量，得到所述候选图像序列的协同表达特征向量。本文档来自技高网...

【技术保护点】
1.一种目标匹配方法，其特征在于，包括：分别提取查询图像序列中每一帧的特征向量和候选图像序列中每一帧的特征向量，其中，所述查询图像序列包含待匹配目标；分别基于所述查询图像序列中每一帧的特征向量和所述候选图像序列中每一帧的特征向量，确定所述查询图像序列的自表达特征向量和所述候选图像序列的自表达特征向量；基于所述查询图像序列中每一帧的特征向量和所述候选图像序列的自表达特征向量，确定所述查询图像序列的协同表达特征向量，以及基于所述候选图像序列中每一帧的特征向量和所述查询图像序列的自表达特征向量，确定所述候选图像序列的协同表达特征向量；基于所述查询图像序列的自表达特征向量、所述查询图像序列的协同表达特征向量、所述候选图像序列的自表达特征向量以及所述候选图像序列的协同表达特征向量，确定所述查询图像序列与所述候选图像序列的相似性特征向量；基于所述相似性特征向量，确定所述查询图像序列与所述候选图像序列的匹配结果。

【技术特征摘要】
1.一种目标匹配方法，其特征在于，包括：分别提取查询图像序列中每一帧的特征向量和候选图像序列中每一帧的特征向量，其中，所述查询图像序列包含待匹配目标；分别基于所述查询图像序列中每一帧的特征向量和所述候选图像序列中每一帧的特征向量，确定所述查询图像序列的自表达特征向量和所述候选图像序列的自表达特征向量；基于所述查询图像序列中每一帧的特征向量和所述候选图像序列的自表达特征向量，确定所述查询图像序列的协同表达特征向量，以及基于所述候选图像序列中每一帧的特征向量和所述查询图像序列的自表达特征向量，确定所述候选图像序列的协同表达特征向量；基于所述查询图像序列的自表达特征向量、所述查询图像序列的协同表达特征向量、所述候选图像序列的自表达特征向量以及所述候选图像序列的协同表达特征向量，确定所述查询图像序列与所述候选图像序列的相似性特征向量；基于所述相似性特征向量，确定所述查询图像序列与所述候选图像序列的匹配结果。2.根据权利要求1所述的方法，其特征在于，在提取查询图像序列中每一帧的特征向量和候选图像序列中每一帧的特征向量之后，所述方法还包括：通过第一子神经网络的第一全连接层对所述查询图像序列中每一帧的特征向量和所述候选图像序列中每一帧的特征向量进行降维处理，得到所述查询图像序列中每一帧的第一降维特征向量和所述候选图像序列中每一帧的第一降维特征向量。3.根据权利要求2所述的方法，其特征在于，分别基于所述查询图像序列中每一帧的特征向量和所述候选图像序列中每一帧的特征向量，确定所述查询图像序列的自表达特征向量和所述候选图像序列的自表达特征向量包括：将所述查询图像序列中每一帧的特征向量和所述查询图像序列中每一帧的第一降维特征向量输入第二子神经网络中，确定所述查询图像序列的自表达特征向量；将所述候选图像序列中每一帧的特征向量和所述候选图像序列中每一帧的第一降维特征向量输入第二子神经网络中，确定所述候选图像序列的自表达特征向量。4.根据权利要求2所述的方法，其特征在于，基于所述查询图像序列中每一帧的特征向量和所述候选图像序列的自表达特征向量，确定所述查询图像序列的协同表达特征向量，以及基于所述候选图像序列中每一帧的特征向量和所述查询图像序列的自表达特征向量，确定所述候选图像序列的协同表达特征向量，包括：将所述查询图像序列中每一帧的特征向量、所述查询图像序列中每一帧的第一降维特征向量以及所述候选图像序列的自表达特征向量输入第三子神经网络中，得到所述查询图像序列的协同表达特征向量；将所述候选图像序列中每一帧的特征向量、所述候选图像序列中每一帧的第一降维特征向量以及所述查询图像序列的自表达特征向量输入第三子神经网络中，得到所述候选图像序列的协同表达特征向量。5.一种目标匹配装置...

【专利技术属性】
技术研发人员：张瑞茂，孙红斌，罗平，葛玉莹，任宽泽，林倞，王晓刚，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东,44