基于高判别力特征挖掘的车辆再识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于高判别力特征挖掘的车辆再识别方法及装置，其中，方法包括：从多个摄像机的视频流中提取多组含有车辆的图像帧，并从图像帧中提取车辆图像，剔除冗余图像且在每张车辆图像上标注车辆ID；根据带多注意力分支和多样性约束的卷积神经网络提取至少一个三元组的判别性特征，并根据判别性特征得到三元损失函数，其中，至少一个三元组包括两张不同摄像机拍摄的ID相同的车辆图像和一张ID不同的车辆图像；根据三元损失函数和梯度下降算法计算梯度并更新网络参数，以得到预设神经网络，并根据预设神经网络得到车辆再识别结果。该方法一方面可以提高精度，另一方面也可以提高再识别算法的可解释性，简单易实现。

【技术实现步骤摘要】
基于高判别力特征挖掘的车辆再识别方法及装置
本专利技术涉及数字图像处理
，特别涉及一种基于高判别力特征挖掘的车辆再识别方法及装置。
技术介绍
相关技术，车辆再识别(VehicleRe-Identification)就是对采集自不同摄像头的车辆图像进行匹配，判断图像是否属于同一辆车。随着现代化发展，道路两侧布置了越来越多的摄像机，每天采集到海量的数据，使得这一技术显得愈发重要起来。但由于不同摄像头采集到的图像的光照、角度、清晰度以及其中车辆的姿态都有较大的差异，导致这一技术始终无法完善。目前主流的车辆再识别算法可以大体分为两个步骤：特征提取和匹配。对于特征提取部分，早期的一些方法使用了经典的特征工程方法得到的人工特征来进行匹配，一些较为传统的方法使用颜色直方图，HOG(HistogramofOrientedGradient，方向梯度直方图)特征作为图像的特征，并使用SVM(SupportVectorMachine，支持向量机)进行分类。随着深度学习的发展，越来越多的方法使用深度学习得到的特征来代替人工特征，一些方法使用深度哈希算法，结合车辆的属性识别来实现车辆搜索，除了传统的两两对比的匹配方法，一些方法引入了基于三元组的度量学习方法，相比于二元匹配，这种方法可以得到更具有判别性的度量空间划分。实际上，这些方法都不是相互制约的，有研究表明，将二元、三元匹配，及人工特征和深度学习的特征混合到一起进行多任务学习，可以使性能得到进一步提升，除了完全基于车辆图片进行的学习，一些方法还引入了额外的标注或信息，虽然这样增加了人工标注的成本，但这些方法更贴近人视觉系统的处理方式，也对性能有很大的提升。在实际的监控环境下，得到的数据往往不是单张独立的图像，而是一段图像序列。同时在城市中，车辆大部分时间是沿交通道路行驶或停靠，车辆出现在不同的摄像头中是存在时序上的约束的。因而可以利用这些时序上的约束以及序列间信息，来提升算法性能。神经网络模型含有大量未定参数，需要大量数据通过深度学习的方式确定这些参数。虽然相比于其他任务如物体识别，物体检测等，车辆再识别目前在学术界还是一个比较小众的研究方向，但已有一些研究者采集了大规模数据并公开提供给其他研究者。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于高判别力特征挖掘的车辆再识别方法，该方法一方面可以提高精度，另一方面也可以提高再识别算法的可解释性，简单易实现。本专利技术的另一个目的在于提出一种基于高判别力特征挖掘的车辆再识别装置。为达到上述目的，本专利技术一方面实施例提出了一种基于高判别力特征挖掘的车辆再识别方法，包括以下步骤：从多个摄像机的视频流中提取多组含有车辆的图像帧，并从所述图像帧中提取车辆图像，剔除冗余图像且在每张车辆图像上标注车辆ID(identification，身份标识号)；根据带多注意力分支和多样性约束的卷积神经网络提取至少一个三元组的判别性特征，并根据所述判别性特征得到三元损失函数，其中，所述至少一个三元组包括两张不同摄像机拍摄的ID相同的车辆图像和一张ID不同的车辆图像；根据所述三元损失函数和梯度下降算法计算梯度并更新网络参数，以得到预设神经网络，并根据所述预设神经网络得到车辆再识别结果。本专利技术实施例的基于高判别力特征挖掘的车辆再识别方法，有效解决车辆再识别技术中存在的精度低及识别结果可解释性差的问题，通过利用注意力机制，使神经网络从不同车辆中提取不同的具有判别性的局部特征进行匹配，从而一方面可以提高精度，另一方面也可以提高再识别算法的可解释性，简单易实现。另外，根据本专利技术上述实施例的基于高判别力特征挖掘的车辆再识别方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：将所有车辆图像放入图像数据库中；将待查询图像和图像数据库中的所有车辆图像输入预设神经网络分别得到待查询图像特征和已有图像特征；计算所述待查询图像特征和所述已有图像特征之间的欧几里得距离，并将所述距离转化为相似度；根据相似度的高低进行排序，以得到待查询图像的查询结果，其中，所述查询结果为相似度最高的车辆图像。进一步地，在本专利技术的一个实施例中，所述根据所述损失函数和梯度下降算法计算梯度并更新网络参数，以得到预设神经网络，进一步包括：利用卷积层提取每张车辆图像的底层特征；利用多分支的注意力模块提取每张车辆图像的局部特征；融合所述局部特征和全局特征得到以得到所述预设神经网络。进一步地，在本专利技术的一个实施例中，所述三元损失函数为：Ltri(Ia，I+，I-)＝d(f(Ia)，f(I+))-d(f(Ia)，f(I-))+α，其中，f(I+),f(I-)两张不同摄像机拍摄的ID相同的车辆图像的判别特征，f(Ia)为ID不同的车辆图像的判别特征。进一步地，在本专利技术的一个实施例中，根据带多注意力分支和多样性约束的卷积神经网络提取至少一个三元组的判别性特征之前，还包括：同时设置所述卷积神经网络的超参数并初始化网络参数。为达到上述目的，本专利技术另一方面实施例提出了一种基于高判别力特征挖掘的车辆再识别装置，包括：第一提取模块，用于从多个摄像机的视频流中提取多组含有车辆的图像帧，并从所述图像帧中提取车辆图像，剔除冗余图像且在每张车辆图像上标注车辆ID；第二提取模块，用于根据带多注意力分支和多样性约束的卷积神经网络提取至少一个三元组的判别性特征，并根据所述判别性特征得到三元损失函数，其中，所述至少一个三元组包括两张不同摄像机拍摄的ID相同的车辆图像和一张ID不同的车辆图像；计算模块，用于根据所述三元损失函数和梯度下降算法计算梯度并更新网络参数，以得到预设神经网络，并根据所述预设神经网络得到车辆再识别结果。本专利技术实施例的基于高判别力特征挖掘的车辆再识别装置，有效解决车辆再识别技术中存在的精度低及识别结果可解释性差的问题，通过利用注意力机制，使神经网络从不同车辆中提取不同的具有判别性的局部特征进行匹配，从而一方面可以提高精度，另一方面也可以提高再识别算法的可解释性，简单易实现。另外，根据本专利技术上述实施例的基于高判别力特征挖掘的车辆再识别装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：查询模块，用于将所有车辆图像放入图像数据库中，将待查询图像和图像数据库中的所有车辆图像输入预设神经网络分别得到待查询图像特征和已有图像特征，且计算所述待查询图像特征和所述已有图像特征之间的欧几里得距离，并将所述距离转化为相似度，并根据相似度的高低进行排序，以得到待查询图像的查询结果，其中，所述查询结果为相似度最高的车辆图像。进一步地，在本专利技术的一个实施例中，所述计算模块进一步用于利用卷积层提取每张车辆图像的底层特征，利用多分支的注意力模块提取每张车辆图像的局部特征，融合所述局部特征和全局特征得到以得到所述预设神经网络。进一步地，在本专利技术的一个实施例中，所述三元损失函数为：Ltri(Ia，L，I-)＝d(f(Ia)，f(I+))-d(f(Ia)，f(I-))+α，其中，f(I+),f(I-)两张不同摄像机拍摄的ID相同的车辆图像的判别特征，f(Ia)为ID不同的车辆图像的判别特征。进一步地，在本专利技术的一个实施例中，还包括：设置模块，用本文档来自技高网...

【技术保护点】
1.一种基于高判别力特征挖掘的车辆再识别方法，其特征在于，包括以下步骤：从多个摄像机的视频流中提取多组含有车辆的图像帧，并从所述图像帧中提取车辆图像，剔除冗余图像且在每张车辆图像上标注车辆ID；根据带多注意力分支和多样性约束的卷积神经网络提取至少一个三元组的判别性特征，并根据所述判别性特征得到三元损失函数，其中，所述至少一个三元组包括两张不同摄像机拍摄的ID相同的车辆图像和一张ID不同的车辆图像；以及根据所述三元损失函数和梯度下降算法计算梯度并更新网络参数，以得到预设神经网络，并根据所述预设神经网络得到车辆再识别结果。

【技术特征摘要】
1.一种基于高判别力特征挖掘的车辆再识别方法，其特征在于，包括以下步骤：从多个摄像机的视频流中提取多组含有车辆的图像帧，并从所述图像帧中提取车辆图像，剔除冗余图像且在每张车辆图像上标注车辆ID；根据带多注意力分支和多样性约束的卷积神经网络提取至少一个三元组的判别性特征，并根据所述判别性特征得到三元损失函数，其中，所述至少一个三元组包括两张不同摄像机拍摄的ID相同的车辆图像和一张ID不同的车辆图像；以及根据所述三元损失函数和梯度下降算法计算梯度并更新网络参数，以得到预设神经网络，并根据所述预设神经网络得到车辆再识别结果。2.根据权利要求1所述的基于高判别力特征挖掘的车辆再识别方法，其特征在于，还包括：将所有车辆图像放入图像数据库中；将待查询图像和图像数据库中的所有车辆图像输入预设神经网络分别得到待查询图像特征和已有图像特征；计算所述待查询图像特征和所述已有图像特征之间的欧几里得距离，并将所述距离转化为相似度；根据相似度的高低进行排序，以得到待查询图像的查询结果，其中，所述查询结果为相似度最高的车辆图像。3.根据权利要求1所述的基于高判别力特征挖掘的车辆再识别方法，其特征在于，所述根据所述损失函数和梯度下降算法计算梯度并更新网络参数，以得到预设神经网络，进一步包括：利用卷积层提取每张车辆图像的底层特征；利用多分支的注意力模块提取每张车辆图像的局部特征；融合所述局部特征和全局特征得到以得到所述预设神经网络。4.根据权利要求1所述的基于高判别力特征挖掘的车辆再识别方法，其特征在于，所述三元损失函数为：Ltri(Ia,I+,I-)＝d(f(Ia),f(I+))-d(f(Ia),f(I-))+α，其中，f(I+),f(I-)两张不同摄像机拍摄的ID相同的车辆图像的判别特征，f(Ia)为ID不同的车辆图像的判别特征。5.根据权利要求1所述的基于高判别力特征挖掘的车辆再识别方法，其特征在于，根据带多注意力分支和多样性约束的卷积神经网络提取至少一个三元组的判别性特征之前，还包括：同时设置所述卷积神经网络的超参数并初始化网络参数。6....

【专利技术属性】
技术研发人员：鲁继文，周杰，任亮亮，王骞，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11