一种基于车正脸特征的车辆重识别方法技术

本发明专利技术涉及一种基于车正脸特征的车辆重识别方法，包括获取车辆正脸图像，处理后得到车前挡风玻璃区域各物体的掩膜；获取所有车辆驾驶员和副驾驶位人员的掩膜，提取分割出的车辆驾驶员和副驾驶位人员的特征；将当前车辆驾驶员特征与检索数据集中所有图像的车辆驾驶员特征进行度量计算，将距离由小到大排序；判断当前车辆是否具有副驾驶位人员特征，若是，则将该副驾驶位人员特征与排序后的前十张具有副驾驶位人员特征再次进行度量计算，将距离由小到大重排序，否则，剔除排序后的前十张具有副驾驶位人员的特征的图像；最后查询的车辆图像与距离最小的目标图像，将其判断为同一车辆个体。与现有技术相比，本发明专利技术具有识别精度高、应用广泛等优点。应用广泛等优点。应用广泛等优点。

【技术实现步骤摘要】
一种基于车正脸特征的车辆重识别方法


[0001]本专利技术涉及智慧交通
，尤其是涉及一种基于车正脸特征的车辆重识别方法。

技术介绍

[0002]随着国家基础建设的不断提升以及我国汽车保有量的不断增长，道路交通安全问题日益紧张，各类涉及交通违法的案件日益增多，致使人们对于公共交通安全问题的关注显著提升。为能有效缓解交通管理现状与公共交通安全等问题，寻找出切实有效的解决途径已经刻不容缓，为此面向交通监控视频中的海量车辆图像，寻找出目标车辆的车辆重识别技术被广泛关注。
[0003]车辆重识别被人们广泛定义为图像检索问题，近几年随着社会对于公共交通安全问题的逐步重视而逐渐成为了热门研究问题。车辆重识别问题与行人重识别问题相近，旨在快速检索、定位、跟踪监控中所拍摄到的车辆情况，通过不同摄像头所拍摄到的不同视图，寻找出相同的车辆问题。
[0004]车辆重识别最早开始基于车牌识别，但其后由于不少违法分子会将车牌遮挡或者涂改，甚至是使用套牌，这给基于车牌识别的车辆重识别技术造成了巨大的影响。近年来，结合车脸识别技术，不少研究者开始关注对车前挡风玻璃上的粘贴物、车内饰品等细粒度特征的提取，其中一些已经在许多实验中显示出不错的效果，但是对于车辆重识别问题更为有效特征的寻找仍然是一项非常重要的任务。其一是因为现阶段环保标志的取消、交强险标志的逐步退出以及未来年检标志的电子化，就长远的研究来看，提取车前挡风玻璃上的粘贴物特征对于未来车辆交通信息化发展已显得意义不大；其二是因为不能保证所有车辆都存在车内饰品，尤其是当两辆同一型号、同一颜色的车辆在车内都无任何饰品的时候将无法应用此方法进行重识别判定。
[0005]综上所述，尽管目前国内外针对基于车正脸的车辆重识别的研究已经取得了很多优秀的研究成果，但是随着车前挡风玻璃上的粘贴物逐步取消，目前已有基于一些车辆正脸的细粒度特征的车辆重识别将逐渐不能满足实际应用的需求。因此，本项目对车辆重识别寻找一种更为有效的特征的研究将具有非常重要的理论意义。另外，随着计算机算力的提升、图像处理技术的发展，现阶段的摄像头所拍摄到的车辆正脸画面已经有能力分辨包括驾驶员与副驾驶位人员在内的车辆内部细粒度特征，在车辆驾驶过程中，驾驶员与副驾驶位人员的变动情况是很小的，利用对车辆驾驶员的特征和前排副驾驶位人员特征的研究对于今后的车辆重识别尤其是应对同一颜色、同一型号车辆的重识别问题有着长远的应用价值。

技术实现思路

[0006]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种识别精度高、应用广泛的基于车正脸特征的车辆重识别方法。
[0007]本专利技术的目的可以通过以下技术方案来实现：
[0008]一种基于车正脸特征的车辆重识别方法，包括：
[0009]步骤1：获取车辆正脸图像，利用Mask R-CNN网络对图像进行部件检测和图像分割，得到车前挡风玻璃区域各物体的掩膜；
[0010]步骤2：获取所有车辆驾驶员和副驾驶位人员的掩膜，并根据之前在Mask R-CNN网络卷积过程中对应的特征图，提取分割出的车辆驾驶员和副驾驶位人员的特征；
[0011]步骤3：将当前车辆驾驶员特征与检索数据集中所有图像的车辆驾驶员特征进行度量计算，将距离由小到大排序；
[0012]步骤4：判断当前车辆是否具有副驾驶位人员特征，若是，则执行步骤5，否则，执行步骤6；
[0013]步骤5：将该副驾驶位人员特征与步骤3中排序后的前十张具有副驾驶位人员特征再次进行度量计算，将距离由小到大重排序，然后执行步骤7；
[0014]步骤6：在排序中剔除步骤3排序后的前十张具有副驾驶位人员的特征的图像，然后执行步骤7；
[0015]步骤7：查询的车辆图像与距离最小的目标图像，将其判断为同一车辆个体；
[0016]步骤8：完成车辆的重识别。
[0017]优选地，所述的步骤1中Mask R-CNN网络的获取方法为：
[0018]以ResNet-FPN网络为骨干网络构造Mask R-CNN网络。
[0019]更加优选地，所述的步骤1具体为：
[0020]车辆正脸图像作为输入，骨干网络ResNet-FPN用于对车辆正脸图像中各部件的特征提取；特征金字塔FPN经过区域生成网络RPN得到候选区域，将候选区域和经过骨干网络得到的特征图送入RoIAlign层计算出感兴趣的区域，之后再做分类、回归和掩膜预测；在边界框识别和掩膜预测组成的头部网络中，目标分类和回归分支通过全连接层与softmax损失计算，利用边界框置信度获取边界框的位置偏移量，得到边界框及边界框中的目标类别，输出类别的概率向量；掩膜预测Mask分支使用sigmoid损失和二进制损失，为各个类别生成掩膜。
[0021]更加优选地，所述的掩膜类别包括标志掩膜、车内饰品掩膜、车辆驾驶员掩膜及副驾驶位人员掩膜。
[0022]优选地，所述的步骤2具体为：
[0023]将从Mask分支中预测的类别为人的掩膜用k近邻算法缩放成7
×
7大小的二值矩阵，并与经过RoIAlign池化后的特征图进行比较，如果该类别特征图对应位置的掩膜值为1，则表示该区域存在含有分割前景语义的目标，需要将特征向量的值保留；若对应位置的掩膜值为0，则表示该区域不存在含有分割前景语义的目标，需要将特征向量的值去除；
[0024]对于通过掩膜过滤过的特征图，需要对滤波器的输出进行最大值池化，同时进行一次标准化，最后得到同一类别的两个特征向量，分别作为车辆驾驶员特征和副驾驶位人员特征的表示。
[0025]更加优选地，所述的标准化具体为L2标准化。
[0026]更加优选地，所述的L2标准化的计算方法为：
[0027][0028]其中，为每一维度的数据；x
j
为该维度下所有数据平方和的开根。
[0029]优选地，所述的步骤3具体为：
[0030]首先需对所有车辆图像进行标签，同时拥有驾驶员特征和副驾驶位人员特征的车辆图像标记为1，只拥有驾驶员特征车辆图像的标记为0，然后给定一个待查询的车辆图像query和检索数据集G，利用车辆驾驶员特征先进行比较，将待识别车辆图像query的驾驶员特征与检索数据集G内所有图像的驾驶员特征进行度量计算，将距离由小到大排序。
[0031]更加优选地，所述的度量计算方法为：
[0032][0033]其中，q
i
为待识别车辆图像query的驾驶员特征；g
i
为检索数据集G内所有图像的驾驶员特征；n为检索数据集G内车辆图像数量。
[0034]优选地，所述的步骤4具体为：
[0035]先判定该图像的标签，若标签为1，则说明该车辆图像具有副驾驶位人员特征，则需要将该图像的副驾驶位特征与步骤3排序后的前十张标签为1的图像的副驾驶位特征再次进行度量计算，将距离由小到大重排序；若标签为0，则说明该车辆图像不具有副驾驶位人员特征，则需要剔除步骤3排序过后前十本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于车正脸特征的车辆重识别方法，其特征在于，包括：步骤1：获取车辆正脸图像，利用Mask R-CNN网络对图像进行部件检测和图像分割，得到车前挡风玻璃区域各物体的掩膜；步骤2：获取所有车辆驾驶员和副驾驶位人员的掩膜，并根据之前在Mask R-CNN网络卷积过程中对应的特征图，提取分割出的车辆驾驶员和副驾驶位人员的特征；步骤3：将当前车辆驾驶员特征与检索数据集中所有图像的车辆驾驶员特征进行度量计算，将距离由小到大排序；步骤4：判断当前车辆是否具有副驾驶位人员特征，若是，则执行步骤5，否则，执行步骤6；步骤5：将该副驾驶位人员特征与步骤3中排序后的前十张具有副驾驶位人员特征再次进行度量计算，将距离由小到大重排序，然后执行步骤7；步骤6：在排序中剔除步骤3排序后的前十张具有副驾驶位人员的特征的图像，然后执行步骤7；步骤7：查询的车辆图像与距离最小的目标图像，将其判断为同一车辆个体；步骤8：完成车辆的重识别。2.根据权利要求1所述的一种基于车正脸特征的车辆重识别方法，其特征在于，所述的步骤1中Mask R-CNN网络的获取方法为：以ResNet-FPN网络为骨干网络构造Mask R-CNN网络。3.根据权利要求2所述的一种基于车正脸特征的车辆重识别方法，其特征在于，所述的步骤1具体为：车辆正脸图像作为输入，骨干网络ResNet-FPN用于对车辆正脸图像中各部件的特征提取；特征金字塔FPN经过区域生成网络RPN得到候选区域，将候选区域和经过骨干网络得到的特征图送入RoIAlign层计算出感兴趣的区域，之后再做分类、回归和掩膜预测；在边界框识别和掩膜预测组成的头部网络中，目标分类和回归分支通过全连接层与softmax损失计算，利用边界框置信度获取边界框的位置偏移量，得到边界框及边界框中的目标类别，输出类别的概率向量；掩膜预测Mask分支使用sigmoid损失和二进制损失，为各个类别生成掩膜。4.根据权利要求3所述的一种基于车正脸特征的车辆重识别方法，其特征在于，所述的掩膜类别包括标志掩膜、车内饰品掩膜、车辆驾驶员掩膜及副驾驶位人员掩膜。5.根据权利要求1所述的一种基于车正脸特征的车辆重识别方法，其特征在于，所述的步骤2具体为：将从Mask分支中预测的类别为人的掩膜用k近邻算法缩放成7<...

【专利技术属性】
技术研发人员：梁轶磊，韩华，罗丽洁，张建，王福银，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：