一种车辆再识别方法及系统技术方案

本发明专利技术提供了一种车辆再识别方法及系统，基于车辆部件特征与集合距离度量学习，包括如下步骤：提取车辆的全局特征及局部特征，并基于局部特征的质量确定每个局部特征所占权重；通过集合距离度量学习，完成车辆再识别过程。本发明专利技术使用集合距离度量学习加速特征学习的过程。集合距离度量学习首先将同一辆车的不同图片视为一个集合，通过减小每个集合内部的图片距离，同时增大不同集合之间的距离优化特征学习过程。本发明专利技术有效降低了训练的计算复杂度，同时可获得更具有判别力的特征，能够更为准确的进行车辆再识别。 1

A vehicle re recognition method and system

The invention provides a vehicle re identification method and system, based on the vehicle component features and set distance measurement, including the following steps: extracting the global and local characteristics of the vehicle, and determining the weight of each local feature based on the quality of the local feature; learning through the set distance measure to complete the reidentification of the vehicle. Do not process. The invention uses the set distance metric learning to accelerate the process of feature learning. Set distance metric learning first regards the different pictures of the same car as a set, by reducing the picture distance within each set, and increasing the distance between different sets to optimize the learning process. The invention effectively reduces the computational complexity of the training, and obtains a more discriminating feature, which enables the vehicle to be re identified more accurately. One

【技术实现步骤摘要】
一种车辆再识别方法及系统
本专利技术涉及一种车辆识别
，尤其是涉及一种基于车辆部件特征与集合距离度量学习的车辆再识别方法及系统。
技术介绍
无重叠视域的监控系统拍摄到的车辆图像是车辆再识别问题用到的主要处理对象，然而这些车辆图像包含视角变化、分辨率、光照变化、模糊、摄像头设置、复杂背景以及遮挡等问题，使得车辆再识别问题的困难加剧，这些问题的解决方案也仍然被很多学者研究着。在非重叠视域监控系统下的车辆再识别这个领域下，有非常多的方法被国内外研究学者提出。这些方法可以粗略的分成两个类别，一类为基于特征学习的车辆再识别算法，另一类则是基于度量学习的车辆再识别算法。对于第一种基于特征学习的车辆再识别方法及系统，通过一些具有鲁棒性、稳定和有区分能力的描述子将车辆图像表示成为特征向量。被广泛应用的特征描述子包括SIFT以及SURF。再识别问题中，传统的生物特征识别的方法，如：人脸识别、步态识别或者轮廓识别等，是被广泛应用于行人再识别类问题的。然而，上述的一系列特征描述子对于车辆再识别问题并不是特别有效，很难同时满足鲁棒性、稳定性和有区分性这几个要求。因为大部分由监控系统摄像头拍摄到的车辆图像不具有高分辨率，低分辨率会导致在实际的监控系统中无法看清楚车辆细节，如车辆车牌号码，或者由于监控摄像头拍摄的角度、距离等原因使得车辆部分区域被遮挡而无法精确再识别。与行人的再识别相比，由于车辆的机械构造而无法利用生物特征来通过细节实现车辆再识别。现有的很多研究方法都在寻找一个更有区分力、更鲁棒和稳定的车辆外形特征，就特征提取而言，如何设计特征以及寻找优化的特征对于车辆再识别有着举足轻重的影响力，比如研究颜色特征时主要关注的问题是如何同时满足减少光照变化影响和保留色彩色调信息两个条件，而将纹理特征和颜色特征一起使用往往能得到更加优化的效果。主流的目标再识别特征有：基于Haar的特征、颜色直方图和纹理直方图等特征。第二种为基于度量学习的再识别方法。利用度量学习的方法，将其成功应用到行人再识别问题中，并已取得了很好的效果，但是应用到车辆再识别中仍然是一个较新的问题。大部分目标再识别方法中都将其定义为单个目标图像间的匹配问题，即只利用了单帧图像的信息而忽略了序列图像间的关联信息。事实上当车辆经过一个监控摄像头时，这个监控摄像头会拍摄到车辆由远到近以及由近到远的一系列图像，而不仅仅是单帧图像。
技术实现思路
为解决以上问题，本专利技术显式融合了车辆结构中的全局和局部信息来提取表达能力更强、鲁棒性更好的视觉特征。本专利技术同时提出了基于集合的距离度量学习方法来更有效地降低视觉特征的类内距离，同时增大视觉特征的类间距离。具体的，本专利技术提出了一种车辆再识别方法，基于车辆部件特征与集合距离度量学习，包括如下步骤：提取车辆的全局特征及局部特征，并基于局部特征的质量确定每个局部特征所占权重；通过集合距离度量学习，完成车辆再识别过程。优选的，在所述提取车辆的全局特征及局部特征之前，包括图像预处理步骤，将多个车辆的图像进行卷积以产生特征图。优选的，所述全局特征包括两个互补的全局特征，局部特征包括多个不同的局部特征，其中每个局部特征都对应一个权重，以进行将来的融合。优选的，提取所述两个互补的全局特征的过程为：再卷积图像预处理后产生的特征图，随后经平均池化、两次完全连接获取一个全局特征，或者所述再卷积后经批规一化、平均池化、两次完全连接获取另一个全局特征。优选的，提取所述多个局部特征的过程为：再卷积图像预处理后产生的特征图，得到新的特征图，将所述新特征图自上至下均分为多个区域，并且每两个相邻区域之间都有一定的重叠区域，随后分别对每个区域经平均池化、完全连接获取对应的局部特征。优选的，所述基于局部特征的质量确定每个局部特征所占权重的过程为：所述预处理步骤后产生的特征图分别经全局再卷积、局部再卷积，再经过各自的通道平均池后，统一进行完全连接融合，获得对应的多个输出结果，以确定每个局部特征所占权重。优选的，所述集合距离度量学习加速特征学习的过程，首先将同一辆车的不同图片视为一个集合，然后通过减小每个集合内部的图片距离，同时增大不同集合之间的距离优化特征学习过程。根据本专利技术的另一个方面，还提供了一种车辆再识别系统，基于车辆部件特征与集合距离度量学习，包括：全局子网络，用于提取车辆的全局特征；局部子网络，用于提取车辆的局部特征；权重学习层，基于局部特征的质量确定每个局部特征所占权重；集合距离度量学习层，通过集合距离度量学习，完成车辆再识别过程。优选的，所述系统还包括共享卷积层，用于将多个车辆的图像进行卷积以产生特征图。优选的，所述全局特征包括两个互补的全局特征，局部特征包括多个不同的局部特征，其中每个局部特征都对应一个权重，以进行将来的融合。优选的，提取两个互补的全局特征的过程为：再卷积图像预处理后产生的特征图，随后经平均池化层、两个完全连接层获取一个全局特征，或者所述再卷积后经批规一化层、平均池化层、两个完全连接层获取另一个全局特征。优选的，所述提取多个局部特征的过程为：再卷积图像预处理后产生的特征图，得到新的特征图，将所述新特征图自上至下均分为多个区域，并且每两个相邻区域之间都有一定的重叠区域，随后分别对每个区域经平均池化层、两个完全连接层获取对应的局部特征。优选的，所述基于局部特征的质量确定每个局部特征所占权重的过程为：所述预处理步骤后产生的特征图分别经全局再卷积、局部再卷积，再经过各自的通道平均池后，统一进行完全连接融合，获得对应的多个输出结果，以确定每个局部特征所占权重。优选的，所述集合距离度量学习加速特征学习的过程，首先将同一辆车的不同图片视为一个集合，然后通过减小每个集合内部的图片距离，同时增大不同集合之间的距离优化特征学习过程。与传统方法相比，本专利技术有效降低了训练的计算复杂度，同时可获得更具有判别力的特征，能够更为准确的进行车辆再识别。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本专利技术基于车辆局部特征与集合距离度量学习的车辆再识别方法的流程图；图2为本专利技术提出的集合距离度量学习和标准三元组损失学习方法，对准确率的提升对比示意图。具体实施方式下面将参照附图更详细地描述本专利技术的示例性实施方式。虽然附图中显示了本专利技术的示例性实施方式，然而应当理解，可以以各种形式实现本专利技术而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给本领域的技术人员。图1为本专利技术基于车辆局部特征与集合距离度量学习的车辆再识别方法及流程图，包括如下步骤：S1、提取车辆的全局特征及局部特征，基于局部特征的质量确定每个局部特征所占权重。输入N个训练样本，即N个车辆的一系列图像，首先进入一系列共享卷积层，这些共享卷积层用于产生特征图。卷积层5-1用于产生全局子网络的输入信号，卷积层5-2用于产生局部子网络的输入信号。全局子网络抽取的全局特征包括两个互补的全局特征fb和fc，局部子网络抽取的局部特征包括多个局部特征，其中每个局部特征都对应一本文档来自技高网...

【技术保护点】
1.一种车辆再识别方法，基于车辆部件特征与集合距离度量学习，其特征在于，包括如

【技术特征摘要】
1.一种车辆再识别方法，基于车辆部件特征与集合距离度量学习，其特征在于，包括如下步骤：提取车辆的全局特征及局部特征，并基于局部特征的质量确定每个局部特征所占权重；通过集合距离度量学习，完成车辆再识别过程。2.根据权利要求1所述的车辆再识别方法，其特征在于：在所述提取车辆的全局特征及局部特征之前，包括图像预处理步骤，将多个车辆的图像进行卷积以产生特征图。3.根据权利要求2所述的车辆再识别方法，其特征在于：所述全局特征包括两个互补的全局特征，局部特征包括多个不同的局部特征，其中每个局部特征都对应一个权重，以进行将来的融合。4.根据权利要求3所述的车辆再识别方法，其特征在于：提取所述两个互补的全局特征的过程为：再卷积图像预处理后产生的特征图，随后经平均池化、两次完全连接获取一个全局特征，以及所述再卷积后经批规一化、平均池化、两次完全连接获取另一个全局特征。5.根据权利要求4所述的车辆再识别方法，其特征在于：提取所述多个局部特征的过程为：再卷积图像预处理后产生的特征图，得到新的特征图，将所述新特征图自上至下均分为多个区域，并且每两个相邻区域之间都有一定的重叠区域，随后分别对每个区域经平均池化、完全连接获取对应的局部特征。6.根据权利要求5所述的车辆再识别方法，其特征在于：所述基于局部特征的质量确定每个局部特征所占权重的过程为：所述预处理步骤后产生的特征图分别经全局再卷积、局部再卷积，再分别经过各自的通道平均池后，统一进行完全连接融合，获得对应的多个输出结果，以确定每个局部特征所占权重。7.根据权利要求1所述的车辆再识别方法，其特征在于：所述集合距离度量学习加速特征学习的过程，首先将同一辆车的不同图片视为一个集合，然后通过减小每个集合内部的图片距离，同时增大不同集合之间的距离优化特征学习过程。8.一种车辆再识别系统，基于车...

【专利技术属性】
技术研发人员：张史梁，田奇，高文，刘晓滨，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11