一种基于局部特征的车辆检索方法技术

本发明专利技术公开了一种基于局部特征的车辆检索方法，具体公开了：用目标检测算法进行车脸和车窗的定位，得到车辆样本；样本通过一定的预处理，定位截取车脸和车窗，搭建多任务loss卷积神经网络的深度学习算法，训练得到CNN网络模型，实现车辆型号的分类和特征提取，用车脸及车窗显著特征进行匹配检索出目标车辆，检索出同一辆车，解决了现有技术中在无车牌的情况，由于同一车型外观无法分辨，难以实现准确检索车辆的技术缺陷。

A vehicle retrieval method based on local features

The invention discloses a vehicle retrieval method based on local features, in particular: positioning the vehicle face and window with the target detection algorithm to obtain the vehicle sample; through certain preprocessing, the sample positions and intercepts the vehicle face and window, builds the deep learning algorithm of multi-task loss convolutional neural network, trains and obtains the CNN network model, realizes the classification and features of the vehicle model Extracting, matching and retrieving the significant features of vehicle face and window to retrieve the target vehicle, and retrieving the same vehicle, which solves the problem that there is no license plate in the existing technology. Because the appearance of the same vehicle cannot be distinguished, it is difficult to achieve the technical defect of accurately retrieving vehicles.

【技术实现步骤摘要】
一种基于局部特征的车辆检索方法
本专利技术涉及图像处理与检索领域，尤其涉及一种基于局部特征的车辆检索方法。
技术介绍
随着交通监控系统的数据库不断的扩大和更新，准确的在大规模的数据库中检索出目标车辆，对安防部门、公安侦查罪犯等社会应用有非常大的帮助。很多涉嫌违法犯罪的车辆常没有车牌(包括套牌、伪造车牌及遮挡车牌等)，基于车牌识别的方法无法对其进行有效识别检索。目前关于车辆识别和检索研究，主要集中在识别大型货车、中型汽车、小型轿车等少数几类车型。随着图像识别研究的深入，针对例如奥迪Q5、奔驰S500等具体车辆型号识别的研究也逐步出现，而由于同一车型外观是无法分辨的，在无车牌的情况下检索出同一辆车难以实现。由于车脸能够有效的表达车辆的外观属性，通过基于车脸特征的分类能对车辆型号进行准确的识别，而因车主的喜好使车窗具有鲜明的局部特征，特殊标志(挂饰、摆件、纸巾盒、年检标)使得相同型号的车辆能够加以区分。因此，如何提供一种通过车脸、车窗图像对无牌车进行识别检索是本领域人员亟需解决的技术问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于局部特征的车辆检索方法，包括车脸和车窗的定位、图像预处理、建立CNN网络模型、车脸和车窗特征提取与对比，实现在大规模车辆数据库高效准确的检索。为了实现上述目的，本专利技术采用如下技术方案：一种基于局部特征的车辆检索方法，包括以下步骤：步骤S1：车脸和车窗的定位：通过目标检测算法Fast-RCNN定位，利用运动目标检测技术从交通卡口监控视频中检测到车辆，对无车牌的车脸及车窗进行检测定位，再定位截取出车脸和车窗，获得的局部区域的坐标；步骤S2：图像预处理：将步骤S1获取的车辆样本进行检测、裁剪、对齐预处理，并将图片格式转换为LMDB格式，生成减均值文件；步骤S3：建立CNN网络模型：通过基于搭建多任务loss双支网络构架，训练得到CNN网络模型用于特征提取；在网络构架的损失层上结合centerloss和softmax，其中，centerloss通过惩罚每个种类的样本和该种样本中心的偏移，使同一种类的样本尽量聚合在一起。其表示为：其中，xi表示第i张图片的特征值，表示类yi的类中心，在此损失函数中，每个iteration计算当前数据和center的距离，然后把这个距离以梯度的形式叠加到center上实现的更新；Softmax使用下式计算得到每一类的概率输出，其中，xi为softmax层第i个节点值，yi为第i个输出值，n为softmax层的节点个数，最后一个损失层是中心损失函数和softmax的结合，损失函数表示为：步骤S4：车脸和车窗特征提取与对比：运用步骤S3训练得到的CNN网络模型对步骤S2中处理好的待检索样本和车辆检索库进行特征提取，然后进行特征比对，分类识别出同一车型的图像后利用车窗及车脸特征比对检索得到同一车辆；其中，车脸和车窗比对阶段，需要设置一个相似度阈值w，采用余弦距离计算图像相似度s，计算s的公式如下所示：车辆比对阶段，将两张车辆图像的相似度和阈值w进行比较，将当s＞w时，说明两张图像相似度较高，可以分为同一车型，当s≤w时，说明输入比对的两张图像相似度较低，属于不同车型；若为同一车型，继续进行车窗比对，直到检索出相似度最高的同一辆车；若为不同车型，即可停止下一步的车窗比对。优选地，所述步骤S3中CNN网络模型包括车脸分类模型与车窗目标提取模型。优选地，所述步骤S3中网络构架为深层网络构架或浅层网络构架。优选地，所述步骤S4中确定车脸比对的相似度阈值定为0.52以及车窗比对的相似度阈值定为0.71时比对准确率最高。本专利技术的有益效果:本专利技术方法采用一种卷积神经网络主要算法流程，提出一种基于局部特征的车辆检索方法。用目标检测算法进行脸和车窗的定位，得到车辆样本；样本通过一定的预处理，定位截取车脸和车窗，搭建多任务loss卷积神经网络的深度学习算法，训练得到CNN网络模型，实现车辆型号的分类和特征提取，用车脸及车窗显著特征进行匹配检索出目标车辆，检索出同一辆车，解决了现有技术中在无车牌的情况，由于同一车型外观无法分辨，难以实现准确检索车辆的技术缺陷。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术的检索流程框架示意图；图2为多任务loss双支网络构架；图3为Fast-RCNN算法流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行完整、清楚的描述。本专利技术所述基于局部特征的车辆检索方法，如图1所示是基于局部特征的检索流程框架示意图，首先进行车脸和车窗的定位、图像预处理、建立CNN网络模型，得到车脸分类模型和车窗目标提取网络模型。然后用CNN网络模型提取特征信息进行比对，先筛选出相同车型的车辆，最终检索出同一车辆。具体实施过程如下：步骤S1：车辆图像是利用目标检测Fast-RCNN算法定位，获得车脸和车窗样本。基于深度学习的目标检测算法比传统的车牌识别检测识别更高效，且能够对无车牌的车脸进行检测定位，利用获得的局部区域的坐标截取得到。如图3为Fast-RCNN算法流程图。步骤S2：将车辆样本进行检测、裁剪、对齐等预处理，并将图片格式转换为LMDB格式。通过对所有训练样本取平均，生成一个均值文件mean.binaryproto，以LMDB文件作为输入数据，对图片进行减均值处理。步骤S3：搭建基于多任务loss双支网络构架，训练得到CNN网络模型用于特征提取。基于CNNs的深度学习网络构架，可以搭建深层的网络构架，也可以搭建浅层的网络构架，本专利技术搭建的是一个浅层双支多任务loss网络构架，如图2所示网络构架示意图，其中单支包括三个卷积-池化层、两个全连接层、一个损失层，三个卷积层卷积核的个数分别为32/32/64，卷积核大小为5*5，步长为1；三个池化层的核大小均为3*3，步长为2，三个池化层均为最大池化层；第一个全连接层设置节点数为4096，第二个全连接层设置节点数为1024，两个全连接层的权值初始化参数为xavier，偏置项初始化参数为constant，一个损失层为softmax；合并分支部分包括两个全连接层和一个损失层，最后损失层采用中心损失函数和softmax的结合，计算loss值公式为：步骤S4：如图1所示基于局部特征的车辆检索流程图，运用步骤S3训练得到的CNN网络模型对步骤S2中处理好的待检索样本和车辆检索库进行特征提取，然后进行特征比对，分类识别出同一车型的图像后利用车窗及车脸特征比对检索得到同一车辆；其中，车脸和车窗比对阶段，需要设置一个相似度阈本文档来自技高网...

【技术保护点】
1.一种基于局部特征的车辆检索方法，其特征在于，包括以下步骤：/n步骤S1：车脸和车窗的定位：通过目标检测算法Fast-RCNN定位，对无车牌的车脸及车窗进行检测定位，获得的局部区域的坐标；/n步骤S2：图像预处理：将步骤S1获取的车辆样本进行检测、裁剪、对齐预处理，并将图片格式转换为LMDB格式，生成减均值文件；/n步骤S3：建立CNN网络模型：通过基于搭建多任务loss双支网络构架，训练得到CNN网络模型用于特征提取；在网络构架的损失层上结合center loss和softmax，其中，centerloss通过惩罚每个种类的样本和该种样本中心的偏移，使同一种类的样本聚合在一起，其表示为：/n

【技术特征摘要】
1.一种基于局部特征的车辆检索方法，其特征在于，包括以下步骤：
步骤S1：车脸和车窗的定位：通过目标检测算法Fast-RCNN定位，对无车牌的车脸及车窗进行检测定位，获得的局部区域的坐标；
步骤S2：图像预处理：将步骤S1获取的车辆样本进行检测、裁剪、对齐预处理，并将图片格式转换为LMDB格式，生成减均值文件；
步骤S3：建立CNN网络模型：通过基于搭建多任务loss双支网络构架，训练得到CNN网络模型用于特征提取；在网络构架的损失层上结合centerloss和softmax，其中，centerloss通过惩罚每个种类的样本和该种样本中心的偏移，使同一种类的样本聚合在一起，其表示为：



其中，xi表示第i张图片的特征值，表示类yi的类中心，在此损失函数中，每个iteration计算当前数据和center的距离，然后把这个距离以梯度的形式叠加到center上实现的更新；
Softmax使用下式计算得到每一类的概率输出，



其中，xi为softmax层第i个节点值，yi为第i个输出值，n为softmax层的节点个数，
最后一个损失层是中心损失函数和softmax的结合，损失函数表示为：



步骤S...

【专利技术属性】
技术研发人员：蔡晓东，苏欣欣，
申请(专利权)人：桂林远望智能通信科技有限公司，
类型：发明
国别省市：广西;45