一种基于深度车贴检测的嫌疑车辆检索方法技术

本发明专利技术公开了一种基于深度车贴检测的嫌疑车辆检索方法，属于智能交通领域以及图像检索领域。所述方法包括：对卡口车辆图像进行车窗检测，获取卡口车辆图像中的车窗的车贴区域；对车贴区域进行车贴检测，所述车贴检测包括将待检测车贴信息与车贴数据库中的车贴信息做对比以得出车辆检索结果；其中车贴数据库中的车贴信息为预先存储并在检测过程中不断补充得到的。本发明专利技术通过选用嫌疑车辆前脸车窗上的车贴作为车辆的一个独有特征来对车辆进行检索，通过训练并使用深度网络模型能够精确有效的检索出数据库中的车辆，满足实际情况中的车辆检索需求。

A Suspected Vehicle Retrieval Method Based on Deep Paste Detection

The invention discloses a suspect vehicle retrieval method based on deep sticker detection, which belongs to the field of intelligent transportation and image retrieval. The method includes: detecting the car window of the car image at the entrance to the entrance to the entrance to obtain the car window paste area of the car image at the entrance to the entrance; detecting the car paste area at the entrance to the car, which includes comparing the information of the car paste to be detected with the information of the car paste database in order to obtain the vehicle retrieval result; and storing the car paste information in the car paste database in advance and in the detection process. Continuously supplemented. By selecting the sticker on the front face window of a suspected vehicle as a unique feature of the vehicle, the vehicle in the database can be retrieved accurately and effectively through training and using the depth network model to meet the vehicle retrieval requirements in the actual situation.

【技术实现步骤摘要】
一种基于深度车贴检测的嫌疑车辆检索方法
本专利技术涉及一种基于深度车贴检测的嫌疑车辆检索方法，属于智能交通领域以及图像检索领域。
技术介绍
目前，车辆检索系统主要根据视频或卡口图片中车辆固有的车牌号码、车辆品牌和车辆颜色来检索车辆的。但是，在现实生活中涉及到车辆的违法案件中，涉案车辆往往是假(套)牌车，甚至会改变车辆品牌标志以及车辆颜色，此时根据车辆品牌、颜色以及车牌号码进行侦查将发挥不了任何作用；同时，根据车辆品牌和车辆颜色检索可疑车辆在减少工作量方面起到的作用也很有限。因此，基于这些车辆固有属性特征的检索方法对于假(套)牌车辆达不到预期的检索效果。因此，需要提供一种能够针对车辆的某独一特征进行准确检索识别的方法。
技术实现思路
为了解决目前存在的基于车辆固有属性特征的检索方法对于假(套)牌车辆达不到预期的检索效果的问题，本专利技术选用嫌疑车辆前脸车窗上的车贴作为车辆的一个独有特征来对嫌疑车辆进行检索。车贴是指车辆前挡风玻璃上通常粘贴的环保标志、年检标志、交强险标志以及一些其他个人标志，这些大小，数量，位置不一的车贴可以视为车辆的一个独有特征。因此，本专利技术在实际应用中有着极为重要的意义。本专利技术的第一个目的在于提供一种车辆检索方法，所述方法包括：对卡口车辆图像进行车窗检测；获取卡口车辆图像中的车窗的车贴区域；对车贴区域进行车贴检测，所述车贴检测包括将待检测车贴信息与车贴数据库中的车贴信息做对比以得出车辆检索结果；其中车贴数据库中的车贴信息为预先存储并在检测过程中不断补充得到的。可选的，所述将待检测车贴信息与车贴数据库中的车贴信息做对比，包括：精修车贴检测框，得到待检测车贴区域；使用预训练好的深度卷积神经网络对待检测车贴区域进行特征提取，将提取出的特征向量和车贴数据库中的特征向量使用余弦距离进行相似度计算，找出相似度大于特定阈值的特征向量；相似度大于特定阈值的特征向量对应的图片即为车辆检索结果；其中，提取出的特征向量为深度卷积特征向量。可选的，所述精修车贴检测框包括：将获取到的车贴区域按照长和宽分别放大1.2倍后进行图像二值化处理，并利用开运算移除由图像噪声形成的斑点以及与边界相连的目标物；对二值图进行膨胀操作并移除小目标连通域；最大连通域即为待检测车贴区域。可选的，所述获取卡口车辆图像中的车窗的车贴区域为：使用训练好的MaskRCNN网络检测出卡口车辆图像中的车窗的车贴区域；如果不存在连通域，则保存训练好的MaskRCNN检测的车贴区域。可选的，所述对卡口车辆图像进行车窗检测为：训练FasterRCNN网络并使用训练后的FasterRCNN网络对卡口车辆图像进行车窗检测。可选的，所述获取卡口车辆图像中的车窗的车贴区域之前，包括训练MaskRCNN网络，在训练MaskRCNN网络时使用标注工具labelme标注出卡口车辆车窗中的车贴区域，具体为：(1)在终端中输入命令>>activatelabelme，打开标注软件，标注完成后产生一个<文件名>.json文件；(2)进入<文件名>.json文件所在目录下，在终端执行命令>>labelme_json_to_dataset<文件名>.json，可得到一个文件夹，里面有五个文件分别为：*.png，info.yaml，label.png，label_viz.png，其中label.png和info.ymal是需要用到的标注信息。可选的，所述使用训练好的MaskRCNN网络检测出卡口车辆图像中的车窗的车贴区域，包括：(1)将使用标注工具labelme标注好车贴区域后得到的label.png和info.yaml输入到ResNet101网络中，其中ResNet101网络由五个部分组成，分别记为[Stage1，Stage2，Stage3，Stage4，Stage5]，其中Stage1部分输出的特征图C1大小为256*256，Stage2部分输出的特征图C2大小为128*128，Stage3部分输出的特征图C3大小为64*64，Stage4部分输出的特征图C4大小为32*32，Stage5部分输出的特征图C5大小为16*16；(2)用特征金字塔结构将提取到的后四个部分[Stage2，Stage3，Stage4，Stage5]的深度卷积特征向量C2，C3，C4，C5重新组合成新的深度卷积特征向量P2，P3，P4，P5，P6；当i＝5,4,3,2，U6＝0时，新的深度卷积特征向量组合计算过程如下式所示：其中：conv表示卷积计算，sum表示逐位求和操作，upsample表示将卷积特征的长和宽分别上采样到原先两倍的操作，pooling表示步长为2的最大池化操作，Ti、Ui为中间参数，不具有实际意义；(3)区域生成网络对P2，P3，P4，P5，P6五个新的卷积特征图中的每一个特征点选取不同尺寸和长宽比的区域并通过非极大值抑制生成感兴趣区域ROI；(4)生成的ROI区域将经过两个ROIAlign部分，其中一个ROIAlign遍历每一个ROI，保持浮点数边界，接着将ROI分割成7*7个单元，在每个单元内的采样点数是4，用双线性内插的方法计算出四个点位置的值，然后对这四个位置的值进行最大池化操作；另一个ROIAlign也遍历每一个ROI，保持浮点数边界并将ROI分割成14*14个单元，在每个单元内的采样点数是4，用双线性内插的方法计算出四个点位置的值，然后对这四个位置的值进行最大池化操作；(5)两个ROIAlign分别输出7*7和14*14大小的卷积特征；其中7*7大小的卷积特征经过两个全连接层后输出一个五维的向量用作分类预测和回归框预测；14*14大小的卷积特征作为掩膜预测网络的输入，通过4个3*3的卷积层和一个2*2的反卷积层将输入的卷积特征上采样到28*28，由于只需要预测车贴一个类别，最后通过1*1的卷积层得到一个28*28*1的掩膜预测特征；掩膜预测特征上每个点的值表示属于前后景的置信度；最后，使用0.5的阈值获取车贴掩膜。可选的，所述将获取到的车贴区域按照长和宽分别放大1.2倍后进行图像二值化处理，包括：(1)将MaskRCNN网络检测出的车贴区域结果按照长和宽分别放大1.2倍并裁减出来；(2)将裁剪出的图像进行灰度化处理，其中灰度值的计算公式为：Gray＝0.299*R+0.587*G+0.114*B；(3)将灰度化后的图像使用全局阈值进行图像二值化。可选的，所述对卡口车辆图像进行车窗检测之前，包括：采用高清卡口系统获取卡口车辆图像。本专利技术的第二个目的在于提供一种上述车辆检索方法在交通领域内的应用。本专利技术有益效果是：解决了目前存在的基于车辆固有属性特征的检索方法对于假(套)牌车辆达不到预期的检索效果的问题，通过选用嫌疑车辆前脸车窗上的车贴作为车辆的一个独有特征来对车辆进行检索，通过训练并使用深度网络模型能够精确有效的检索出数据库中的车辆，满足实际情况中的车辆检索需求。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1本文档来自技高网...

【技术保护点】
1.一种车辆检索方法，其特征在于，所述方法包括：对卡口车辆图像进行车窗检测；获取卡口车辆图像中的车窗的车贴区域；对车贴区域进行车贴检测，所述车贴检测包括将待检测车贴信息与车贴数据库中的车贴信息做对比以得出车辆检索结果；其中车贴数据库中的车贴信息为预先存储并在检测过程中不断补充得到的。

【技术特征摘要】
1.一种车辆检索方法，其特征在于，所述方法包括：对卡口车辆图像进行车窗检测；获取卡口车辆图像中的车窗的车贴区域；对车贴区域进行车贴检测，所述车贴检测包括将待检测车贴信息与车贴数据库中的车贴信息做对比以得出车辆检索结果；其中车贴数据库中的车贴信息为预先存储并在检测过程中不断补充得到的。2.根据权利要求1所述的方法，其特征在于，所述将待检测车贴信息与车贴数据库中的车贴信息做对比，包括：精修车贴检测框，得到待检测车贴区域；使用预训练好的深度卷积神经网络对待检测车贴区域进行特征提取，将提取出的特征向量和车贴数据库中的特征向量使用余弦距离进行相似度计算，找出相似度大于特定阈值的特征向量；相似度大于特定阈值的特征向量对应的图片即为车辆检索结果；其中，提取出的特征向量为深度卷积特征向量。3.根据权利要求2所述的方法，其特征在于，所述精修车贴检测框包括：将获取到的车贴区域按照长和宽分别放大1.2倍后进行图像二值化处理，并利用开运算移除由图像噪声形成的斑点以及与边界相连的目标物；对二值图进行膨胀操作并移除小目标连通域；最大连通域即为待检测车贴区域。4.根据权利要求3所述的方法，其特征在于，所述获取卡口车辆图像中的车窗的车贴区域为：使用训练好的MaskRCNN网络检测出卡口车辆图像中的车窗的车贴区域；如果不存在连通域，则保存训练好的MaskRCNN检测的车贴区域。5.根据权利要求4所述的方法，其特征在于，所述对卡口车辆图像进行车窗检测为：训练FasterRCNN网络并使用训练后的FasterRCNN网络对卡口车辆图像进行车窗检测。6.根据权利要求5所述的方法，其特征在于，所述获取卡口车辆图像中的车窗的车贴区域之前，包括训练MaskRCNN网络，在训练MaskRCNN网络时使用标注工具labelme标注出卡口车辆车窗中的车贴区域，具体为：(1)在终端中输入命令>>activatelabelme，打开标注软件，标注完成后产生一个<文件名>.json文件；(2)进入<文件名>.json文件所在目录下，在终端执行命令>>labelme_json_to_dataset<文件名>.json，可得到一个文件夹，里面有五个文件分别为：*.png，info.yaml，label.png，label_viz.png，其中label.png和info.ymal是需要用到的标注信息。7.根据权利要求6所述的方法，其特征在于，所述使用训练好的MaskRCNN网络检测出卡口车辆图像中的车窗的车贴区域，包括：(1)将使用标注工具labelme标注好车贴区域后得到的label.png和info.yaml输入到ResNet101网络中，其中ResNet101网络由五个部分组成，分别记为[Stage1，Stage2，Stage3...

【专利技术属性】
技术研发人员：陈莹，张超，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏,32