一种以图搜车的方法及系统技术方案

本发明专利技术提供了一种以图搜车的方法及系统，其方法包括，预先训练用于车辆过滤的模型，所述模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型、特征区域分类模型；获取待检测目标车辆的正面俯拍图，检测所述目标车辆的车牌信息，所述检索结果为：有牌车或无牌车；根据所述目标车辆车牌信息的不同情况，启动有牌车检索或无牌车检索。通过多种模型先进行过滤以降低干扰因素的影响，然后再使用特征区域分类模型进行特征比对排序。并且，根据使用场景使用了不同的特征比对模型。同时，根据车辆样本的特性而专门设计特征比对模型，在应用过程中保证准确率、显存占用、运行速度之间的平衡。

【技术实现步骤摘要】
一种以图搜车的方法及系统本技术方案涉及车辆监控领域，尤其涉及一种分类以图搜车的方法及系统。
技术介绍
随着计算机视觉技术的研究与应用，对目标进行跟踪检测以其智能性和可靠性可被用在政府管控、违章锁定、嫌疑人跟等现实场景，目前已经应用于交通、公安、军队、能源等多个领域，更有进一步深入发展的趋势。以图搜车是一种基于图像的车辆检索技术，广泛的应用于交通车辆管理、犯罪嫌疑人追踪等领域，目的是替代人工从海量数据中检索出目标车辆。以图搜车的技术路线可以总结为：提取目标车辆图片与测试库所有图片的特征，然后根据相似度进行排序。在较早的一些方案中，许多人工的特征被设计出来以提取车辆的特征。CN104361087A《一种基于图像的机动车辆检索方法及装置》把车辆的外在轮廓划分为多个子窗口，对子窗口提取SIFT(Scale-invariantfeaturetransform,尺度不变特征变换)、HOG(HistogramofOrientedGradient,方向梯度直方图)等特征，最后对所有窗口的特征进行融合。传统的检索方法通常采取SITF、HOG等人工设计的特征，具有运行速度快、可解释性强等优点。但是，在实际应用中仍然会出现对不同场景泛化性差、对遮挡、光照变化、角度变化等干扰鲁棒性差等缺点。随着深度学习技术的提升以及GPU(显卡)计算能力的不断增强，人脸识别、商品检索等应用的精度得到了大幅度的提升。同时，一些深度学习的方法也开始应用到了以图搜车中。CN106156750A《一种基于卷积神经网络的以图搜车方法》中，收集不同车辆的图像集，相同的车辆作为正样本对，不同的车辆作为负样本对，在经典网络上进行训练模型以提取特征进行匹配排序。CN106156750A《一种基于卷积神经网络的以图搜车方法》仅仅使用了单一的模型提取特征进行比对排序，并且使用场景没有细分。因此，实际应用中会出现泛化性差，并且容易受到光照、姿态、遮挡等干扰因素的影响。同时，现有技术使用的经典特征比对模型，比如Resnet(残差网络)、Inception、VGG等)虽然准确率较高，但是在实际应用中具有显存占用大、运行时间长等缺点，从而影响产品的实时性与经济性。
技术实现思路
本技术方案提出了一种分类以图搜车的方法及系统，首先通过多种模型先进行过滤以降低干扰因素的影响，然后再使用模型进行特征比对排序。并且，根据使用场景使用了不同的特征比对模型。同时，根据车辆样本的特性而专门设计特征比对模型，在应用过程中保证准确率、显存占用、运行速度之间的平衡。本专利技术公开了一种以图搜车的方法，其特征在于，包括，步骤A，预先训练用于车辆过滤的模型，所述模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型、特征区域分类模型；步骤B，获取待检测目标车辆的正面俯拍图，检测所述目标车辆的车牌信息，所述检索结果为：有牌车或无牌车；步骤C，根据所述目标车辆车牌信息的不同情况，启动有牌车检索或无牌车检索，所述有牌车检索或无牌车检索包括，步骤C-1，获取所述目标车辆(有牌车或无牌车)的图像信息，所述图像信息包括车辆类型信息、颜色信息、子品牌信息，特征提取区域；步骤C-2，对所述目标车辆的图像信息输入车辆过车记录原始测试集，进行车辆类型、车辆颜色、车辆子品牌的过滤，获得第一剩余测试集；步骤C-3，将所述目标车辆图像信息中特征提取区域与所述第一剩余测试集中车辆的特征提取区域使用特征区域分类模型分别提取特征，通过相似度对比排序筛选出置信度最高的车辆。更进一步，所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为车脸分类模型；所述步骤C-1中特征提取区域为车脸区域。更进一步，所述车脸区域为车辆引擎盖下部区域。更进一步，所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为全车特征分类模型；所述步骤C-1中特征提取区域为全车区域。更进一步，若所述目标车辆为有牌车，则：所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为车脸分类模型；所述步骤C-1中特征提取区域为车脸区域。更进一步，若所述目标车辆为无牌车，则：所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为全车分类模型；所述步骤C-1中特征提取区域为全车区域，所述全车区域为所述待检测目标车辆的最小外接矩形；在所述步骤C-2及步骤C-3之间还包括步骤C-21，将所述第一剩余测试集中车牌信息作去除处理，获得第二剩余测试集；在所述步骤C-3中将所述第一剩余测试集替换为所述第二剩余测试集。更进一步，所述预先训练用于车辆过滤的多种模型是通过卡口摄像机、照相机拍摄到的车辆图像。更进一步，所述步骤A中所述特征区域分类模型使用512维全连接层作为所述测试集图片的特征向量，所述步骤C-1中所述特征区域信息为使用512维全连接层作为所述目标车辆的特征向量。本专利技术还公开了一种以图搜车的系统，包括，训练单元，用于预先训练用于车辆过滤的模型，所述模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型、特征区域分类模型；第一获取单元，用于获取待检测目标车辆的正面俯拍图；检测单元，用于检测所述目标车辆的车牌信息，所述检索结果为：有牌车或无牌车；第二获取单元，用于获取所述目标车辆(有牌车或无牌车)的图像信息，所述图像信息包括车辆类型信息、颜色信息、子品牌信息、特征区域信息；过滤单元，用于将所述目标车辆的图像信息输入车辆过车记录原始测试集，进行车辆类型、车辆颜色、车辆子品牌的过滤，获得第一剩余测试集；比对单元，用于将所述目标车辆图像信息中特征提取区域与所述第一剩余测试集中车辆的特征提取区域使用特征区域分类模型分别提取特征，通过相似度对比排序筛选出置信度最高的车辆。更进一步，在所述过滤单元和所述比对单元之间还包括去除单元，用于将所述第一剩余测试集中车牌信息作去除处理，获得第二剩余测试集。通过本专利技术技术方案，通过深度学习的算法预先训练用于车辆过滤的多种模型，在获取目标车辆的图像信息后首先将目标车辆区分为有牌车或无牌车，其次对测试集进行级联过滤，最后通过提取特定区域特征信息进行相似度比对筛选出置信度最高的车辆以完成以图搜车。本实施例减少了后期深度学习提取特征比对的难度，保证了准确率、显存占用、运行速度之间的平衡。附图说明图1为本专利技术实施例1的流程示意图；图2为本专利技术实施例2的流程示意图；图3为本专利技术实施例3的流程示意图；图4为本专利技术实施例4的结构示意图；图5为本专利技术实施例5的结构示意图；图6为本专利技术实施例6的结构示意图。具体实施方式在介绍本专利技术具体实施例之前，首先对本技术方案的思路简要概括：首先介绍本专利技术涉及的两个概念：①分类模型，预先训练用于车辆过滤的模型，在图像数据输入模型后输出标签，输出标签包含在训练集标签中，比如车辆颜色模型，车辆类型模型等；②识别模型，一般训练样本包含的类别标签往往无法完全覆盖测试样本的标签，训练分类模型只是为了制作一个特征向量提取器，最后计算目标图片与测试图片特征向量之间的距离作为相似度。本专利技术以图搜车属于数据识别的问题，具体而言，通过输入一辆车的图片，找出这辆车的其它图片。理论上可以训练一个特征提取模型就可以进行特征比对排序。然而现实的情况是，为每一辆车建立训练集需要消耗大量的人力成本，同时，训练集能覆盖的车辆是有限的，比如训练集中有10本文档来自技高网...

【技术保护点】
1.一种以图搜车的方法，其特征在于，包括，步骤A，预先训练用于车辆过滤的模型，所述模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型、特征区域分类模型；步骤B，获取待检测目标车辆的正面俯拍图，检测所述目标车辆的车牌信息，所述检索结果为：有牌车或无牌车；步骤C，根据所述目标车辆车牌信息的不同情况，启动有牌车检索或无牌车检索，所述有牌车检索或无牌车检索包括，步骤C‑1，获取所述目标车辆(有牌车或无牌车)的图像信息，所述图像信息包括车辆类型信息、颜色信息、子品牌信息、特征提取区域；步骤C‑2，将所述目标车辆的图像信息输入车辆过车记录原始测试集，进行车辆类型、车辆颜色、车辆子品牌的过滤，获得第一剩余测试集；步骤C‑3，对所述目标车辆图像信息中特征提取区域与所述第一剩余测试集中车辆的特征提取区域使用所述特征区域分类模型分别提取特征，通过相似度对比排序筛选出置信度最高的车辆。

【技术特征摘要】
1.一种以图搜车的方法，其特征在于，包括，步骤A，预先训练用于车辆过滤的模型，所述模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型、特征区域分类模型；步骤B，获取待检测目标车辆的正面俯拍图，检测所述目标车辆的车牌信息，所述检索结果为：有牌车或无牌车；步骤C，根据所述目标车辆车牌信息的不同情况，启动有牌车检索或无牌车检索，所述有牌车检索或无牌车检索包括，步骤C-1，获取所述目标车辆(有牌车或无牌车)的图像信息，所述图像信息包括车辆类型信息、颜色信息、子品牌信息、特征提取区域；步骤C-2，将所述目标车辆的图像信息输入车辆过车记录原始测试集，进行车辆类型、车辆颜色、车辆子品牌的过滤，获得第一剩余测试集；步骤C-3，对所述目标车辆图像信息中特征提取区域与所述第一剩余测试集中车辆的特征提取区域使用所述特征区域分类模型分别提取特征，通过相似度对比排序筛选出置信度最高的车辆。2.根据权利要求1所述的以图搜车的方法，其特征在于，所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为车脸分类模型；所述步骤C-1中特征提取区域为车脸区域。3.根据权利要求2所述的以图搜车的方法，其特征在于，所述车脸区域为车辆引擎盖下部区域。4.根据权利要求1所述的以图搜车的方法，其特征在于，所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为全车特征分类模型；所述步骤C-1中特征提取区域为全车区域。5.根据权利要求1所述的以图搜车的方法，其特征在于，若所述目标车辆为有牌车，则：所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为车脸分类模型；所述步骤C-1中特征提取区域为车脸区域。6.根据权利要求1所述的以图搜车的方法，其特征在于，若所述目标车辆为无牌车，则：所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为...

【专利技术属性】
技术研发人员：黎邹邹，毛亮，李超，熊伟，郑康元，文莉，薛坤南，黄仝宇，汪刚，宋一兵，侯玉清，刘双广，
申请(专利权)人：高新兴科技集团股份有限公司，
类型：发明
国别省市：广东,44