自然场景中的车标识别方法技术

本发明专利技术公开了一种自然场景中的车标识别方法，包括如下步骤：采集包含车标的自然图像，对自然图像上的车标进行标定，建立标定车标后的自然图像数据库；对自然图像进行目标检测，检测出其中的车辆，分割并单独保存车辆图像；在分割出的车辆图像上检测出车牌区域，并找出车牌四顶点；根据车牌四顶点对分割出的车辆图像使用仿射变换矩阵，将具有角度倾斜的图像修正；在修正后的图像上，利用车牌与车标相对位置关系获取车标区域；基于车标区域，在keras框架上使用深度学习进行车标分类的训练，生成车标分类模型；输入待分类车标图像即可进行车标分类。能适应复杂背景，解决了包含多辆汽车的车标识别问题，具有较高的准确率以及适用性。

【技术实现步骤摘要】
自然场景中的车标识别方法
本专利技术属于车标识别
，特别是涉及一种自然场景中的车标识别方法。
技术介绍
近年来，智能监控变得越来越普及。在涉及汽车违法犯罪的事件中，车辆的信息采集格外重要。为了更好的采集车辆信息，人们在城市路口、高速公路出入口设置了很多摄像头，对路过的车辆进行信息采集。以车牌、车型等信息来监控车辆在打击涉及汽车的违法犯罪事件中，发挥着重要作用。但车牌恶意遮挡、车牌过脏、车辆套牌以及车型识别不准确等现象时常发生，这些导致了车辆识别方法的可靠性受到了很大挑战；此外，交通部门管理数以百万计的汽车时，缺少对汽车分类管理的方法。因此，为了更为精准的识别和管理汽车，人们想到了获取车辆的车标信息来进行识别。有了车标信息，就能够知道汽车的品牌，这不但可为以车牌、车型作为识别车辆的方法提供辅助识别作用，还能作为处理大量汽车时对其分类的依据。因此车标的识别具有很高的价值。先兴起的车标识别，由人工对图像进行审查。这一工作模式需要排查的车辆数以万计，需要耗费大量的人力物力。基于以上背景，国内外有学者提出使用近年来非常流行的深度学习方法，机器智能地来进行分类任务。这种方法较为先进，在各个领域进行分类表现出的性能都可圈可点。但到了车标识别问题上，由于在实际的自然场景拍摄中，摄像头距离汽车通常非常远，加上汽车的车标本身非常小，这就导致拍摄所得的自然场景中，车标所占的像素非常少。另外在拍摄得到自然场景图像时，汽车往往都是处于高速运动中，特别是在高速公路上，这就导致拍摄得到的图像很可能会出现模糊。再者由于自然场景拍摄时，受到光线、天气、顶点度等众多因素的影响，所得图像质量下降。此外，现实中一幅远距离拍摄图像通常不止包含一辆汽车。
技术实现思路
本专利技术的目的在于针对现有技术的不足之处，提供一种准确率高、可靠性好且实用性强的自然场景中的车标识别方法。本专利技术提供的这种自然场景中的车标识别方法，包括如下步骤：步骤一、采集包含车标的自然图像，对自然图像上的车标进行标定，建立标定车标后的自然图像数据库；步骤二、对自然图像进行目标检测，检测出其中的车辆，分割并单独保存车辆图像；步骤三、在分割出的车辆图像上检测出车牌区域，并找出车牌四顶点；步骤四、根据车牌四顶点对分割出的车辆图像使用仿射变换矩阵，将具有角度倾斜的图像修正；步骤五、在修正后的图像上，利用车牌与车标相对位置关系获取车标区域；步骤六、基于车标区域，在keras框架上使用深度学习进行车标分类的训练，生成车标分类模型；步骤七、输入待分类车标图像，进行步骤二至步骤五，再利用步骤六训练好的模型即可进行车标分类。进一步的，在所述步骤一中，使用分辨率在3264*2248到5120*3840之间的摄像机拍摄图像，并利用labelme在拍摄的图像上采用矩型框对车标进行标定，保存标定后图像形成所述自然图像数据库。相应的，在所述步骤二中，在Tensorflow环境中使用yolov3小目标检测算法对自然图像中的车辆进行检测，检测出车辆后，将车辆单独分割成一幅图像并保存。在一个具体实施方式中，在所述步骤三中，车牌四顶点的确定方法为：以图像左下角为原点，以图像水平方向为x轴、竖直方向为y轴，建立图像坐标系，使用直线x＝k及y＝k对图像进行扫描，k从0开始赋值，每次递增1，当直线x＝k与车牌区域出现重合时，取y值最小的点P1作为车牌的一个顶点；当直线x＝k与车牌区域不再重合时，取x＝k-1时，与车牌区域重合点中y值最大的点P2作为车牌的一个顶点；当直线y＝k与车牌区域出现重合时，取x值最大的点P3作为车牌的一个顶点；当直线y＝k与车牌区域不再重合时，取y＝k-1时，与车牌区域重合点中x值最小的点P4作为车牌的一个顶点。相配套的，将所述步骤三中的四个顶点重定义为视觉直观感受上的左下顶点、右下顶点、左上顶点、右下顶点，重定义的具体步骤为：首先，计算P1、P3之间的欧氏距离D(P1，P3)以及P1、P4之间的欧氏距离D(P1，P4)，式中xi,yi分别为点Pi的横坐标值与纵坐标值，若D(P1，P3)＞D(P1，P4)则采用如下算式对车牌四顶点坐标重新赋值：若D(P1，P3)＜D(P1，P4)则采用如下算式对车牌四顶点坐标重新赋值：点a为人体视觉直观感受的左下顶点；点b为人体视觉直观感受的右下顶点；点c为人体视觉直观感受的左上顶点；点d为人体视觉直观感受的右上顶点。作为优选在所述步骤四中：利用进行修正，式中xi,yi分别为点Pi的横坐标值与纵坐标值，点A，C，D分别为仿射变换后点a，c，d的对应点。作为优选，在所述步骤五中，车标区域为矩形区域，其左上顶点与右下顶点的坐标根据公式确定，式中xi,yi分别为点Pi的横坐标值与纵坐标值，点m为车标感兴趣区域的左上顶点，点n为车标感兴趣区域的右下顶点。在一个具体实施方式中，在所述步骤六中，挑选包含30类车标的自然图像，将每类100幅自然图像作为训练集送入resnet-50网络进行训练，生成车标分类模型。本专利技术先建立自然图像数据库，其次在自然图像中检测出车辆并分割单独保存车辆图像，接着在车辆图像上检测出车牌区域，并找出车牌四顶点，然后根据车牌四顶点进行图像修正，再在修正后的图像上获取车标区域，在keras框架上使用深度学习进行车标分类的训练，生成车标分类模型即可对待分类车标图像进行车标识别。针对车标待识别数据，经车辆的检测、车牌的检测、车辆图像的修正、车标感兴趣区域的提取后，使用训练好的分类模型进行车标分类，完成识别任务。能够更加适应自然场景中的复杂背景，解决了现实拍摄大多数图像中包含多辆汽车的车标识别问题，具有较高的准确率以及适用性。附图说明图1为本专利技术一个优选实施例的流程框图。具体实施方式如图1所示，本实施例公开的这种这种自然场景中的车标识别方法按如下七步进行。步骤一、采集包含有车标的自然图像，对自然图像进行车标的标定，建立自然图像数据库。本步骤中采用分辨率在3264*2248到5120*3840之间的摄像机在自然场景中对车标进行数据的采集。为了后续使用深度学习分类训练时数据均衡，在采集过程中，尽量考虑车标种类、光线强弱、拍摄顶点度、拍摄距离这些因素，使得每一类数据相对均衡。使用以上方法在自然场景中采集10000幅图像左右的数据。数据采集完毕后，采用labelme工具对采集的自然图像中的车标进行标定。在标定时统一采用矩形框对车标进行标定。每标定一个图像文件，均生成一个与之对应的json格式文件。步骤二、对自然图像进行目标检测，检测出其中的车辆，分割并单独保存车辆图像。本步骤中对标定后的自然图像，在Tensorflow环境中使用yolov3小目标检测算法对其中的车辆进行检测，检测出车辆后，将车辆单独分割成一幅图像并保存。...

【技术保护点】
1.一种自然场景中的车标识别方法，其特征在于，该方法包括如下步骤：/n步骤一、采集包含车标的自然图像，对自然图像上的车标进行标定，建立标定车标后的自然图像数据库；/n步骤二、对自然图像进行目标检测，检测出其中的车辆，分割并单独保存车辆图像；/n步骤三、在分割出的车辆图像上检测出车牌区域，并找出车牌四顶点；/n步骤四、根据车牌四顶点对分割出的车辆图像使用仿射变换矩阵，将具有角度倾斜的图像修正；/n步骤五、在修正后的图像上，利用车牌与车标相对位置关系获取车标区域；/n步骤六、基于车标区域，在keras框架上使用深度学习进行车标分类的训练，生成车标分类模型；/n步骤七、输入待分类车标图像，进行步骤二至步骤五，再利用步骤六训练好的模型即可进行车标分类。/n

【技术特征摘要】
1.一种自然场景中的车标识别方法，其特征在于，该方法包括如下步骤：
步骤一、采集包含车标的自然图像，对自然图像上的车标进行标定，建立标定车标后的自然图像数据库；
步骤二、对自然图像进行目标检测，检测出其中的车辆，分割并单独保存车辆图像；
步骤三、在分割出的车辆图像上检测出车牌区域，并找出车牌四顶点；
步骤四、根据车牌四顶点对分割出的车辆图像使用仿射变换矩阵，将具有角度倾斜的图像修正；
步骤五、在修正后的图像上，利用车牌与车标相对位置关系获取车标区域；
步骤六、基于车标区域，在keras框架上使用深度学习进行车标分类的训练，生成车标分类模型；
步骤七、输入待分类车标图像，进行步骤二至步骤五，再利用步骤六训练好的模型即可进行车标分类。


2.如权利要求1所述的自然场景中的车标识别方法，其特征在于：在所述步骤一中，使用分辨率在3264*2248到5120*3840之间的摄像机拍摄图像，并利用labelme在拍摄的图像上采用矩型框对车标进行标定，保存标定后图像形成所述自然图像数据库。


3.如权利要求1所述的自然场景中的车标识别方法，其特征在于：在所述步骤二中，在Tensorflow环境中使用yolov3小目标检测算法对自然图像中的车辆进行检测，检测出车辆后，将车辆单独分割成一幅图像并保存。


4.如权利要求1所述的自然场景中的车标识别方法，其特征在于：在所述步骤三中，车牌四顶点的确定方法为：
以图像左下角为原点，以图像水平方向为x轴、竖直方向为y轴，建立图像坐标系，
使用直线x＝k及y＝k对图像进行扫描，
k从0开始赋值，每次递增1，当直线x＝k与车牌区域出现重合时，取y值最小的点P1作为车牌的一个顶点；
当直线x＝k与车牌区域不再重合时，取x＝k-1时，与车牌区域重合点中y值最大的点P2作为车牌的一个顶点；

【专利技术属性】
技术研发人员：邹北骥，雷太航，廖望旻，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南;43