一种基于多任务深度卷积神经网络的车辆颜色识别系统技术方案

一种基于多任务深度卷积神经网络的车辆颜色识别系统，包括安装在道路行车线上方的高清摄像机、交通云服务器和车辆颜色的视觉检测子系统；车辆颜色的视觉检测子系统包括车辆定位检测模块、车牌定位检测模块、车牌背景颜色识别模块、色差计算模块、车辆颜色校正模块和车辆颜色识别模块，车辆定位检测模块、车牌定位检测模块和车辆颜色识别模块共享同一个Faster R‑CNN的深度卷积神经网络，采用深度卷积神经网络快速分割出道路上的车辆，并用车辆图像进一步采用深度卷积神经网络快速分割出道路上的车牌，然后再给出这些车辆和车牌在道路图像中所占的空间位置信息。本发明专利技术提供一种检测精度较高、鲁棒性较高的多任务深度卷积神经网络在车辆颜色视觉检测系统。

【技术实现步骤摘要】
一种基于多任务深度卷积神经网络的车辆颜色识别系统
本专利技术涉及人工智能、数字图像处理、卷积神经网络和计算机视觉在车辆颜色识别方面的应用，属于智能交通领域。
技术介绍
颜色是车辆的一种重要外观特征。现实世界中，由于存在光源色温、光线强弱、拍摄角度、摄像机的设置等诸多不确定因素的影响，使得最终获取的结果同理想条件相比，车辆颜色会存在一定程度的偏色；现有已公开的车辆颜色识别方法对于车辆姿态变化和车辆所处的光照环境变化非常敏感，当车辆所处的光照环境变化时，现有的车辆颜色识别方法的颜色识别准确度急剧下降，不能准确识别车辆颜色。申请号为200810041097.5的中国专利申请公开的“特征区域的定位方法、车身深浅色与车身颜色的识别方法”提供了一种车辆颜色识别方法、车辆颜色深浅度的识别方法。包括如下步骤：1、该专利根据图像的纹理特征与结构特征，构建复杂的能量函数，搜索能量最大的点；2、根据能量最大的点定位车辆颜色以及车辆颜色深浅度的识别区域；3、识别区域内的像素点颜色以及颜色深浅度，并进行统计最终得到识别区域的颜色以及颜色深浅度。但是该专利在前期样本采集阶段，并未对不同光照情况下的车辆颜色识别进行处理；在选取特征向量时候通过多个颜色空间来得到不同的特征属性；在训练模型时候则使用多个类型的分类器来训练；定位识别区域的时候只选择了车前盖区域，对于可能的反光现象未作出处理，使得最终的车辆颜色识别和车辆颜色深浅识别产生一定的偏差。申请号为200810240292.0的中国专利申请公开的“一种车辆视频图像中车身颜色识别方法及系统”提供了一种车辆视频图像中车身颜色识别方法。该专利在训练模型时候采取了分步式训练，包括如下步骤：1、根据颜色模板采用聚类对车身样本进行粗分得到某种颜色的样本或者多种相近颜色的混合样本；2、采用最近邻分类方法对混合样本进行细分；3、根据训练得到的模型对车辆颜色进行粗识别；4、采用最近邻分类方法进行细致识别。然而该专利同样尚未考虑不同光照情况下车辆颜色产生的变化；在选取特征向量时候也是通过HSV、YIQ、YCbCr三种颜色空间且分步骤来使用；在训练模型时候则是采用了聚类和最近邻分类技术相结合训练模型；车辆颜色识别阶段并未说明是采取何种策略对识别区域内的各像素点的颜色如何处理；而且该专利只说明了车辆颜色识别方法，并未对车辆颜色深浅度识别做出说明。目前，车身颜色的识别一般包含两个主要的模块：一个是待识别区域的检测和定位、车身颜色参考区域的确定，另一个是对参考区域的图像进行颜色分类和识别。待识别区域的检测和定位有多种方式，《车辆颜色识别方法》103544480A、《基于颜色直方图的车身颜色识别方法》105160691A和《一种车身颜色识别方法及装置》105354530A中，首先检测和定位车牌，然后根据车牌位置信息，确定车辆颜色识别参考区域。《车辆颜色的识别方法及装置》102737221B中，根据图像的纹理和结构信息定位车辆颜色识别的参考区域，之后再进行主识别区域和辅助识别区域的定位。《一种车身颜色识别方法》105005766A中，根据视频中运动目标检测的方法，确定运动目标的外接矩形作为颜色识别的参考区域。《一种自动识别道路卡口视频及图片中的车辆颜色的方法》104680195A中，没有明确描述颜色候选区域的定位方式，只明确了候选区域为多块，主要集中在发动机盖上。上述视觉检测技术属于前深度学习时代的视觉检测技术，存在着检测精度和检测鲁棒性不高的问题，尤其是光照的变化及摄像机成像条件等关键问题还未很好解决。此外，上述几个专利内容只是披露了一些技术概要，实际应用中尚有很多技术细节和关键问题尚未涉及，尤其是针对《道路交通安全法》的各种细节问题的解决方案。最近几年深度学习在计算机视觉领域的技术得到了迅速的发展，深度学习能利用大量的训练样本和隐藏层逐层深入地学习图像的抽象信息，更全面直接地获取图像特征。数字图像是以矩阵来描述的，卷积神经网络更好地从局部信息块出发，进而描述图像的整体结构，故在计算机视觉领域，深度学习方法中大多采用卷积神经网络来解决问题。围绕着提高检测精度和检测时间，深度卷积神经网络技术从R-CNN，FasterR-CNN到FastererR-CNN。具体表现为进一步精度提升、加速、端到端及更实用化，几乎覆盖了从分类到检测、分割、定位各个领域。深度学习技术运用于车辆颜色视觉检测将是一个非常有实际应用价值的研究领域。人的视觉系统具有颜色恒常性，能从某些变化的光照环境和成像条件下获取物体表面颜色的不变特征。但是卡口监控成像设备不具有这种“调节”功能，不同的光照环境，将会导致采集的图像的颜色与物体真实颜色之间存在一定程度的偏差。这种偏差将会影响后续车辆颜色分析的准确度和鲁棒性。所以寻求合适的颜色校正算法，消除光照环境等对颜色显现的影响，使经过处理后的图像能正确反映物体的真实颜色已成为当前的一个研究热点。国家标准GA36-2014规定了机动车号牌各种细节，其中，大型民用汽车：黄底黑字；小型民用汽车：蓝底白字；武警专用汽车：白底红“WJ”、黑字；其它外籍汽车：黑底白字；使、领馆外籍汽车：黑底白字及空心“使”字标志；试车牌照：白底红字，数字前有“试”字标志；临时牌照：白底红字，数字前有“临时”二字；汽车补用牌照：白底黑字。车牌的字符之间间隔为12mm。这些关于车牌的规定，尤其是颜色方面的规定，给车辆颜色识别带来了一个参考标准。由于在同一光照条件下，车辆颜色和车牌颜色会出现相同层度的色差；通过检测出车牌颜色的色差来矫正车辆颜色，这对于提升车辆颜色的识别率具有十分重要的意义。
技术实现思路
为了克服已有车辆颜色的视觉检测方式的检测精度较低、检测鲁棒性不高的不足，本专利技术提供一种检测精度较高、鲁棒性较高的多任务深度卷积神经网络在车辆颜色视觉检测系统。本专利技术解决其技术问题所采用的技术方案是：一种基于多任务深度卷积神经网络的车辆颜色识别系统，包括安装在道路行车线上方的高清摄像机、交通云服务器和车辆颜色的视觉检测子系统；所述的高清摄像机用于获取道路上的视频数据，配置在行车线的上方，通过网络将道路上的视频图像数据传输给所述的交通云服务器；所述的交通云服务器用于接收从所述的高清摄像机所获得的道路上的视频数据，并将其递交给所述的车辆颜色的视觉检测系统进行车辆颜色识别；所述的车辆颜色的视觉检测子系统包括车辆定位检测模块、车牌定位检测模块、车牌背景颜色识别模块、色差计算模块、车辆颜色校正模块和车辆颜色识别模块，所述的车辆定位检测模块、所述的车牌定位检测模块和所述的车辆颜色识别模块共享同一个FasterR-CNN的深度卷积神经网络，采用深度卷积神经网络快速分割出道路上的车辆，并用车辆图像进一步采用深度卷积神经网络快速分割出道路上的车牌，然后再给出这些车辆和车牌在道路图像中所占的空间位置信息。进一步，车辆和车牌分割及定位由两个模型组成，一个模型是生成RoI的选择性搜索网络；另一个模型是FasterR-CNN车辆和车牌目标检测网络；在二分类识别网络后实现一个多层次、多标签、多特征融合的逐层递进的多任务学习网络；所述的选择性搜索网络，即RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所本文档来自技高网...

【技术保护点】
一种基于多任务深度卷积神经网络的车辆颜色识别系统，其特征在于：包括安装在道路行车线上方的高清摄像机、交通云服务器和车辆颜色的视觉检测子系统；所述的高清摄像机用于获取道路上的视频数据，配置在行车线的上方，通过网络将道路上的视频图像数据传输给所述的交通云服务器；所述的交通云服务器用于接收从所述的高清摄像机所获得的道路上的视频数据，并将其递交给所述的车辆颜色的视觉检测系统进行车辆颜色识别；所述的车辆颜色的视觉检测子系统包括车辆定位检测模块、车牌定位检测模块、车牌背景颜色识别模块、色差计算模块、车辆颜色校正模块和车辆颜色识别模块，所述的车辆定位检测模块、所述的车牌定位检测模块和所述的车辆颜色识别模块共享同一个Faster R‑CNN的深度卷积神经网络，采用深度卷积神经网络快速分割出道路上的车辆，并用车辆图像进一步采用深度卷积神经网络快速分割出道路上的车牌，然后再给出这些车辆和车牌在道路图像中所占的空间位置信息。

【技术特征摘要】
1.一种基于多任务深度卷积神经网络的车辆颜色识别系统，其特征在于：包括安装在道路行车线上方的高清摄像机、交通云服务器和车辆颜色的视觉检测子系统；所述的高清摄像机用于获取道路上的视频数据，配置在行车线的上方，通过网络将道路上的视频图像数据传输给所述的交通云服务器；所述的交通云服务器用于接收从所述的高清摄像机所获得的道路上的视频数据，并将其递交给所述的车辆颜色的视觉检测系统进行车辆颜色识别；所述的车辆颜色的视觉检测子系统包括车辆定位检测模块、车牌定位检测模块、车牌背景颜色识别模块、色差计算模块、车辆颜色校正模块和车辆颜色识别模块，所述的车辆定位检测模块、所述的车牌定位检测模块和所述的车辆颜色识别模块共享同一个FasterR-CNN的深度卷积神经网络，采用深度卷积神经网络快速分割出道路上的车辆，并用车辆图像进一步采用深度卷积神经网络快速分割出道路上的车牌，然后再给出这些车辆和车牌在道路图像中所占的空间位置信息。2.如权利要求1所述的基于多任务深度卷积神经网络的车辆颜色识别系统，其特征在于：车辆和车牌分割及定位由两个模型组成，一个模型是生成RoI的选择性搜索网络；另一个模型是FasterR-CNN车辆和车牌目标检测网络；在二分类识别网络后实现一个多层次、多标签、多特征融合的逐层递进的多任务学习网络；所述的选择性搜索网络，即RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的目标建议框的目标指的是车辆对象和车牌对象；对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即GroundTruth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签；分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；遵循FasterR-CNN中的多任务损失，最小化目标函数；对一个图像的损失函数定义为：这里，i是一个anchor的索引，pi是anchor是第i目标的预测概率，如果anchor为正，GT标签就是1，如果anchor为负，就是0；ti是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，这里λ＝10，Ncls是cls项的归一化值为mini-batch的大小，这里Ncls＝256，Nreg是reg项的归一化值为anchor位置的数量，Nreg～2,400，分类损失函数Lcls是三个类别，即车辆目标对象、车牌目标对象vs.道路背景的对数损失：式中，Lcls为分类损失函数，Pi为anchor是第i目标的预测概率；为真正目标包围盒的第i目标的预测概率；对于回归损失函数Lreg，用以下函数定义：式中，Lreg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smoothL1；式中，smoothL1为smoothL1损失函数，x为变量；FasterR-CNN网络，在输入图像经过深度卷积神经网络后得到特征图，依据特征图以及RPN网络则可以得到相应的RoIs，最后则通过RoI池化层；其中RoI，即感兴趣区域，指的就是车辆目标对象、车牌目标对象；对于FasterR-CNN网络，输入是N个特征映射和R个RoI；N个特征映射来自于最后一个卷积层，每个特征映射的大小都是w×h×c；每个RoI是一个元组(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐标，h,w分别是高和宽；输出则由最大池化得到的特征映射；将原图中的RoI与特征图中的块对应起来；将特征图下采样为固定大小，然后再传入全连接。3.如权利要求2所述的基于多任务深度卷积神经网络的车辆颜色识别系统，其特征在于：所述选择性搜索网络和FastR-CNN都是独立训练的，使用4步训练算法，通过交替优化来学习共享的特征；第一步，依上述训练RPN，该网络用ImageNet预训练的模型初始化，并端到端微调用于区域建议任务；第二步，利用第一步的RPN生成的建议框，由FastR-CNN训练一个单独的检测网络，这个检测网络同样是由ImageNet预训练的模型初始化的，这时候两个网络还...

【专利技术属性】
技术研发人员：汤一平，王辉，吴越，温晓岳，柳展，
申请(专利权)人：银江股份有限公司，
类型：发明
国别省市：浙江,33