一种基于多层特征的光滑神经网络下车辆24色识别方法技术

本发明专利技术公开了一种基于多层特征的光滑神经网络用于车辆24色长尾识别方法，该网络包括特征提取、多尺度特征融合、建议框生成和光滑调制四个部分，涉及机器学习的图像处理和目标检测技术领域，能够提升在智能交通管理和刑侦辅助判案中的车辆颜色识别问题。具体方案为：首先采集城市道路监控视频共100小时，截取图像10091张，每张图像包含多色车辆，涵盖24种颜色类型，包括红色、暗红色、粉红色、橙色、暗橙色、橙红色、黄色、柠檬黄、土黄色、绿色、暗绿色、草绿色、青色、蓝色、暗蓝色、紫色、黑色、白色、银灰色、灰色、深灰色、香槟色、棕色、深棕色，数据库呈长尾分布；其次对图像进行去雾、光照调整等预处理操作；然后通过逐层可视化和煅烧实验解释了网络设置的科学性；最后训练出模型用于车辆颜色24类长尾识别。本发明专利技术能够提高车辆颜色识别的准确率，且可以实时检测识别，更好的满足了车辆颜色精细分类的需要。满足了车辆颜色精细分类的需要。满足了车辆颜色精细分类的需要。

【技术实现步骤摘要】
一种基于多层特征的光滑神经网络下车辆24色识别方法


[0001]本专利技术属于机器学习的图像处理和目标检测
，具体涉及一种基于多层特征的光滑神经网络下车辆24色长尾识别方法及自建车辆24色基准数据库。

技术介绍

[0002]目前车辆管理主要是依据车牌、颜色、车型、线条等属性来实时决策，如果车辆更换、篡改、遮挡、拆卸或伪造车牌时，导致摄像头不能实时捕捉车牌，便不能依靠车牌快速识别车辆做出实时决策。而车辆颜色作为获取车辆信息的另一个重要属性，可以辅助交通执法，提高车辆身份识别的可靠性。
[0003]由于涂料和调色的复杂，车辆颜色丰富且个性，至少有上百种颜色。目前提出的车辆颜色识别技术通常只有8种颜色类别，所以提升车辆颜色的精细分类迫在眉睫。而雨雾、光照等自然环境的变化，车身上灰尘的堆积，涂层氧化导致车色的蜕变和模糊，车辆颜色的数据分布存在长尾效应等以上情况的出现，会导致在对车辆图像进行颜色分类时发生错误，从而影响识别率和准确度。
[0004]目前车辆颜色识别的研究通常使用的是Chen等人建立的车辆颜色数据集，涵盖8种类别：白色、黑色、灰色、红色、青色、蓝色、黄色、绿色，共15601张图像，每张图像只包含一辆汽车。Jeong等人建立的车辆颜色数据集，包含黑色、灰色、银色、白色、蓝色、红色、黄色7种颜色，共6819张图像。Tilakaratna等人建立的车辆颜色数据集，包含银色、白色、黑色、灰色、天蓝色、红色、蓝色、棕色、橙色、粉色、绿色、黄色和紫色13 种颜色，共7000张图像。由于现存公开的车辆数据集中所包含车辆颜色的种类较少，且单张图片中的车辆颜色单一，所以需要制作颜色更加丰富的数据集，以提高车辆颜色精细分类的准确率。
[0005]国内外学者的杰出研究工作基本可以分为两类。一类是手工设计特征提取方案然后使用分类器进行识别，包括Chen等人提取颜色直方图特征，利用空间金字塔匹配和特征上下文信息，并结合支持向量机来识别车辆颜色；Dule等人提出从不同的颜色空间中提取不同的颜色特征，并使用K近邻、支持向量机和人工神经网络来研究车辆颜色的识别性能。但是其数据库只有五到八种类别，都存在分类不足的问题，且识别准确率仍有待提高。另一类是2015年以后采用深度学习的算法进行车辆颜色识别，包括Hu等人利用深度神经网络获取图像的特征图，结合传统分类器将其应用于车辆颜色识别；Rachmadi等人采用端到端深度神经网络结构，通过联合优化将特征提取和分类器融合为统一的框架；Fu等人利用基于残差学习的多尺度综合特征融合卷积神经网络用于车辆颜色识别，并建立了一个在实际交通场景中用于车辆颜色识别的系统。但是由于卷积神经网络结构的复杂、易出现过拟合的现象、数据集种类较少且分布不均，复杂应用场景达不到相应的实时性和准确率。
[0006]综上所述，当前类似方案都未能解决精细分类、准确高效的车辆颜色识别的问题。

技术实现思路

[0007]为克服上述问题，因此本专利技术自建了更大规模、颜色多样化的车辆颜色分类数据
库，并提出一种基于多层特征表示的光滑调制神经网络方法用于车辆24色识别方法，能够提高车辆24色识别的准确率。
[0008]所述的一种基于多层特征表示的光滑调制神经网络方法用于车辆24色长尾识别方法，其特征在于包括如下步骤：步骤1：构建车辆24色数据库，并进行专家标注，按8:1:1的比例分为训练数据、验证数据和测试数据；步骤2：对存在雾霾的图像进行去雾处理；步骤3：在RGB三通道上对图像亮度进行线性调整；步骤4：调整ResNet
‑
50部分卷积级联块，用轻量化的特征提取网络从图片中提取颜色、车型的重要特征，得到具有关键属性的特征图；步骤5：将步骤4中深层网络和浅层网络提取的颜色特征进行融合，构建了多尺度特征融合网络，以使其融合不同深度的特征层；步骤6：在特征图上生成多个候选感兴趣区域，利用分类器将这些ROI区分为背景和前景，同时利用回归器对这些ROI的位置进行初步的筛选；步骤7：通过增加超参数β来调整Smooth L1损失函数来对目标框和不同种类目标进行精确调整；步骤8：训练网络模型，进行车辆颜色识别。
[0009]通过采用上述技术，与现有技术相比，本专利技术的有益效果如下：本专利技术对图片进行预处理，能克服复杂环境噪音的干扰，通过轻量化特征提取网络和多尺度特征融合网络得到具有关键属性的特征图，避免手工设计特征区域的局限性，达到实时准确的车辆颜色识别。
附图说明
[0010]图1为本方法的流程图；图2为本方法总体结构图；图3为24色车辆分布图；图4为特征提取与特征融合流程图。
具体实施方式
[0011]以下结合说明书附图及实施例对本专利技术作进一步的描述，但本专利技术的保护范围并不仅限于此。
[0012]本专利技术能够提高车辆颜色识别的准确率，且可以实时检测识别，更好的满足了车辆颜色精细分类的需要。
[0013]如图1
‑
2所示，本专利技术的一种基于多层特征表示的光滑调制神经网络方法，包括以下步骤：步骤1：构建车辆颜色数据库共10091张图片，分辨率为1920
×
1080像素，共31232辆车，每张图像包含多色车辆，涵盖24种颜色类型，包括红色、暗红色、粉红色、橙色、暗橙色、橙红色、黄色、柠檬黄、土黄色、绿色、暗绿色、草绿色、青色、蓝色、暗蓝色、紫色、黑色、白色、银灰色、灰色、深灰色、香槟色、棕色、深棕色，包含轿车、卡车和公交车等多种车辆类型，
并进行专家标注，按8∶1∶1的比例分为训练数据、验证数据和测试数据，每种车辆颜色的分布情况如图3所示，数量情况如表1所示，初步分析得出数据库存在长尾效应；表1 颜色数量占比颜色数量占比颜色数量占比白色1182737.87％红色6442.06％柠檬黄920.29％黑色627020.08％青色5531.77％暗橙色900.29％橙色24317.78％香槟色4661.49％暗绿色700.22％银灰色21256.80％深蓝色3651.17％橙红色630.20％草绿色17665.65％蓝色3161.01％土黄色520.17％深灰色15554.98％暗棕色2300.74％绿色500.16％暗红色12634.04％棕色1180.38％粉色350.11％灰色7362.36％黄色1000.32％紫色150.04％步骤2：按照公式(1)对图像进行去雾操作；式中J(x)是要恢复的无雾图像，I(x)是待去雾的图像，A是全球大气光成分，t(x)为透射率，t0为阈值，本方法均以t0＝0.1为标准。
[0014]步骤3：按照公式(2)在GRB三通道上对图像亮度进行线性调整；Val
i
＝α
×
Col
i
+β，i＝r，g，b
ꢀꢀ
(2)其中Col
i
代表原始图像的RGB值，Val
i
表示调整后的RGB值，α和β是超参数，夜间需增强图像亮度时，将α设置为1.5，β设置为0，使不同颜色之间的特征差距将更加明显，正本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多层特征的光滑神经网络方法用于车辆24色长尾识别方法，其特征在于包括如下步骤：S1：自建车辆颜色24分类数据库，并进行专家标注；S2：预处理，包含雨雾的去除、光照的调整；S3：用轻量化的特征提取网络从图片中提取颜色、车型的重要特征，并结合多尺度特征融合网络，得到具有关键属性的特征图；S4：在特征图上生成多个候选感兴趣区域，然后利用分类器将这些ROI区分为背景和前景，同时利用回归器对这些ROI的位置进行初步的筛选；S5：光滑调制，分类损失函数用于区分不同种类的目标；回归损失函数用来对目标框进行精确调整。2.根据权利要求1所述的自建24色车辆颜色数据集，其特征在于：步骤S1中搜集来自西安市多处道路监控摄像头拍摄的视频共100小时，拍摄方向为车辆前方图像（或轻微的角度变化），截取图片共10091张，分辨率为1920
×
1080，共31232辆车。3.根据权利要求1所述的自建24色车辆颜色数据集，其特征在于：步骤S1中每张图像包含多色车辆，涵盖24种颜色类型，包括红色、暗红色、粉红色、橙色、暗橙色、橙红色、黄色、柠檬黄、土黄色、绿色、暗绿色、草绿色、青色、蓝色、暗蓝色、紫色、黑色、白色、银灰色、灰色、深灰色、香槟色、棕色、深棕色。4.根据权利要求1所述的自建24色车辆颜色数据集，其特征在于：步骤S1中的数据集包括轿车、卡车和公交车等多种车辆类型，并存在雨雾或光照等自然情况的影响，数据分布存在明显的长尾效应，其中白色车辆最多，有11827辆，占比高达37.87%，紫色车辆最少，有15辆，占比0.04%。5.根据权利要求1所述的基于多层特征表示的光滑调制神经网络方法，其特征在于：步骤S2中预处理恢复无雾图像如公式(1)所...

【专利技术属性】
技术研发人员：胡明娣，白龙，李英，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：