基于卷积神经网络的车型识别方法及装置制造方法及图纸

本发明专利技术提供了基于卷积神经网络的车型识别方法，该方法包括：选取已标签车型的样本图像，对卷积神经网络进行训练，获取训练好的车型识别模型；采集或者输入彩色场景视频图像；采用加权平均法对每帧彩色场景图像进行灰度化处理，获取每帧灰度场景图像；采用均值漂移背景更新背景法更新背景图像，计算每帧灰度场景图像与背景图像的差分图像，对差分图像进行中值滤波、连通区域标记、连通区域筛选处理，获取每帧灰度场景图像的感兴趣区域图像；采用训练好的车型识别模型对每帧灰度场景图像的感兴趣区域图像进行分类识别，输出识别结果。与现有技术相比，本发明专利技术能快速地对场景图像中的车型进行识别，且识别准确率高。

Vehicle identification method and device based on convolution neural network

The invention provides a vehicle recognition method based on convolutional neural network, the method includes: selecting sample image tag models, training of a convolutional neural network, the trained model acquisition vehicle recognition; acquisition or input color scene for each frame of video image; color scene gray image processing by using the weighted average method, get each frame gray scene image; background image using mean shift background background updating method, calculation of each frame image and the background image of the gray difference image, the difference image is median filtering and connected region labeling connected region, screening processing, region of interest image acquisition of each frame image by gray; vehicle recognition the model trained on each frame gray scene image region of interest image classification and recognition, the recognition results output. Compared with the prior art, the invention can rapidly identify the vehicle models in the scene image, and has high recognition accuracy.

【技术实现步骤摘要】
基于卷积神经网络的车型识别方法及装置
本专利技术涉及图像处理、视频监控以及安防，特别涉及车型识别方法及装置。
技术介绍
车辆识别技术是智能交通系统(IntelligentTransportationSystem，简称ITS)的重要组成部分，是从车辆分类的标准出发，对各种车辆进行信息采集，然后利用这些信息对车辆进行分类识别的一种技术。车型识别技术在打击车辆盗窃、规范交通秩序、停车场管理、高速公路自动计费、环境监管等方面具有广阔的应用前景。基于图像的车型识别主要有：1)基于特征的车型识别，如采用Harris角点特征、Gabor特征和SIFT(ScaleInvariantFeatureTransform)特征等进行车型识别，但该类方法由于各特征本身的特点，当存在光照变化、视角变化、遮挡时，会极大地影响识别率；2)基于模板的车型识别，该类方法通常存在提取难度大，计算复杂等特点；3)基于神经网络的车型识别，通过大量车型样本图像对神经网络的训练，以获取训练好的分类模型，该类方法依赖于网络结构和样本选取。近年来，随着深度学习在图像识别领域的优异表现，基于卷积神经网络的车型识别受到了极大的追捧。公开号为CN106056102A的中国专利技术专利申请公开了一种基于视频图像分析的道路车型分类方法，包括：获取视频图像中的每一帧；将视频图像中的每一帧输入至高斯混合模型中，得到前景车辆中心点；将视频图像中的每相邻两帧以及前景车辆中心点输入至卡尔曼滤波器中，得到最优帧；将最优帧输入至卷积神经网络中，得到高维特征向量；将高维特征向量输入车型分类模型中，得到车型分析结果。然而该专利技术计算量较大，且对于复杂的环境鲁棒性较差。综上所述，目前迫切需要提出一种快速且适于复杂环境下的车辆的车型识别方法及装置。
技术实现思路
有鉴于此，本专利技术的主要目的在于实现车辆的车型的快速识别，且识别准确率高，鲁棒性较好。为达到上述目的，按照本专利技术的第一个方面，提供了的基于卷积神经网络的车型识别方法，该方法包括：第一步骤，选取已标签车型的样本图像，对卷积神经网络进行训练，获取训练好的车型识别模型；第二步骤，采集或者输入彩色场景视频图像；第三步骤，采用加权平均法对每帧彩色场景图像进行灰度化处理，获取每帧灰度场景图像；第四步骤，采用均值漂移背景更新背景法更新背景图像，计算每帧灰度场景图像与背景图像的差分图像，对差分图像进行中值滤波、连通区域标记、连通区域筛选处理，获取每帧灰度场景图像的感兴趣区域图像；以及第五步骤，采用训练好的车型识别模型对每帧灰度场景图像的感兴趣区域图像进行分类识别，输出识别结果。进一步地，所述第一步骤包括：样本选取步骤，选取LINum1个已标记MNum种车型的灰度图像作为样本图像，选取LINum2个已标记非车辆的灰度图像作为负样本图像；初步训练步骤，利用卷积神经网络对正样本图像和负样本图像进行训练，获得初步训练车型分类模型；二次训练步骤，选取TINum个测试图像，根据初步训练车型分类模型对测试图像进行反复训练，直至车型分类模型收敛；模型输出步骤，将收敛的车型分类模型作为车型识别模型并输出。进一步地，所述初步训练步骤中卷积神经网络包括：输入层，输入宽度为Width、高度为Height的灰度图像；第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为1；第一层池化层，采用最大池化法输出KSi*KSi、步长为2的核；第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；第二层池化层，采用最大池化法输出KSi*KSi、步长为2的核；第三层卷积层，输出Th_CK3个卷积核，卷积核的大小为CKSi3*CKSi3、步长为1；第三层池化层，采用最大池化法输出KSi*KSi、步长为2的核；第四层卷积层，输出Th_CK4个卷积核，卷积核的大小为CKSi4*CKSi4、步长为1；第四层池化层，采用最大池化法输出KSi*KSi、步长为2的核；第五层卷积层，输出Th_CK5个卷积核，卷积核的大小为CKSi5*CKSi5、步长为1；第一层全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；第二层全连接层，输出MNum+1个神经元，即MNum种车型类别和1种非车辆类别。进一步地，所述二次训练步骤包括：训练特征提取步骤，根据初步训练车型分类模型，提取TINum个灰度测试图像的特征；训练分类判定步骤，计算测试图像的特征与每种车型类别特征的相似度Simik，k表示第k种车型类别，k∈{1，2，…，MNum，MNum+1}，选取Simik值最大的车型类别作为候选车型类别；反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练车型分类模型，重复训练特征提取步骤和训练分类判定步骤，直至车型分类模型收敛。进一步地，所述第三步骤中加权平均法包括：统计第i帧彩色场景图像内像素点(x,y)的红色分量值Ri(x,y)、绿色分量值Gi(x,y)、蓝色分量值Bi(x,y)，根据加权公式fi(x,y)＝0.114×Ri(x,y)+0.587×Gi(x,y)+0.299×Bi(x,y)，获取第i帧场景图像内像素点(x,y)的加权灰度值fi(x,y)。进一步地，所述第四步骤包括：均值漂移背景更新步骤，计算第i帧灰度场景图像的背景图像Bi(x,y)＝(1-α)×Bi-1(x,y)+α×fi-1(x,y)，其中B0(x,y)＝f0(x,y)；差分图像计算步骤，计算第i帧灰度场景图像fi(x,y)与背景图像Bi(x,y)的差分图像；中值滤波处理步骤，分别采用中值滤波算法对每帧灰度场景图像的差分图像进行处理，获取每帧灰度场景图像的前景图像；连通区域标记步骤，采用连通区域标记法对每帧灰度场景图像的前景图像进行标记，获取每帧灰度场景图像内的连通区域；连通区域筛选步骤，统计每帧灰度场景图像内的每个连通区域内前景点的数量，若连通区域内前景点的数量大于标记阈值MT，则将该连通区域设为感兴趣区域，否则将该连通区域内的前景点全设为背景点；感兴趣区域图像提取步骤，根据每帧灰度场景图像内感兴趣区域的位置，提取该帧灰度场景图像中相应位置内的图像作为感兴趣区域图像。进一步地，所述第五步骤包括：识别特征提取步骤，利用车型识别模型分别提取感兴趣区域图像的特征；识别分类判定步骤，计算提取的感兴趣区域图像特征与每一种车型类别特征的相似度Simik，k表示第k种类别，k∈{1，2，…，MNum，MNum+1},选取Simik值最大的类别作为车型类别。按照本专利技术的另一个方面，提供了的基于卷积神经网络的车型识别装置，该装置包括：车型识别模型训练模块，用于选取已标签车型的样本图像，对卷积神经网络进行训练，获取训练好的车型识别模型；彩色场景视频图像获取模块，用于采集或者输入彩色场景视频图像；场景灰度图像获取模块，用于采用加权平均法对每帧彩色场景图像进行灰度化处理，获取每帧灰度场景图像；感兴趣区域图像提取模块，用于采用均值漂移背景更新背景法更新背景图像，计算每帧灰度场景图像与背景图像的差分图像，对差分图像进行中值滤波、连通区域标记、连通区域筛选处理，获取每帧灰度场景图像的感兴趣区域图像；以及感兴趣区域图像分类识别模块，用于采用训练好的车型识别模型对每帧灰度场景图像的本文档来自技高网...

【技术保护点】
基于卷积神经网络的车型识别方法，其特征在于，该方法包括：第一步骤，选取已标签车型的样本图像，对卷积神经网络进行训练，获取训练好的车型识别模型；第二步骤，采集或者输入彩色场景视频图像；第三步骤，采用加权平均法对每帧彩色场景图像进行灰度化处理，获取每帧灰度场景图像；第四步骤，采用均值漂移背景更新背景法更新背景图像，计算每帧灰度场景图像与背景图像的差分图像，对差分图像进行中值滤波、连通区域标记、连通区域筛选处理，获取每帧灰度场景图像的感兴趣区域图像；以及第五步骤，采用训练好的车型识别模型对每帧灰度场景图像的感兴趣区域图像进行分类识别，输出识别结果。

【技术特征摘要】
1.基于卷积神经网络的车型识别方法，其特征在于，该方法包括：第一步骤，选取已标签车型的样本图像，对卷积神经网络进行训练，获取训练好的车型识别模型；第二步骤，采集或者输入彩色场景视频图像；第三步骤，采用加权平均法对每帧彩色场景图像进行灰度化处理，获取每帧灰度场景图像；第四步骤，采用均值漂移背景更新背景法更新背景图像，计算每帧灰度场景图像与背景图像的差分图像，对差分图像进行中值滤波、连通区域标记、连通区域筛选处理，获取每帧灰度场景图像的感兴趣区域图像；以及第五步骤，采用训练好的车型识别模型对每帧灰度场景图像的感兴趣区域图像进行分类识别，输出识别结果。2.如权利要求1所述的方法，其特征在于，所述第一步骤包括：样本选取步骤，选取LINum1个已标记MNum种车型的灰度图像作为样本图像，选取LINum2个已标记非车辆的灰度图像作为负样本图像；初步训练步骤，利用卷积神经网络对正样本图像和负样本图像进行训练，获得初步训练车型分类模型；二次训练步骤，选取TINum个测试图像，根据初步训练车型分类模型对测试图像进行反复训练，直至车型分类模型收敛；模型输出步骤，将收敛的车型分类模型作为车型识别模型并输出。3.如权利要求2所述的方法，其特征在于，所述初步训练步骤中卷积神经网络包括：输入层，输入宽度为Width、高度为Height的灰度图像；第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为1；第一层池化层，采用最大池化法输出KSi*KSi、步长为2的核；第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；第二层池化层，采用最大池化法输出KSi*KSi、步长为2的核；第三层卷积层，输出Th_CK3个卷积核，卷积核的大小为CKSi3*CKSi3、步长为1；第三层池化层，采用最大池化法输出KSi*KSi、步长为2的核；第四层卷积层，输出Th_CK4个卷积核，卷积核的大小为CKSi4*CKSi4、步长为1；第四层池化层，采用最大池化法输出KSi*KSi、步长为2的核；第五层卷积层，输出Th_CK5个卷积核，卷积核的大小为CKSi5*CKSi5、步长为1；第一层全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；第二层全连接层，输出MNum+1个神经元，即MNum种车型类别和1种非车辆类别。4.如权利要求2所述的方法，其特征在于，所述二次训练步骤包括：训练特征提取步骤，根据初步训练车型分类模型，提取TINum个灰度测试图像的特征；训练分类判定步骤，计算测试图像的特征与每种车型类别特征的相似度Simik，k表示第k种车型类别，k∈{1，2，…，MNum，MNum+1}，选取Simik值最大的车型类别作为候选车型类别；反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练车型分类模型，重复训练特征提取步骤和训练分类判定步骤，直至车型分类模型收敛。5.如权利要求2～4所述的方法，所述MNum∈[3，30]，LINum1≥4000，LINum2≥2000，TINum≥1000，Width∈[64,256]，Height∈[64,256]，Th_CK1∈[16,32]，CKSi1为3或者5，KSi∈[2,4]，Th_CK2∈[16,32]，CKSi2为3或者5，Th_CK3∈[32,64]，CKSi3为3或者5，Th_CK4∈[32,64]，CKSi4为3或者5，Th_CK5∈[64,128]，CKSi5为3或者5，Th_Neur∈[100,10000]。6.如权利要求1所述的方法，所述第三步骤中加权平均法包括：统计第i帧彩色场景图像内像素点(x,y)的红色分量值Ri(x,y)、绿色分量值Gi(x,y)、蓝色分量值Bi(x,y)，根据加权公式fi(x,y)＝0.114×Ri(x,y)+0.587×Gi(x,y)+0.299×Bi(x,y)，获取第i帧场景图像内像素点(x,y)的加权灰度值fi(x,y)。7.如权利要求1所述的方法，其特征在于，所述第四步骤包括：均值漂移背景更新步骤，计算第i帧灰度场景图像的背景图像Bi(x,y)＝(1-α)×Bi-1(x,y)+α×fi-1(x,y)，其中B0(x,y)＝f0(x,y)；差分图像计算步骤，计算第i帧灰度场景图像fi(x,y)与背景图像Bi(x,y)的差分图像；中值滤波处理步骤，分别采用中值滤波算法对每帧灰度场景图像的差分图像进行处理，获取每帧灰度场景图像的前景图像；连通区域标记步骤，采用连通区域标记法对每帧灰度场景图像的前景图像进行标记，获取每帧灰度场景图像内的连通区域；连通区域筛选步骤，统计每帧灰度场景图像内的每个连通区域内前景点的数量，若连通区域内前景点的数量大于标记阈值MT，则将该连通区域设为感兴趣区域，否则将该连通区域内的前景点全设为背景点；感兴趣区域图像提取步骤，根据每帧灰度场景图像内感兴趣区域的位置，提取该帧灰度场景图像中相应位置内的图像作为感兴趣区域图像。8.如权利要求7所述的方法，所述α∈[0.02,0.04]，MT∈[40,100]。9.如权利要求1所述的方法，其特征在于，所述第五步骤包括：识别特征提取步骤，利用车型识别模型分别提取感兴趣区域图像的特征；识别分类判定步骤，计算提取的感兴趣区域图像特征与每一种车型类别特征的相似度Simik，k表示第k种类别，k∈{1，2，…，MNum，MNum+1}，选取Simik值最大的类别作为车型类别。10.基于卷积神经网络的车型识别装置，其特征在于，该装置包括：车型识别模型训练模块，用于选取已标签车型的样本图像，对卷积神经网络...

【专利技术属性】
技术研发人员：谢静，崔凯，李志国，班华忠，曾建平，
申请(专利权)人：北京智芯原动科技有限公司，
类型：发明
国别省市：北京,11