一种基于CNN的车辆识别和轨迹追踪方法技术

本发明专利技术公开了一种基于CNN的车辆识别和轨迹追踪方法，首先是通过对视频帧进行轮廓识别，筛选出车辆候选目标区域，将这些候选区域输入到预先训练好的卷积神经网络中进行车辆和非车辆目标的分类识别，在获取车辆坐标后，绘制车辆的轨迹信息，并按车道提取车辆的轨迹信息。本发明专利技术克服了现有技术存在的缺陷，提高了车辆目标识别的准确性和实时性。

A vehicle identification and trajectory tracking method based on CNN

The invention discloses a method for identifying and tracking the vehicle trajectory based on CNN, is the first contour recognition of video frames, selected vehicle candidate target region, these candidate regions are input to the classification of vehicle and non vehicle target pre trained convolutional neural networks, in acquiring vehicle coordinates, track drawing information of the vehicle, and the vehicle in the lane track information extraction. The invention overcomes the defects existing in the prior art, and improves the accuracy and the real-time performance of the vehicle target identification.

【技术实现步骤摘要】
一种基于CNN的车辆识别和轨迹追踪方法
本专利技术属于食品监控
，特别涉及了一种车辆识别和轨迹追踪方法。
技术介绍
目前，目标检测是智能视频监控系统中的关键技术，同时也是目标识别、目标跟踪、目标分类等处理算法的基础。车辆目标识别的目的是尽可能地从视频监控中提取出车辆目标区域，并且完整地从视频中提取出来，并将检测的结果提交给后续的算法处理，包括车辆位置信息，车辆轨迹信息等，以此来判断车辆当前车辆的行驶状态。因此为了解决现有技术中的不足，需要一种从视频中快速定位车辆位置和提取车辆轨迹的方法。2015年Seung-HyunLee等人在InternationalSymposiumonConsumerElectronics(ISCE)上发表了一篇《AnefficientselectionofHOGfeatureforSVMclassificationofvehicle》，通过减小HOG特征的维度来减少SVM的计算复杂度，然后将降低维度的HOG(方向梯度直方图)特征作为支持向量机(SVM)分类检测的输入，提高了车辆识别检测的速度。然而，HOG特征很难处理遮挡的问题，并且在实际的环境中HOG特征对噪点比较敏感。2015年SunShujuan等人在ChineseControlandDecisionConference(2015CCDC)上发表了一篇《Real-timevehicledetectionusingHaar-SURFmixedfeaturesandgentleAdaBoostclassifier》论文，提出一种采用级联分类器和混合Haar-SURF特征的GentleAdaBoost分类器来进行车辆的实时检测。该方法存在的问题是AdaBoost算法训练时间过长，目标识别的准确性依赖于弱分类器的选择。
技术实现思路
为了解决上述
技术介绍
提出的技术问题，本专利技术旨在提供一种基于CNN的车辆识别和轨迹追踪方法，为了克服现有技术存在的问题，采用轮廓筛选机制的卷积神经网络来提高车辆目标识别的精度，同时也优化了实时视频识别中的实时性问题。为了实现上述技术目的，本专利技术的技术方案为：一种基于CNN的车辆识别和轨迹追踪方法，包括以下步骤：(1)实时获取车辆的视频信息；(2)采用轮廓筛选机制对获取的视频帧进行预处理，提取车辆目标的候选区域；(3)将目标的候选区域输入卷积神经网络中，完成车辆目标和非车辆目标的识别；(4)获取每帧视频中的车辆位置坐标，根据这些坐标绘制车辆的轨迹；对于不同车道内的车辆轨迹按照车道进行分类提取。进一步地，步骤(2)的具体过程如下：采用索贝尔算子对获取的视频帧进行边缘点的检测，通过计算视频帧中每个像素点横向和纵向的灰度值来计算像素点的梯度，若梯度大于预设的阈值，则认为该像素点是轮廓边缘点，将相邻的轮廓边缘点连接起来，获得车辆目标的外部轮廓，根据外部轮廓确定车辆目标的候选区域。进一步地，步骤(3)的具体过程如下：缩放候选区域图片的scale，得到图片金字塔，通过卷积层提取图片中的特征，得到featuremap，接着通过池化层将featuremap大小不一的候选区域转变为大小统一的数据，进一步稳定特征，然后通过全连接层将池化层输出的特征进行合并，使用softmax完成车辆目标的识别。进一步地，softmax进行车辆目标识别时，通过构建代价函数对分类进行优化，所述代价函数：上式中，pu为目标真实类别u的概率，vi为bounding-box返回的坐标值，表示bounding-box的回归补偿，x,y,w,h分别表示定位框的横坐标、纵坐标、宽度、高度，求解代价函数L取最小值时的用于补偿bounding-box返回的坐标值，使得返回的坐标值所表示的定位框能真实代表车辆区域。进一步地，在步骤(4)中，对于不同车道内的车辆轨迹按照车道进行分类提取的过程：(a)以图像的width方向为x轴、图像的height方向y轴，建立平面直角坐标系；(b)在坐标系中定位车辆坐标，车道i的两条边线分别为y＝kix+ci和y＝ki+1x+ci+1，其中，ki、ki+1为车道i的两条边线的斜率，ci、ci+1为车道i的两条边线的截距，i＝1,2,…,I，I为总车道数；设车道i内的车辆坐标为(a,b)，则(a,b)满足以下条件：进一步地，为了避免车道i内不同车辆轨迹粘合，在车辆驶离的方向设置检测带y＝m，当车道i内某车辆坐标(a,b)满足以下条件时，说明已完成该车辆目标的轨迹跟踪，需要进行轨迹清除：采用上述技术方案带来的有益效果：(1)本专利技术通过对实时输入的视频帧进行轮廓识别，将筛选出车辆目标的候选区域输入到卷积神经网络中进行车辆目标的识别分类，提高了车辆目标识别的准确性和实时性；(2)本专利技术对于多车道车辆按车道的不同来分别提取车辆的轨迹信息，可以有效地提高车辆的轨迹提取速度，同时也对车辆轨迹进行了有效的分类处理。附图说明图1是本专利技术的方法流程图；图2是本专利技术中多车道轨迹分类示意图。具体实施方式以下将结合附图，对本专利技术的技术方案进行详细说明。一种基于CNN的车辆识别和轨迹追踪方法，如图1所示，具体步骤如下。步骤1：实时获取车辆的视频信息。步骤2：采用轮廓筛选机制对获取的视频帧进行预处理，提取车辆目标的候选区域。采用索贝尔算子对获取的视频帧进行边缘点的检测，通过计算视频帧中每个像素点横向和纵向的灰度值来计算像素点的梯度，若梯度大于预设的阈值，则认为该像素点是轮廓边缘点，将相邻的轮廓边缘点连接起来，获得车辆目标的外部轮廓，根据外部轮廓确定车辆目标的候选区域。像素点的梯度计算公式：G＝Gx+Gy上式中，Gx，Gy分别代表横向和纵向边缘检测的图像灰度值，Gx＝[f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1)]，Gy＝[f(x-1,y-1)+2f(x,y-1)+f(x-1,y-1)]-[f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)]，其中f(x,y)为(x,y)点的灰度值。步骤3：将目标的候选区域输入卷积神经网络中，完成车辆目标和非车辆目标的识别。卷积神经网络(ConvolutionalNeuralNetwork,CNN)是人工神经网络中的一种，它由多层的神经网络构成，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。卷积神经网络的优点在于网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。因此，卷积神经网络在图像识别和目标分类上具有很好的表现。卷积神经网络主要分为3层：卷积层，池化层和全连接层。卷积层为了从图像中通过卷积运算提取车辆的初步特征，池化层用来将提取出的特征进一步降维，逐步稳定前面提取出车辆目标的特征，全连接层是为了将池化层的特征进行合并并分类回归。首先是获取图片的ROI区域，然后缩放图片的scale得到图片金字塔，提取图片中的特征得到featuremap，然后通过pooling层将特征图大小不一的候选区域转变为大小统一的数据，进一步稳定特征并把该特征输入到全连接特征层，最后通过softmax来完成车辆的分类操作。为了使得bou本文档来自技高网...

【技术保护点】
一种基于CNN的车辆识别和轨迹追踪方法，其特征在于，包括以下步骤：(1)实时获取车辆的视频信息；(2)采用轮廓筛选机制对获取的视频帧进行预处理，提取车辆目标的候选区域；(3)将目标的候选区域输入卷积神经网络中，完成车辆目标和非车辆目标的识别；(4)获取每帧视频中的车辆位置坐标，根据这些坐标绘制车辆的轨迹；对于不同车道内的车辆轨迹按照车道进行分类提取。

【技术特征摘要】
1.一种基于CNN的车辆识别和轨迹追踪方法，其特征在于，包括以下步骤：(1)实时获取车辆的视频信息；(2)采用轮廓筛选机制对获取的视频帧进行预处理，提取车辆目标的候选区域；(3)将目标的候选区域输入卷积神经网络中，完成车辆目标和非车辆目标的识别；(4)获取每帧视频中的车辆位置坐标，根据这些坐标绘制车辆的轨迹；对于不同车道内的车辆轨迹按照车道进行分类提取。2.根据权利要求1所述基于CNN的车辆识别和轨迹追踪方法，其特征在于，步骤(2)的具体过程如下：采用索贝尔算子对获取的视频帧进行边缘点的检测，通过计算视频帧中每个像素点横向和纵向的灰度值来计算像素点的梯度，若梯度大于预设的阈值，则认为该像素点是轮廓边缘点，将相邻的轮廓边缘点连接起来，获得车辆目标的外部轮廓，根据外部轮廓确定车辆目标的候选区域。3.根据权利要求1所述基于CNN的车辆识别和轨迹追踪方法，其特征在于，步骤(3)的具体过程如下：缩放候选区域图片的scale，得到图片金字塔，通过卷积层提取图片中的特征，得到featuremap，接着通过池化层将featuremap大小不一的候选区域转变为大小统一的数据，进一步稳定特征，然后通过全连接层将池化层输出的特征进行合并，使用softmax完成车辆目标的识别。4.根据权利要求3所述基于CNN的车辆识别和轨迹追踪方法，其特征在于：softmax进行车辆目标识别时，通过构建代价函数对分类进行优化，所述代价函数：

【专利技术属性】
技术研发人员：赵胜，孙知信，赵学健，骆冰清，
申请(专利权)人：南京邮电大学盐城大数据研究院有限公司，
类型：发明
国别省市：江苏,32