一种基于交通标志识别的交叉口车辆违章检测系统技术方案

本专利公开了一种基于深度学习的交叉口车辆违章检测与辨识方法，所述方法包括如下步骤：步骤一、采集交叉口视频检测图像；步骤二、交通标志和车辆的识别；步骤三，车辆的跟踪；步骤四、车辆违章检测与辨识系统。本发明专利技术通过基于交叉口监控视频中的交通标志牌和车辆的自动识别与跟踪，进而能够自动辨识出交叉口处车辆的违章情况，该系统误检少、效率高。

Intersection vehicle violation detection system based on traffic sign recognition

The utility model discloses a deep learning based on the intersection of traffic violation detection and identification method, the method comprises the following steps: 1, the intersection of video image acquisition; step two, recognition of traffic signs and vehicles; vehicle tracking; step three, step four, vehicle detection and identification system. The invention can automatically identify the illegal condition of the vehicle at the intersection by automatically monitoring and tracking the traffic signs in the video and the automatic identification and tracking of the vehicle at the intersection, and the system has less error detection and high efficiency.

【技术实现步骤摘要】
一种基于交通标志识别的交叉口车辆违章检测系统
本专利属于智能交通
，具体而言涉及一种基于深度学习的交叉口车辆违章检车与辨识系统。技术背景违章停车的处罚在现有技术中可以通过人工现场处罚，以及通过摄像头非现场处罚的方式来进行。在现有技术中，通过设置在道路边的摄像头拍取道路上的图像，通过智能识别的方式识别图像中违章行驶的情况，并截取相应的证据是一种常见的手段。但是，现有技术中对于道路交叉口的违章行驶，例如禁止掉头处掉头，不按规定的车道行驶等，在现场的执法中容易发现，但是很难通过智能识别的方式实现。因为，不同的道路其设置的通行规则是不同的，而且同一个交叉口有时候通行规则是会根据各种因素的考虑改变的。而位于道路交叉口的摄像头对于简单的道路情况，例如闯红灯等的识别是较为准确的；而对于复杂的道路情况，例如马路交叉口的未按照规定车道行驶、违章停车、禁止掉头处掉头等的识别并不准确，或者识别程度不高，给行驶人或者是交通管理部门带来困扰。
技术实现思路
本专利正是基于现有技术中的上述需求而提出的，本专利要解决的技术问题是提供一种基于深度学习的交叉口车辆违章检测与辨识系统，以便于智能检测在道路交叉口的车辆违章情况。为了解决上述问题，本专利提供的技术方案包括：一种基于深度学习的交叉口车辆违章检测与辨识方法，所述方法包括如下步骤：步骤一、采集交叉口视频检测图像利用在交叉路口的视频采集设备采集视频图像；步骤二、交通标志和车辆的识别在本步骤中，对于交通标志和车辆的识别其过程包括：步骤S201对输入图像进行特征提取使用卷积神经网络利对输入图像进行特征自动提取；所述卷积神经网络包括特征提取和特征图级联两部分；1)特征提取，所述卷积神经网络包括五层个卷积层，其中第一卷积层包括1_1卷积层；第二卷积层包括2_1卷积层、2_2卷积层和2_3卷积层；第三卷积层包括3_1卷积层、3_2卷积层、3_3卷积层和3_4卷积层；第四卷积层包括4_1卷积层、C4_2卷积层、4_3卷积层和4_4卷积层；第五卷积层包括5_1卷积层、5_2卷积层、5_3卷积层和5_4卷积层；其中第一卷积层的操作类型采用C.ReLU，感受野大小为7*7像素，输出通道数为32。第二卷积层的操作类型采用C.ReLU，感受野大小为3*3像素，输出通道数为64；第三卷积层的操作类型采用C.ReLU，感受野大小为3*3像素，输出通道数为128；第四卷积层和第五卷积层的操作类型采用Inception；2)特征图级联，将不同卷积阶段的不同尺度的卷积特征层级联起来，利用了高层特征的语义信息的同时还考虑到低层特征的细节纹理信息，将第3_4卷积层进行使用最大池化，5_4卷积层使用双线性插值算法进行上采样，然后将两者与4_4卷积层结合经过1x1的卷积后生成512通道的多尺度输出特征作为接下来候选区域网络的输入；S202交通标志和车辆的定位检测从特征提取后的图像中从定位包含交通标志和车辆的候选区域，之后将候选区域输出到交通标志和车辆的分类识别模块；其中包括：1)采用候选区域网络提取候选区域，输入图像经过特征提取网络后，在最后一个卷积层输出的卷积特征映射上滑动小网络，所述滑动小网络全连接到输入卷积特征映射的n*n的空间窗口上，以生成候选区域框。2)候选区域网络的损失函数为了训练候选区域网络，在本步骤中给每个候选框分配一个二进制的标签(分别对应的情况为：是目标、不是目标)。给两类候选框分配正标签：(1)与某个真实区域包围盒有最大IoU(两个区域的交集面积与并集面积之比)值；(2)与任意真实区域包围盒的IoU值大于0.7的候选框。为所有与真实区域IoU值低于0.3的候选框分配负标签。候选区域网络的损失函数定义为：其中，i是一次批量迭代中选取的候选框索引；pi为候选框为目标的概率，如果候选框是正标签，其对应的真实区域标签pi*为1，否则，pi*为0；ti表示预测的包围盒的4个参数化坐标向量，ti*是相对应的真实区域包围盒的坐标向量。分类损失Ccls是针对目标和非目标两个类别的对数损失：对于回归损失，用来计算，其中S(x)为：对于回归，本步骤采用4个坐标的参数：tx＝(x-xa)/waty＝(y-ya)/hatw＝log(w/wa)th＝log(h/ha)其中，x,y,w,h指的是包围盒中心的(x,y)坐标、宽、高，变量x,xa,x*分别为预测的包围盒、候选框、真实区域包围盒的x坐标,变量y,ya,y*分别为预测的包围盒、候选框、真实区域包围盒的y坐标；变量w,wa,w*分别为预测的包围盒、候选框、真实区域包围盒的w坐标；变量h,ha,h*分别为预测的包围盒、候选框、真实区域包围盒的h坐标；Ncls取256，Nreg取2400，λ取10；tx,ty,tw,th表示预测的包围盒的4个参数化坐标向量，tx*,ty*,tw*,th*是相对应的真实区域包围盒的坐标向量。S203交通标志和车辆的分类识别交通标志和车辆的分类识别的主要任务是对于上一步最终定位到的交通标志和车辆的候选区域进行特征提取和分类识别，从而得到交通标志和车辆的的类型信息，其中包括：1)利用区域卷积网络进行交通标志和车辆的识别，针对S202中得到的含有交通标志的候选区域，采用一种与候选区域网络共享卷积的区域卷积神经网络算法进行交通标志的识别；2)奇异值分解，利用奇异值分解来加快交通标志识别系统的识别速度；设W是一个大小为u×v的权重矩阵，可以利用奇异值分解得到，如公式：W≈U∑tVT式中：U：大小为u×t的一个向量；∑t：大小为t×t的对角矩阵；VT：大小为t×v的向量；由|WTW-λI|＝0求得WTW的特征值λ；设矩阵W的转置为WT，由公式(WTW)vi＝λivi求得WTW的特征向量v；根据公式得到奇异值σ，而U则可根据公式得到：U，∑t，VT三个矩阵相乘接近于矩阵W；3)区域卷积神经网络的损失函数,区域卷积神经网络可以对输入区域输出K+1类目标,包含背景,的概率以及回归后的包围盒坐标。对于每一个训练候选区域定义损失函数为：L(p,u,tu,t*)＝Lcls(p,u)+[u≥1]Lloc(tu,t*)其中，Lcls(p,u)＝-lgpu是对候选区域对应的真实目标类别u的对数损失；对于k+1类目标有p＝(p0,p1,....,pk)；[u≥1]为示性函数，当候选区域为背景时，u＝0；Lloc(tu,t*)为包围盒坐标的回归损失，式中的函数S为：其中对于k类目标中的每一个都有t*为候选区域对应的真实目标包围盒的参数坐标向量；为k类目标中的预测包围盒的x坐标；为k类目标中的预测包围盒的y坐标；为k类目标中的预测包围盒的w坐标；为k类目标中的预测包围盒的h坐标；步骤三，车辆的跟踪在对图像中的交通标志和车辆的识别后，通过对识别到的车辆使用跟踪算法来绘制出车辆的行使轨迹；利用误差最小平方和滤波器使其在目标上的响应最大，其中g表示响应输出，f表示输入图像，h表示滤波模板，表示卷积操作；对上式进行快速傅里叶变换将卷积操作变成了点乘操作，即变成：简写成：G＝F·H*因此，跟踪的任务就是找到H*，H*为H的共轭，即：在跟踪的过程中，使用模型公式为：其中，⊙表示Hadamard乘积，得到其中w和v是H中每个元素的索引；对其求偏导，并使偏导为0，即：得到最本文档来自技高网...

【技术保护点】
一种基于深度学习的交叉口车辆违章检测与辨识方法，其特征在于，所述方法包括如下步骤：步骤一、采集交叉口视频检测图像利用在交叉路口的视频采集设备采集视频图像；步骤二、交通标志和车辆的识别在本步骤中，对于交通标志和车辆的识别其过程包括：步骤S201对输入图像进行特征提取使用卷积神经网络利对输入图像进行特征自动提取；所述卷积神经网络包括特征提取和特征图级联两部分；1)特征提取，所述卷积神经网络包括五层个卷积层，其中第一卷积层包括1_1卷积层；第二卷积层包括2_1卷积层、2_2卷积层和2_3卷积层；第三卷积层包括3_1卷积层、3_2卷积层、3_3卷积层和3_4卷积层；第四卷积层包括4_1卷积层、C4_2卷积层、4_3卷积层和4_4卷积层；第五卷积层包括5_1卷积层、5_2卷积层、5_3卷积层和5_4卷积层；其中第一卷积层的操作类型采用C.ReLU，感受野大小为7*7像素，输出通道数为32。第二卷积层的操作类型采用C.ReLU，感受野大小为3*3像素，输出通道数为64；第三卷积层的操作类型采用C.ReLU，感受野大小为3*3像素，输出通道数为128；第四卷积层和第五卷积层的操作类型采用Inception；2)特征图级联，将不同卷积阶段的不同尺度的卷积特征层级联起来，利用了高层特征的语义信息的同时还考虑到低层特征的细节纹理信息，将第3_4卷积层进行使用最大池化，5_4卷积层使用双线性插值算法进行上采样，然后将两者与4_4卷积层结合经过1x1的卷积后生成512通道的多尺度输出特征作为接下来候选区域网络的输入；S202交通标志和车辆的定位检测从特征提取后的图像中从定位包含交通标志和车辆的候选区域，之后将候选区域输出到交通标志和车辆的分类识别模块；其中包括：1)采用候选区域网络提取候选区域，输入图像经过特征提取网络后，在最后一个卷积层输出的卷积特征映射上滑动小网络，所述滑动小网络全连接到输入卷积特征映射的n*n的空间窗口上，以生成候选区域框。2)候选区域网络的损失函数为了训练候选区域网络，在本步骤中给每个候选框分配一个二进制的标签(分别对应的情况为：是目标、不是目标)。给两类候选框分配正标签：(1)与某个真实区域包围盒有最大IoU(两个区域的交集面积与并集面积之比)值；(2)与任意真实区域包围盒的IoU值大于0.7的候选框。为所有与真实区域IoU值低于0.3的候选框分配负标签。候选区域网络的损失函数定义为：...

【技术特征摘要】
1.一种基于深度学习的交叉口车辆违章检测与辨识方法，其特征在于，所述方法包括如下步骤：步骤一、采集交叉口视频检测图像利用在交叉路口的视频采集设备采集视频图像；步骤二、交通标志和车辆的识别在本步骤中，对于交通标志和车辆的识别其过程包括：步骤S201对输入图像进行特征提取使用卷积神经网络利对输入图像进行特征自动提取；所述卷积神经网络包括特征提取和特征图级联两部分；1)特征提取，所述卷积神经网络包括五层个卷积层，其中第一卷积层包括1_1卷积层；第二卷积层包括2_1卷积层、2_2卷积层和2_3卷积层；第三卷积层包括3_1卷积层、3_2卷积层、3_3卷积层和3_4卷积层；第四卷积层包括4_1卷积层、C4_2卷积层、4_3卷积层和4_4卷积层；第五卷积层包括5_1卷积层、5_2卷积层、5_3卷积层和5_4卷积层；其中第一卷积层的操作类型采用C.ReLU，感受野大小为7*7像素，输出通道数为32。第二卷积层的操作类型采用C.ReLU，感受野大小为3*3像素，输出通道数为64；第三卷积层的操作类型采用C.ReLU，感受野大小为3*3像素，输出通道数为128；第四卷积层和第五卷积层的操作类型采用Inception；2)特征图级联，将不同卷积阶段的不同尺度的卷积特征层级联起来，利用了高层特征的语义信息的同时还考虑到低层特征的细节纹理信息，将第3_4卷积层进行使用最大池化，5_4卷积层使用双线性插值算法进行上采样，然后将两者与4_4卷积层结合经过1x1的卷积后生成512通道的多尺度输出特征作为接下来候选区域网络的输入；S202交通标志和车辆的定位检测从特征提取后的图像中从定位包含交通标志和车辆的候选区域，之后将候选区域输出到交通标志和车辆的分类识别模块；其中包括：1)采用候选区域网络提取候选区域，输入图像经过特征提取网络后，在最后一个卷积层输出的卷积特征映射上滑动小网络，所述滑动小网络全连接到输入卷积特征映射的n*n的空间窗口上，以生成候选区域框。2)候选区域网络的损失函数为了训练候选区域网络，在本步骤中给每个候选框分配一个二进制的标签(分别对应的情况为：是目标、不是目标)。给两类候选框分配正标签：(1)与某个真实区域包围盒有最大IoU(两个区域的交集面积与并集面积之比)值；(2)与任意真实区域包围盒的IoU值大于0.7的候选框。为所有与真实区域IoU值低于0.3的候选框分配负标签。候选区域网络的损失函数定义为：其中，i是一次批量迭代中选取的候选框索引；pi为候选框为目标的概率，如果候选框是正标签，其对应的真实区域标签pi*为1，否则，pi*为0；ti表示预测的包围盒的4个参数化坐标向量，ti*是相对应的真实区域包围盒的坐标向量；分类损失Ccls是针对目标和非目标两个类别的对数损失：其中，i是一次批量迭代中选取的候选框索引；pi为候选框为目标的概率，如果候选框是正标签，其对应的真实区域标签pi*为1，否则，pi*为0；对于回归损失，用来计算，其中S(x)为：对于回归，本步骤采用4个坐标的参数：tx＝(x-xa)/waty＝(y-ya)/hatw＝log(w/wa)th＝log(h/ha)其中，x,y,w,h指的是包围盒中心的(x,y)坐标、宽、高，变量x,xa,x*分别为预测的包围盒、候选框、真实区域包围盒的x坐标,变量y,ya,y*分别为预测的包围盒、候选框、真实区域包围盒的y坐标；变量w,wa,w*分别为预测的包围盒、候选框、真实区域包围盒的w坐标；变量h,ha,h*分别为预测的包围盒、候选框、真实区域包围盒的h坐标；Ncls取256，Nreg取2400，λ取10；tx,ty,tw,th表示预测的包围盒的4个参数化坐标向量，tx*,ty*,tw*,th*是相对应的真实区域包围盒的坐标向量；S203交通标志和车辆的分类识别交通标志和车辆的分类识别的主要任务是对于上一步最终...

【专利技术属性】
技术研发人员：余贵珍，钟晓明，秦洪懋，张钊，李欣旭，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11