基于深度卷积神经网络的违章停车和抛锚车视觉检测系统技术方案

一种基于深度卷积神经网络的违章停车和抛锚车视觉检测系统，包括安装在城市道路上的摄像机、交通云服务器和道路交通事件自动检测系统；在系统中通过深度卷积神经网络技术提取出道路上的各种车辆，然后用光流法计算识别判断是否属于静止车辆，如果存在有静止车辆并静止时间超过停留时间阈值就判定为违章停车，最后用WebGIS或者广播和道路警示牌等手段进行实时，以便交警迅速安排清除这些交通障碍，同时提醒后方车辆在前方道路上出现的事故情况，从而尽快采取相应措施，避免二次事故的发生。本发明专利技术提供一种鲁棒性较好、识别精度较高的基于深度卷积神经网络的违章停车和抛锚车视觉检测系统。

Visual detection system for parking and anchoring vehicle based on deep convolution neural network

A deep convolutional neural network parking and car broke down visual inspection system based on the roads in the city include the installation of cameras, traffic cloud server and traffic incident automatic detection system; in the system by extracting various vehicle road convolutional neural network, and then determine whether belongs to the stationary vehicle with optical flow calculation and if there is a stationary vehicle and still longer than the residence time threshold to determine the illegal parking, finally use WebGIS or radio and road warning signs and other means in real time, so that the police quickly arranged to remove these traffic barriers, also reminded the accident appeared in the rear of the vehicle on the road ahead, so as to take corresponding measures as soon as possible to avoid the occurrence of two accident. The invention provides a vision detection system for parking and anchoring vehicles based on deep convolution neural network with better robustness and higher recognition precision.

【技术实现步骤摘要】
基于深度卷积神经网络的违章停车和抛锚车视觉检测系统
本专利技术涉及人工智能、卷积神经网络和计算机视觉在违章停车和抛锚车检测方面的应用，属于智能交通领域。
技术介绍
当今交通问题已经成为全球性的“城市通病”，而违章停车是城市“交通病症”的主要表现。城市违章停车的“病因”源于多种因素，且违章停车和抛锚车直接影响着道路的畅通和行人的安全，车辆违章停车一直是交通管理的顽疾。如何规范驾驶员的驾驶行为，对违反交通规则的行为及时准确地进行取证查处，是道路监控的一个关键。道路交通事故统计分析表明，交通事件具有以下几个特征：1)20％～50％的交通事故是由于受到已发生交通事件的影响而造成的,这里已发生交通事件称为一次事件，随后发生的事故被称为二次事故；2)50％以上的二次事故是在一次事件发生后10分钟内发生的，很多情况下，这些二次事故是由于小规模的一次事件造成的，如果将一次事件信息提前提供给驶来车辆的司机，这些二次事故是能够避免的；3)在城市道路上,交通事故和车辆抛锚导致的交通拥堵占全部拥堵的20％，而且这类拥堵持续的时间更长。因此，采用交通事件自动检测系统对交通事件进行快速准确的检测、及时发现事件、采取措施及时有效地处理和消除交通事件、并将事件信息报警给后来车辆的司机就能够减少或避免交通拥堵和预防二次交通事故的发生。中国专利技术专利申请号为201310020965.2公开了一种检测违章停车的方法，包括：检测视频图像内存在运动图像的区域；提取该运动图像的区域的特征点；如果提取的特征点与预先记录的一组基准特征点匹配成功，则确定存在违章停车。据称该方法可有效识别出视频图像中存在的运动图像与之前记录的图像中的特征点是否一致，从而判断是否存在违章停车。中国专利技术专利申请号为201310020978.X公开了一种违章停车检测方法，包括步骤：指定采集的视频序列中的每帧图像的禁停区域；进行前景检测，检测出前景中的目标；跟踪检测到的目标，判断是否有目标进入所述禁停区域，是，则绘制禁停区域内的颜色直方图，否，则继续判断；监测所述颜色直方图的发生变化后持续的时长，判断该时长是否大于预设时间，是，则判定在禁停区域内有违章停车，否，则判定在禁停区域内没有违章停车。中国专利技术专利申请号为201310251206.7公开了一种基于视频技术的交通违章检测方法，包括以下步骤：1)载入当前帧的视频图像，对背景进行动态更新；2)对目标图像进行滤波处理，并进行背景差分，获得前景图像；3)二值化前景图像；4)对二值化图像进行判断，在设定的检测区内是否有车辆；若没有，则结束对该帧的处理，调到下一帧；若有车辆，则计算车辆的质心位置M；5)根据质心位置判断车辆的违章行为。中国专利技术专利申请号为201410549079.3公开了一种基于图像纹理的违章停车检测方法，该方法包括以下几个步骤，依次是获取背景、目标分割及纹理分析，获取背景主要是指确定检测区域、检测区域划分区间、构建检测区域模型及背景更新，目标分割主要是指动态阈值选择、目标分割及形态学滤波，采用动态阈值的目标分割方法可以更准确的分割出运动目标，同时使用形态学滤波中开运算可以有效去除；分割过程中产生的噪声干扰，纹理分析主要是指静止目标检测、停驶车辆识别及违章停车事件确认，通过分析图像灰度值达到稳定状态的过程判断是否有静止目标出现，同时通过图像灰度共生矩阵的熵值去除此过程中存在的误报警。中国专利技术专利申请号为201610387236.4公开了一种违章停车检测方法和装置，包括步骤：对输入的当前视频帧的禁停区域进行车辆检测得到标记的检测框，将当前视频帧中的所有检测框写入当前队列；将当前队列中的所有检测框与候选队列中的所有检测框进行相似度比较；当候选队列中的检测框与当前队列中的任一检测框的相似度大于或等于第一阈值时，判决该检测框出现在当前视频帧中，否则判决该检测框没有出现在当前视频帧中；统计候选队列中的检测框在连续多帧视频帧中出现的概率值；当概率值大于或等于设定概率值P0时，判决该检测框中的车辆为违章停车车辆；当当前队列中的检测框与候选队列中的所有检测框的相似度均小于第一阈值时，将该检测框加入候选队列中。中国专利技术专利申请号为201510064429.1公开了一种基于智能视觉的车辆违章停车检测系统及方法，检测系统为视觉传感器节点的输出端分别与图像处理终端装置、视频库管理装置相连接，图像处理终端装置与视频库管理装置相连接，图像处理终端装置、视频库管理装置共同与数据库相连接，数据库与地理信息系统相连接，视觉传感器节点、图像处理终端装置、视频库管理装置、数据库、地理信息系统构成图像处理专网，图像处理专网通过安全接入平台与数据专网相连接，客户端管理系统设置在数据专网内，具有自动检测车辆违章停车行为、自动记录违章视频、处理及时，避免因处理滞后而引发“二次事故”，保证了数据的安全性，使数据的完整性和保密性都能够得到有效的保护。上述这些违章停车视觉检测方法，主要存在着以下几个方面的问题：1)鲁棒性问题：由于复杂多变的交通环境给视频分析提出了环境适应要求，如光照改变，即白天、晚上、黄昏、多云、晴天；风引起的摄像机微小抖动；雨、雪、雾，阴影，即车身的阴影、道路静止物的阴影；多车辆遮挡情况，这些都会影响车辆对象目标分割的精度。采用背景建模和运动分割的方法鲁棒性并不十分适合交通场景中精确的车辆检测与跟踪。2)特征提取问题：识别精度的高低很大程度上取决于前景对象的建模，建模的核心问题是特征的描述与表达，其难点就是特征选择；由于上述视觉检测技术还是属于前深度学习时代的视觉检测技术，检测的鲁棒性和精度是该领域发展的一个瓶颈。最近几年深度学习在计算机视觉领域的技术得到了迅速的发展,深度学习能利用大量的训练样本和隐藏层逐层深入地学习图像的抽象信息,更全面直接地获取图像特征。数字图像是以矩阵来描述的,卷积神经网络更好地从局部信息块出发,进而描述图像的整体结构,故在计算机视觉领域,深度学习方法中大多采用卷积神经网络来解决问题。回绕着提高检测精度和检测时间，深度卷积神经网络技术从R-CNN，FastR-CNN到FasterR-CNN。具体表现为进一步精度提升、加速、端到端及更实用化，几乎覆盖了从分类到检测、分割、定位各个领域。深度学习技术运用于道路违章停车及抛锚车视觉检测将是一个非常有实际应用价值的研究领域。由于违章停车及抛锚车在视觉特征上具有很大的相似性，即在道路上有较长时间静止的车辆，且该静止的车辆周围没有其他静止的车辆；此外，违章停车及抛锚车对交通的危害影响也是相类似的，所以我们后面阐述的违章停车视觉检测也包括了抛锚车的视觉检测。当人类的视觉系统在感知运动目标时，运动目标会在视觉系统的成像平面上形成一种均匀变化的图像流，称之为光流。光流表达了图像像素随时间的变化快慢程度，是一个图像序列中的图像灰度模式的表观运动，是空间运动物体的被观测表面上的像素点运动的瞬时速度场。光流法的优点在于提供了运动目标的相对运动速度、运动姿势位置以及表面纹理结构等丰富信息，而且能够在不知道场景任何信息的情况下，甚至复杂场景下，也能检测到运动目标。因此，在检测出道路上的车辆后，可以用光流法来区分运动车辆还是静止车辆。另一方面，作为违章停车及抛锚车视觉检测的信息消费者基本上可以本文档来自技高网...

【技术保护点】
一种基于深度卷积神经网络的基于深度卷积神经网络的违章停车和抛锚车视觉检测系统，其特征在于：包括安装在城市道路上的摄像机、交通云服务器和道路交通事件自动检测系统；所述的摄像机用于获取城市各道路上的视频数据，配置在道路的上方，通过网络将道路上的视频图像数据传输给所述的交通云服务器；所述的交通云服务器用于接收从所述的摄像机所获得的道路视频数据，并将其递交给所述的道路交通事件自动检测系统进行检测和识别，最后将检测结果保存在云服务器中并以WebGIS的方式进行发布以便实现交通的控制、诱导和现场交警的快速应对及通知后方车辆及时避让以免发生二次交通事故；所述的交通事件自动检测系统包括道路交通事件检测模块和道路事件发布模块；所述的道路交通事件检测模块，包括基于Fast R‑CNN车辆检测单元、光流法静止车辆检测单元和违章停车判断单元；所述的道路事件发布模块，用于发布道路上发生的交通事件，通过WebGIS发布在事件发生的视觉检测情况，以便交警迅速安排清除这些交通障碍；通过广播和道路警示牌及时发布前方发生的交通事件，提醒后方车辆在前方道路上出现的事故情况，从而尽快采取相应措施避免二次事故的发生。

【技术特征摘要】
1.一种基于深度卷积神经网络的基于深度卷积神经网络的违章停车和抛锚车视觉检测系统，其特征在于：包括安装在城市道路上的摄像机、交通云服务器和道路交通事件自动检测系统；所述的摄像机用于获取城市各道路上的视频数据，配置在道路的上方，通过网络将道路上的视频图像数据传输给所述的交通云服务器；所述的交通云服务器用于接收从所述的摄像机所获得的道路视频数据，并将其递交给所述的道路交通事件自动检测系统进行检测和识别，最后将检测结果保存在云服务器中并以WebGIS的方式进行发布以便实现交通的控制、诱导和现场交警的快速应对及通知后方车辆及时避让以免发生二次交通事故；所述的交通事件自动检测系统包括道路交通事件检测模块和道路事件发布模块；所述的道路交通事件检测模块，包括基于FastR-CNN车辆检测单元、光流法静止车辆检测单元和违章停车判断单元；所述的道路事件发布模块，用于发布道路上发生的交通事件，通过WebGIS发布在事件发生的视觉检测情况，以便交警迅速安排清除这些交通障碍；通过广播和道路警示牌及时发布前方发生的交通事件，提醒后方车辆在前方道路上出现的事故情况，从而尽快采取相应措施避免二次事故的发生。2.如权利要求1所述的基于深度卷积神经网络的基于深度卷积神经网络的违章停车和抛锚车视觉检测系统，其特征在于：所述的基于FastR-CNN车辆检测单元用于检测在视频图像中的所有车辆，采用深度卷积神经网络快速分割出道路上的机动车辆并给出这些车辆在道路上所占的空间位置信息；使用的机动车分割及定位由两个模型组成，一个模型是生成RoI的选择性搜索网络；另一个模型是FastR-CNN机动车目标检测网络；所述的选择性搜索网络，即RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的目标建议框的目标指的是机动车辆对象；对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即GroundTruth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签；分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；遵循FastR-CNN中的多任务损失，最小化目标函数，对一个图像的损失函数定义为：这里，i是一个anchor的索引，pi是anchor是第i目标的预测概率，如果anchor为正，GT标签就是1，如果anchor为负，就是0；ti是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，Ncls是cls项的归一化值为mini-batch的大小，Nreg是reg项的归一化值为anchor位置的数量，分类损失函数Lcls是两个类别，即机动车辆对象目标与非机动车辆目标的对数损失：式中，Lcls为分类损失函数，Pi为anchor是第i目标的预测概率；Pi*为真正目标包围盒的第i目标的预测概率；对于回归损失函数Lreg，用以下函数定义：式中，Lreg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smoothL1；式中，smoothL1为smoothL1损失函数，x为变量；FastR-CNN网络，在输入图像经过深度卷积神经网络后可以得到特征图，依据特征图以及RPN网络则可以得到相应的RoIs，最后则通过RoI池化层；其中RoI，即感兴趣区域，指的就是机动车的区域；对于FastR-CNN网络，输入是N个特征映射和R个RoI；N个特征映射来自于最后一个卷积层，每个特征映射的大小都是w×h×c；每个RoI是一个元组(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐标，h,w分别是高和宽；输出则由最大池化得到的特征映射；将原图中的RoI与特征图中的块对应起来；并将特征图下采样为固定大小，然后再传入全连接。3.如权利要求2所述的基于深度卷积神经网络的基于深度卷积神经网络的违章停车和抛锚车视觉检测系统，其特征在于：所述选择性搜索网络和FastR-CNN都是独立训练的，使用4步训练算法，通过交替优化来学习共享的特征；第一步，依上述训练RPN，该网络用ImageNet预训练的模型初始化，并端到端微调用于区域建议任务；第二步，利用第一步的RPN生成的建议框，由FastR-CNN训练一个单独的检测网络，这个检测网络同样是由ImageNet预训练的模型初始化的，这时候两个网络还没有共享卷积层；第三步，用检测网络初始化RPN训练，但固定共享的卷积层，并且只微调RPN独有的层，现在两个网络共享卷积层了；第四步，保持共享的卷积层固定，微调FastR-CNN的fc，即全连接层；这样，两个网络共享相同的卷积层，构成一个统一的网络；通过上述两个网络的处理，检测出一帧视频图像中的机动车辆并对其的大小及空间位置进行了框定，即得到了车辆的大小及空间位置，其r,c是车辆在图像中的左上角坐标，...

【专利技术属性】
技术研发人员：汤一平，吴越，钱小鸿，柳展，
申请(专利权)人：银江股份有限公司，
类型：发明
国别省市：浙江,33