基于深度卷积神经网络的交通拥堵视觉检测系统技术方案

一种基于深度卷积神经网络的交通拥堵视觉检测方法，包括安装在城市道路上的摄像机、交通云服务器和道路交通拥堵检测系统；摄像机用于获取城市各道路上的视频数据，配置在道路的上方，通过网络将道路上的视频图像数据传输给交通云服务器；交通云服务器用于接收从摄像机所获得的道路视频数据，并将其递交给道路交通拥堵检测系统进行检测和识别，最后将检测结果保存在云服务器中并以WebGIS的方式进行发布以便实现交通的控制、诱导和现场交警的快速应对；道路交通拥堵检测系统包括道路及行车方向定制模块、道路拥堵检测模块和道路拥堵状况发布模块。本发明专利技术检测精度较高、实时性较好、检测结果直观明了。

Traffic congestion visual detection system based on deep convolution neural network

A traffic jam depth vision detection method based on convolutional neural network, including cameras, traffic cloud server and road traffic congestion detection system installed in the city on the road; the camera used to obtain video data of each city on the road, arranged on the top of the road, through the network video image data transmission on the road traffic to the cloud server traffic road; cloud server for receiving video data obtained from the camera, and then submit it to the road traffic congestion detection system for detection and identification, finally the detection result will be saved in the cloud server and a rapid response to the induction and control, the scene of the traffic police in the way of WebGIS release in order to achieve traffic; traffic congestion detection system including the release of roads and traffic direction customization module, road congestion detection module and road congestion Modular\u3002 The detection precision is high, the real-time performance is better, and the detection result is intuitionistic.

【技术实现步骤摘要】
基于深度卷积神经网络的交通拥堵视觉检测系统
本专利技术涉及人工智能、卷积神经网络和计算机视觉在交通拥堵检测方面的应用，属于智能交通领域。
技术介绍
当今交通问题已经成为全球性的“城市通病”，而交通拥堵是城市“交通病症”的主要表现。城市交通拥堵的“病因”源于多种因素，且交通拥堵直接影响着人们的出行质量，特别是利用车辆交通的人们。道路车辆拥挤，交通事故频发，交通环境恶化，能源紧张，环境污染不断加重，这些日益严重交通问题与现代化交通的基本的理念，即通达、有序、安全、舒适、低能耗、低污染等要求是完全相违背的。现代化交通系统的评价标准是安全、畅通、节能。因此把握城市道路交通运行状况中服务水平如何，需要建立起一种科学的、客观的评价方法。但是由于目前缺少一种比较科学有效的对道路交通服务水平进行评价的体系和有效的道路交通状态检测手段，尤其是在道路交通拥堵检测方面。交通信息采集技术被认为是智能交通中一项重中之重的关键技术，目前常用的交通信息采集技术有地感线圈、磁敏传感器、超声波传感器、微波、GPS和视觉传感器；由于地感线圈、磁敏、超声波、微波等交通信息检测传感器需要埋设在道路地下面，安装与维护时必须破坏原有路面，影响了道路交通，同时我国的道路由于车辆的超载等原因造成的路面损坏必须时常对埋在道路下面的传感器进行维护；另外这些检测手段只能感知出道路上的某个点或者某条线上的所经过的车辆，因此只能在传感器的设置地点的通过车辆的速度间接地推定拥堵状况；因此上述的检测手段存在着安装维护不方便、投资成本高、抗干扰能力差和感知范围有限等缺陷。另外，这些检测手段难以对道路上的静止车辆进行检测。视觉传感器则是一种非接触式的交通流检测手段，它模拟人类视觉原理，融合计算机技术和图像处理技术，通过视频信号来检测交通流和道路拥堵状态，是近年来逐步发展起来的新型道路交通检测系统。但是目前对道路交通状态的视频检测普遍采用分析跟踪道路上车辆的检测和统计方法，这种检测方法需要花费很大计算资源，难以同时获取各种交通基本参数和道路服务水平等反映全息的交通状态。中国专利技术专利申请号为201110108851.4公开了一种基于视频分析技术的交通拥塞检测方法，在视频分割及关键帧提取的基础上通过获取视频镜头的平均相异度、关键帧数、平均光流场能量三个拥堵特征量，采用多分类SVM方法实现交通拥堵检测。该技术还是属于前深度学习时代的视觉检测技术，存在着检测精度不高的问题。中国专利技术专利申请号为201510969912.4公开了一种基于视频的城市道路交通拥堵检测系统，主要包括读取视频以及预处理视频，以获取视频帧；对获取的视频帧进行背景建模，获得背景帧序列和前景帧序列；对与背景帧序列同帧的前景帧序列进行检测并提取运动目标，并在平滑滤波处理后按前景帧序列保存单帧前景图片；按前景帧序列顺序播放单帧前景图片并对运动目标进行滤波跟踪，以获得道路中车辆情况；根据车辆情况和/或运动目标的前景帧序列，计算并得出交通参数。该技术还是属于前深度学习时代的视觉检测技术，存在着检测精度不高的问题。此外，对于交通拥堵检测通过计算交通参数方式来判断，这种判断方式需要有多个交通参数支持，拥堵状态判别的准确性受相关交通流参数获取的准确性的影响。道路拥堵视觉检测的核心是道路上静止车辆的检测。由于我国城市道路中的人车和机动车和非机动车的混杂特殊情况，加上道路的运行的车辆车型种类繁多，通过视觉的方式要准确无误地检测道路上的所有车辆并非容易之事，还需进一步判断这些车辆是运动的还是静止的，检测的难度会更大。最近几年深度学习在计算机视觉领域的技术得到了迅速的发展,深度学习能利用大量的训练样本和隐藏层逐层深入地学习图像的抽象信息,更全面直接地获取图像特征。数字图像是以矩阵来描述的,卷积神经网络更好地从局部信息块出发,进而描述图像的整体结构,故在计算机视觉领域,深度学习方法中大多采用卷积神经网络来解决问题。回绕着提高检测精度和检测时间，深度卷积神经网络技术从R-CNN，FastR-CNN到FasterR-CNN。具体表现为进一步精度提升、加速、端到端及更实用化，几乎覆盖了从分类到检测、分割、定位各个领域。深度学习技术运用于道路拥堵视觉检测将是一个非常有实际应用价值的研究领域。当人类的视觉系统在感知运动目标时，运动目标会在视觉系统的成像平面上形成一种均匀变化的图像流，称之为光流。光流表达了图像像素随时间的变化快慢程度，是一个图像序列中的图像灰度模式的表观运动，是空间运动物体的被观测表面上的像素点运动的瞬时速度场。光流法的优点在于提供了运动目标的相对运动速度、运动姿势位置以及表面纹理结构等丰富信息，而且能够在不知道场景任何信息的情况下，甚至复杂场景下，也能检测到运动目标。因此，在检测出道路上的车辆后，可以用光流法来区分运动车辆还是静止车辆。要实现检测精度高、检测实时性好、检测结果直观明了的关键是要通过直接的、简单明了的、计算简单的、可视化的道路交通检测手段直接得到某条道路交通是否处于以下6种状态信息，即道路交通状态处在服务水平A：畅通；服务水平B：基本畅通；服务水平C：初步拥堵；服务水平D：拥堵：服务水平E：严重拥堵；服务水平F：局部道路和大面积瘫痪。我国的城市交通将在很长一段时间内处于混合交通状态。在混合交通条件下服务水平指标数据具有以下特点：(1)数据采集对象的多样性：既需要采集路段交通数据又需要采集交叉口内部交通数据，同时在一次观测中往往需要同时观测交通个体的多种行为及其参数；(2)数据的时空跨越性强：为了得到不同交通条件下不同服务水平等级的指标数据，检测需要采集在一定时间与空间跨度上的数据，而且需要是在线数据。实现实施方便的关键是要采用不破坏路面或者不涉及路面施工的一种道路友好型的、非接触式的、大面积的道路交通状态检测手段，同时尽可能利用现有的设备和投资；道路的服务状态是道路状况、运行状况、交通设施状况和交通安全状况等多种因素的综合体现，虽然通过检测这些诸多状态数据通过统计等计算是可以得到道路的服务水平状态信息的，但是最好是能直接明了、简单方便、经济实时地获得道路的服务状态信息和各种交通基本数据。
技术实现思路
为了克服已有交通拥堵检测方式的检测精度较低、实时性较差的不足，本专利技术提供一种检测精度较高、实时性较好、检测结果直观明了的基于深度卷积神经网络的交通拥堵视觉检测系统。本专利技术解决其技术问题所采用的技术方案是：一种基于深度卷积神经网络的交通拥堵视觉检测系统，包括安装在城市道路上的摄像机、交通云服务器和道路交通拥堵检测系统；所述的摄像机用于获取城市各道路上的视频数据，配置在道路的上方，通过网络将道路上的视频图像数据传输给所述的交通云服务器；所述的交通云服务器用于接收从所述的摄像机所获得的道路视频数据，并将其递交给所述的道路交通拥堵检测系统进行检测和识别，最后将检测结果保存在云服务器中并以WebGIS的方式进行发布以便实现交通的控制、诱导和现场交警的快速应对；所述的道路交通拥堵检测系统包括道路及行车方向定制模块、道路拥堵检测模块和道路拥堵状况发布模块；所述的道路及行车方向定制模块用于定制在摄像机视场内道路的车道，具体做法是在视频图像中根据实际道路上的行车线及行车方向画出虚拟车道，虚拟车道以左向右进行排列，命名最左的车本文档来自技高网...

【技术保护点】
一种基于深度卷积神经网络的交通拥堵视觉检测系统，其特征在于：包括安装在城市道路上的摄像机、交通云服务器和道路交通拥堵检测系统；所述的摄像机用于获取城市各道路上的视频数据，配置在道路的上方，通过网络将道路上的视频图像数据传输给所述的交通云服务器；所述的交通云服务器用于接收从所述的摄像机所获得的道路视频数据，并将其递交给所述的道路交通拥堵检测系统进行检测和识别，最后将检测结果保存在云服务器中并以WebGIS的方式进行发布以便实现交通的控制、诱导和现场交警的快速应对；所述的道路交通拥堵检测系统包括道路及行车方向定制模块、道路拥堵检测模块和道路拥堵状况发布模块；所述的道路及行车方向定制模块用于定制在摄像机视场内道路的车道，在视频图像中根据实际道路上的行车线及行车方向画出虚拟车道，虚拟车道以左向右进行排列，命名最左的车道为1车道，接着与此相邻的右边车道为2车道，…,根据车道的数量N规定最右边的车道为N车道；所述的道路拥堵检测模块，包括了基于Fast R‑CNN车辆检测单元、光流法静止车辆检测单元、按车道统计静止车辆单元和道路拥堵计算单元。

【技术特征摘要】
1.一种基于深度卷积神经网络的交通拥堵视觉检测系统，其特征在于：包括安装在城市道路上的摄像机、交通云服务器和道路交通拥堵检测系统；所述的摄像机用于获取城市各道路上的视频数据，配置在道路的上方，通过网络将道路上的视频图像数据传输给所述的交通云服务器；所述的交通云服务器用于接收从所述的摄像机所获得的道路视频数据，并将其递交给所述的道路交通拥堵检测系统进行检测和识别，最后将检测结果保存在云服务器中并以WebGIS的方式进行发布以便实现交通的控制、诱导和现场交警的快速应对；所述的道路交通拥堵检测系统包括道路及行车方向定制模块、道路拥堵检测模块和道路拥堵状况发布模块；所述的道路及行车方向定制模块用于定制在摄像机视场内道路的车道，在视频图像中根据实际道路上的行车线及行车方向画出虚拟车道，虚拟车道以左向右进行排列，命名最左的车道为1车道，接着与此相邻的右边车道为2车道，…,根据车道的数量N规定最右边的车道为N车道；所述的道路拥堵检测模块，包括了基于FastR-CNN车辆检测单元、光流法静止车辆检测单元、按车道统计静止车辆单元和道路拥堵计算单元。2.如权利要求1所述的基于深度卷积神经网络的交通拥堵视觉检测系统，其特征在于：所述的基于FastR-CNN车辆检测单元用于检测在视频图像中的所有车辆，具体做法是采用深度卷积神经网络快速分割出道路上的机动车辆并给出这些车辆在道路上所占的空间位置信息；使用的机动车分割及定位由两个模型组成，一个模型是生成RoI的选择性搜索网络；另一个模型是FastR-CNN机动车目标检测网络；所述的选择性搜索网络，即RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的目标建议框的目标指的是机动车辆对象；对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即GroundTruth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签；分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；有了这些定义，遵循FastR-CNN中的多任务损失，最小化目标函数。对一个图像的损失函数定义为：这里，i是一个anchor的索引，pi是anchor是第i目标的预测概率，如果anchor为正，GT标签就是1，如果anchor为负，就是0；ti是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，Ncls是cls项的归一化值为mini-batch的大小，Nreg是reg项的归一化值为anchor位置的数量，分类损失函数Lcls是两个类别，即机动车辆对象目标与非机动车辆目标的对数损失：式中，Lcls为分类损失函数，Pi为anchor是第i目标的预测概率；Pi*为真正目标包围盒的第i目标的预测概率；对于回归损失函数Lreg，用以下函数定义：式中，Lreg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smoothL1；式中，smoothL1为smoothL1损失函数，x为变量；FastR-CNN网络，在输入图像经过深度卷积神经网络后可以得到特征图，依据特征图以及RPN网络则可以得到相应的RoIs，最后则通过RoI池化层；其中RoI，即感兴趣区域，指的就是机动车的区域；对于FastR-CNN网络，输入是N个特征映射和R个RoI；N个特征映射来自于最后一个卷积层，每个特征映射的大小都是w×h×c；每个RoI是一个元组(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐标，h,w分别是高和宽；输出则由最大池化得到的特征映射；将原图中的RoI与特征图中的块对应起来；将特征图下采样为固定大小，然后再传入全连接。3.如权利要求2所述的基于深度卷积神经网络的交通拥堵视觉检测系统，其特征在于：所述选择性搜索网络和FastR-CNN都是独立训练的，使用4步训练算法，通过交替优化来学习共享的特征；第一步，依上述训练RPN，该网络用ImageNet预训练的模型初始化，并端到端微调用于区域建议任务；第二步，利用第一步的RPN生成的建议框，由FastR-CNN训练一个单独的检测网络，这个检测网络同样是由ImageNet预训练的模型初始化的，这时候两个网络还没有共享卷积层；第三步，用检测网络初始化RPN训练，但固定共享的卷积层，并且只微调RPN独有的层，现在两个网络共享卷积层了；第四步，保持共享的卷积层固定，微调FastR-CNN的fc，即全连接层；这样，两个网络共享相同的卷积层，构成一个统一的网络；通过上述两个网络的处理，检测出一帧视频图像中的机动车辆并对其的大小及空间位置进行了框定，即得到了车辆的大小及空间位置，其r,c是车辆...

【专利技术属性】
技术研发人员：汤一平，王辉，钱小鸿，陈才君，
申请(专利权)人：银江股份有限公司，
类型：发明
国别省市：浙江,33