斑马线车辆不礼让行人行为的视觉检测系统技术方案

一种斑马线车辆不礼让行人行为的视觉检测系统，包括安装在覆盖整个斑马线区域的监控摄像机、用于抓拍车辆图像的高清抓拍摄像机、交通云服务器和视觉检测子系统；视觉检测子系统包括斑马线区域检测模块、不礼让行人行为检测模块、不礼让行人行为的车辆图像抓拍模块、车辆类型识别模块、车牌定位和识别模块和违规检测报告生成模块；交通云服务器用于接收从监控摄像机所获得的整个斑马线区域内的视频数据，并将其递交给视觉检测子系统进行不礼让行人行为检测并对违规车辆进行身份识别；将检测和识别结果合并现场抓拍三幅不礼让行人行为的车辆图像及过程视频图像自动生成违规检测报告保存。本发明专利技术检测精度较高、鲁棒性较高。

A visual inspection system for pedestrians' behavior in a zebra line vehicle

The visual detection system for a vehicle crossing not comity pedestrian behavior, including surveillance cameras mounted on, covering the entire region of the zebra crossing for the capture of the vehicle image capture HD camera, traffic cloud server and visual inspection system; visual inspection system includes the zebra line area detection module, detection module, not comity pedestrian behavior yield behavior of the vehicle image capture module, vehicle type recognition module, license plate location and recognition module and report generation module of traffic violation detection; cloud server for the received video data obtained from surveillance cameras throughout the zebra crossing region, and submit it to the system of visual inspection were not comity pedestrian behavior detection and identification identification of illegal vehicles; the detection and recognition results are combined to capture the scene three not comity pedestrian behavior of the car The image and process video image automatically generates the violation detection report to be saved. The invention has high detection precision and high robustness.

【技术实现步骤摘要】
斑马线车辆不礼让行人行为的视觉检测系统
本专利技术涉及人工智能、卷积神经网络和计算机视觉在斑马线上车辆不礼让行人行为的检测方面的应用，属于智能交通领域。
技术介绍
《道路交通安全法》第四十七条规定，机动车行经人行横道时，应当减速行驶；遇到行人正在通过人行横道时，应当停车让行。机动车行经没有交通信号的道路时，遇行人横过道路，应当避让。但是在实际生活中，部分司机却不遵守该规定，有的甚至看到行人正在通过人行横道时，加速鸣笛通过，给交通安全带来隐患。每年在斑马线上由于驾驶员没有礼让行人而造成的死亡事故超过千人次。就连全国在斑马线上车辆礼让行人做得最好的城市杭州，各种车辆的礼让率也只有90％～97％。“礼让斑马线”，是《道路交通安全法》的明文规定，对遇行人正在通行人行横道时未停车让行的行为，交警将依法处以罚款100元，记3分的处罚，造成交通事故的，罚款200元，记3分。《道路交通安全法》明确规定，行人、机动车在行经有信号灯的斑马线时，应按照信号灯指示通行。机动车在行经无信号灯控制的斑马线时，必须在斑马线外停车让行。如果机动车在斑马线前有鸣笛催促或者行人、车辆同处斑马线内，且行人在机动车前方，则认定为不礼让行人。中国专利技术专利申请号为201510058281.0公开了一种违规车让人行为实时检测方法，该方法包括以下步骤：1)将视频数据解析成画面帧信息；2)检测画面中的斑马线区域；3)检测画面中车辆位置；4)对车辆进行速度检测和轨迹追踪；5)当有车辆越过斑马线且行驶速度超过阈值的时候，对斑马线两端的位置进行行人检测；6)若斑马线两端有行人等待，则高速越过斑马线的车辆为没有遵守车让人规定的违规车辆；7)对违规的车辆进行车牌识别。中国专利技术专利申请号为201410630320.5公开了机动车斑马线未礼让行人自动抓拍的识别方法，该方法包括系统管理子系统，用于配置和管理机动车斑马线未礼让行人的自动抓拍；图像采集子系统，用于采集斑马线和机动车道区域的图像数据；违章抓拍子系统，在斑马线区域对未礼让行人的机动车进行抓拍和取证；数据存储子系统，用于保存原始图像及抓拍的违章图像和视频；网络传输子系统，用于将抓拍的图像和视频数据上传至交警平台或服务器。中国专利技术专利申请号为201210040225.0公开了机动车斑马线不礼让行人行为抓拍系统及其方法，该方法，包括：行人图像采集单元，用于采集斑马线上的行人图像；机动车图像采集单元，用于采集经过斑马线的机动车道上的机动车图像；行人检测单元，用于检测行人图像中的行人人数；机动车检测与抓拍单元，用于根据机动车图像采集单元所采集的机动车图像实时检测机动车，当检测到有机动车位于斑马线上且行人人数大于或等于预定门限时，从机动车图像中提取至少三张取证照片。上述视觉检测技术属于前深度学习时代的视觉检测技术，存在着检测精度和检测鲁棒性不高的问题。此外，上述几个专利内容只是披露了一些技术概要，实际应用中尚有很多技术细节和关键问题尚未涉及，尤其是针对《道路交通安全法》的各种细节问题的解决方案。最近几年深度学习在计算机视觉领域的技术得到了迅速的发展,深度学习能利用大量的训练样本和隐藏层逐层深入地学习图像的抽象信息,更全面直接地获取图像特征。数字图像是以矩阵来描述的,卷积神经网络更好地从局部信息块出发,进而描述图像的整体结构,故在计算机视觉领域,深度学习方法中大多采用卷积神经网络来解决问题。回绕着提高检测精度和检测时间，深度卷积神经网络技术从R-CNN，FasterR-CNN到FastererR-CNN。具体表现为进一步精度提升、加速、端到端及更实用化，几乎覆盖了从分类到检测、分割、定位各个领域。深度学习技术运用于斑马线车辆不礼让行人视觉检测将是一个非常有实际应用价值的研究领域。当人类的视觉系统在感知运动目标时，运动目标会在视觉系统的成像平面上形成一种均匀变化的图像流，称之为光流。光流表达了图像像素随时间的变化快慢程度，是一个图像序列中的图像灰度模式的表观运动，是空间运动物体的被观测表面上的像素点运动的瞬时速度场。光流法的优点在于提供了运动目标的相对运动速度、运动姿势位置以及表面纹理结构等丰富信息，而且能够在不知道场景任何信息的情况下，甚至复杂场景下，也能检测到运动目标。因此，在检测出道路上的运动对象后，可以用光流法来识别运动对象的运行方向和运动速度。
技术实现思路
为了克服已有斑马线上车辆不礼让行人行为的视觉检测方式的检测精度较低、检测鲁棒性不高的不足，本专利技术提供一种检测精度较高、鲁棒性较高的基于多任务深度卷积神经网络的斑马线上车辆不礼让行人行为的视觉检测系统。本专利技术解决其技术问题所采用的技术方案是：一种斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：包括安装在覆盖整个斑马线区域的监控摄像机、用于抓拍上行道路和下行道路上的车辆图像的高清抓拍摄像机、交通云服务器和用于检测在斑马线上车辆不礼让行人行为的视觉检测子系统；所述的监控摄像机用于获取整个斑马线区域内的视频数据，配置在斑马线的上方，通过网络将道路上的视频图像数据传输给所述的交通云服务器；所述的视觉检测子系统包括斑马线区域检测模块、不礼让行人行为检测模块、不礼让行人行为的车辆图像抓拍模块、车辆类型识别模块、车牌定位和识别模块和违规检测报告生成模块；所述的不礼让行人行为检测模块用于根据道路交通安全法的规定检测在斑马线上车辆不礼让行人的行为，包括：过斑马线的行人检测单元、斑马线附近的车辆检测单元、光流法运动对象检测单元、过斑马线的行人行走方向识别单元、礼让车道计算单元、斑马线附近的车辆行驶速度检测单元和违规车辆判定单元；所述的高清抓拍摄像机用于抓拍不礼让行人行为的车辆图像，配置在行车线的前上方，当检测到有车辆不礼让行人行为时，启动所述的高清抓拍摄像机连续抓拍该车辆图像并传输给所述的交通云服务器；所述的交通云服务器用于接收从所述的监控摄像机所获得的整个斑马线区域内的视频数据，并将其递交给所述的视觉检测子系统进行不礼让行人行为检测并对违规车辆进行身份识别；将检测和识别结果合并现场抓拍三幅不礼让行人行为的车辆图像及过程视频图像自动生成违规检测报告保存。进一步，所述的斑马线区域检测模块用于检测出在所述的摄像机1的视场内的斑马线区域以及车道线，该模块运行于系统开始运行时期，采用FasterR-CNN检测和定位出道路上的斑马线区域和车道线；一旦检测结束就得到了车辆不礼让行人行为的关注区域以及车道线，然后将关注区域按车道线划分为若干子区域，每个子区域都与车道相对应；如果上下行道路上共有6个车道，从上行方向开始有1车道、2车道、3车道；到下行方向有4车道、5车道和6车道；所述的过斑马线的行人检测单元用于检测在所述的斑马线区域检测模块中检测得到的关注区域内检测行人并确定其空间位置；如果没有行人对象，就设置一个标志FFree＝1；如果有超过设定人数(5人)的行人且分布在不同车道区域，就设置一个标志FStop＝1；反之就设置一个标志FPedestrians＝1；接着用光流法计算行人的行走方向，然后根据行人所处的空间位置确定其处在哪个车道区域内；接着，根据行人的行走方向及所处的区域位置确定礼让的车道；行人的视觉检测采用FasterR-CNN深度卷积神经网络；再进一步，所述的斑马线附近的本文档来自技高网...

【技术保护点】
一种斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：包括安装在覆盖整个斑马线区域的监控摄像机、用于抓拍上行道路和下行道路上的车辆图像的高清抓拍摄像机、交通云服务器和用于检测在斑马线上车辆不礼让行人行为的视觉检测子系统；所述的监控摄像机用于获取整个斑马线区域内的视频数据，配置在斑马线的上方，通过网络将道路上的视频图像数据传输给所述的交通云服务器；所述的视觉检测子系统包括斑马线区域检测模块、不礼让行人行为检测模块、不礼让行人行为的车辆图像抓拍模块、车辆类型识别模块、车牌定位和识别模块和违规检测报告生成模块；所述的不礼让行人行为检测模块用于根据道路交通安全法的规定检测在斑马线上车辆不礼让行人的行为，包括：过斑马线的行人检测单元、斑马线附近的车辆检测单元、光流法运动对象检测单元、过斑马线的行人行走方向识别单元、礼让车道计算单元、斑马线附近的车辆行驶速度检测单元和违规车辆判定单元；所述的高清抓拍摄像机用于抓拍不礼让行人行为的车辆图像，配置在行车线的前上方，当检测到有车辆不礼让行人行为时，启动所述的高清抓拍摄像机连续抓拍该车辆图像并传输给所述的交通云服务器；所述的交通云服务器用于接收从所述的监控摄像机所获得的整个斑马线区域内的视频数据，并将其递交给所述的视觉检测子系统进行不礼让行人行为检测并对违规车辆进行身份识别；将检测和识别结果合并现场抓拍三幅不礼让行人行为的车辆图像及过程视频图像自动生成违规检测报告保存。...

【技术特征摘要】
1.一种斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：包括安装在覆盖整个斑马线区域的监控摄像机、用于抓拍上行道路和下行道路上的车辆图像的高清抓拍摄像机、交通云服务器和用于检测在斑马线上车辆不礼让行人行为的视觉检测子系统；所述的监控摄像机用于获取整个斑马线区域内的视频数据，配置在斑马线的上方，通过网络将道路上的视频图像数据传输给所述的交通云服务器；所述的视觉检测子系统包括斑马线区域检测模块、不礼让行人行为检测模块、不礼让行人行为的车辆图像抓拍模块、车辆类型识别模块、车牌定位和识别模块和违规检测报告生成模块；所述的不礼让行人行为检测模块用于根据道路交通安全法的规定检测在斑马线上车辆不礼让行人的行为，包括：过斑马线的行人检测单元、斑马线附近的车辆检测单元、光流法运动对象检测单元、过斑马线的行人行走方向识别单元、礼让车道计算单元、斑马线附近的车辆行驶速度检测单元和违规车辆判定单元；所述的高清抓拍摄像机用于抓拍不礼让行人行为的车辆图像，配置在行车线的前上方，当检测到有车辆不礼让行人行为时，启动所述的高清抓拍摄像机连续抓拍该车辆图像并传输给所述的交通云服务器；所述的交通云服务器用于接收从所述的监控摄像机所获得的整个斑马线区域内的视频数据，并将其递交给所述的视觉检测子系统进行不礼让行人行为检测并对违规车辆进行身份识别；将检测和识别结果合并现场抓拍三幅不礼让行人行为的车辆图像及过程视频图像自动生成违规检测报告保存。2.如权利要求1所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的斑马线区域检测模块用于检测出在所述的监控摄像机的视场内的斑马线区域以及车道线，该模块运行于系统开始运行时期，采用FasterR-CNN检测和定位出道路上的斑马线区域和车道线；一旦检测结束就得到了车辆不礼让行人行为的关注区域以及车道线，然后将关注区域按车道线划分为若干子区域，每个子区域都与车道相对应。3.如权利要求2所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的过斑马线的行人检测单元用于检测在所述的斑马线区域检测模块中检测得到的关注区域内检测行人并确定其空间位置；采用FasterR-CNN检测和定位出道路上的斑马线区域内的行人对象；如果没有行人对象，就设置一个标志FFree＝1；如果有超过设定人数的行人且分布在不同车道区域，就设置一个标志FStop＝1；反之就设置一个标志FPedestrians＝1；接着用光流法计算行人的行走方向，然后根据行人所处的空间位置确定其处在哪个车道区域内；接着，根据行人的行走方向及所处的区域位置确定礼让的车道；行人的视觉检测采用FasterR-CNN深度卷积神经网络。4.如权利要求3所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的斑马线附近的车辆检测单元用于检测在斑马线上及附近的车辆；首先检查标志，当FFree＝1时，不对车辆进行检测，直接跳过结束检测；反之，采用FasterR-CNN深度卷积神经网络检测出斑马线上及附近的所有车辆并得到其空间位置；当标志FStop＝1时，表明所有车道都必须礼让行人，用光流法分别计算车辆的车速，如果车速大于某个阈值就初步判定为其是违规车辆；当FPedestrians＝1时，根据礼让车道的信息；检查在礼让车道上的车辆运行状态，具体用光流法计算该车辆的车速，如果车速大于某个阈值就初步判定为其是违规车辆。5.如权利要求4所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述的斑马线区域检测模块、所述的过斑马线的行人检测单元和所述的斑马线附近的车辆检测单元共享同一个FasterR-CNN的深度卷积神经网络，采用深度卷积神经网络快速分割出道路上的机动车辆和黄线并给出这些车辆和黄线在道路上所占的空间位置信息；使用的斑马线区域、车道线、行人、车辆的分割及定位由两个模型组成，一个模型是生成RoI的选择性搜索网络；另一个模型是FasterR-CNN斑马线区域、车道线、行人、车辆检测网络；所述的选择性搜索网络，即RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的目标建议框的目标指的是斑马线区域、车道线、行人、车辆对象；对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即GroundTruth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签；分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；遵循FasterR-CNN中的多任务损失，最小化目标函数；对一个图像的损失函数定义为：这里，i是一个anchor的索引，pi是anchor是第i目标的预测概率，如果anchor为正，GT标签就是1，如果anchor为负，就是0；ti是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，Ncls是cls项的归一化值为mini-batch的大小，Nreg是reg项的归一化值为anchor位置的数量，分类损失函数Lcls是五个类别，即车辆目标、行人目标、斑马线区域、车道线与道路背景的对数损失：式中，Lcls为分类损失函数，Pi为anchor是第i目标的预测概率；Pi*为真正目标包围盒的第i目标的预测概率；对于回归损失函数Lreg，用以下函数定义：式中，Lreg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smoothL1；式中，smoothL1为smoothL1损失函数，x为变量；FasterR-CNN网络，在输入图像经过深度卷积神经网络后可以得到特征图，依据特征图以及RPN网络则可以得到相应的RoIs，最后则通过RoI池化层；其中RoI，即感兴趣区域，指的就是车辆目标、行人目标、斑马线区域、车道线；对于FasterR-CNN网络，输入是N个特征映射和R个RoI；N个特征映射来自于最后一个卷积层，每个特征映射的大小都是w×h×c；每个RoI是一个元组(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐标，h,w分别是高和宽；输出则由最大池化得到的特征映射；将原图中的RoI与特征图中的块对应起来；将特征图下采样为固定大小，然后再传入全连接。6.如权利要求5所述的斑马线车辆不礼让行人行为的视觉检测系统，其特征在于：所述选择性搜索网络和FastR-CNN都是独立训练的，使用4步训练算法，通过交替优化来学习共享的特征；第一步，依上述训练RPN，该网络用ImageNet预训练的模型初始化，并端到端微调用于区域建议任务；第二步，利用第一步的RPN生成的建议框，由FastR-CNN训练一个单独的检测网络，这个检测网络同样是由ImageNet预训练的模型初始化的，这时候两个网络还没有共享卷积层；第三步，用检测网络初始化RPN训练，但固定共享的卷积层，并且只微调RPN独有的层，现在两个网络共享卷积层了；第四步，保持共享的卷积层固定，微调FastR-CNN的fc，即全连接层；这样，两个网络共享相同的卷积层，构成一个统一的网络；通过上述两个网络的处理，检测出一帧视频图像中的车辆目标、行人目标、斑马线区域、车道线并对它们的大小及空间位置进行了框定，即得到了车辆目标、行人目标、斑马线区域、车道线的大小及空间位置；其rp,cp是行人在图像中的左上角坐标，hp,wp分别是行人在图像平面的投影大小，即高和宽；其rv,cv是车辆在图像中的左上角坐标，hv,wv分别是车辆在图像平面的投影大小，即高和宽；其rz,cz是斑马线区域在图像中的左上角坐标，hz,wz...

【专利技术属性】
技术研发人员：汤一平，王辉，吴越，陈才君，
申请(专利权)人：银江股份有限公司，
类型：发明
国别省市：浙江,33