一种基于深度卷积神经网络的车流密度估计方法技术

本发明专利技术提出了一种基于深度卷积神经网络的车流密度估计方法，包括利用摄像机收集道路视频图像，通过图像预处理，将多尺度金字塔图像块送入卷积神经网络，提取由底层简单到高层抽象的特征，得到各种尺度车流图像的分布密度图；再用全连接网络层学习多尺度分布密度图到整体图像分布密度图以及图像总车辆个数的映射；对卷积神经网络输出的视频图像的分布密度图划分感兴趣区域，对感兴趣区域像素求和得到单车道或多车道车辆数；通过区域长度计算得到区域瞬时车流密度。本发明专利技术大大提高了车辆计数和车流密度估计的准确性和实时性。

A method of traffic density estimation based on depth convolution neural network

The invention provides a method for depth estimation based on convolutional neural network traffic flow density, including the collection of road video image using the camera, through image preprocessing, the multi-scale Pyramid image blocks into the convolutional neural network, extracting features from bottom to top is simple and abstract, get the distribution map of various scale traffic images; then connect to the network layer learning multi-scale distribution density map to map the whole image and the image density distribution map of total vehicle number; density distribution graph partitioning video image output of the convolutional neural network ROI region of interest pixel sum lane or multi Lane vehicle number; get the regional instantaneous traffic density by region length calculation. The invention greatly improves the accuracy and the real-time performance of vehicle counting and traffic density estimation.

【技术实现步骤摘要】
一种基于深度卷积神经网络的车流密度估计方法
本专利技术涉及一种基于深度卷积神经网络的车流密度估计方法，属于智能交通

技术介绍
随着科学技术的发展和人民生活水平的提高，车已经成为了人们出行、运输不可或缺的交通工具。道路上各种机动车辆随处可见，汽车交通让人们感受现代化生活便捷舒适的同时，也体现出了道路设施的滞后性与有限性。交通拥堵会带来车辆等待时间长，交通事故的发生，以及环境污染等一系列不容忽视的问题。为了解决以上问题，智能交通应运而生。车辆计数与车流密度检测是智能交通的重要内容。车辆个数和车流密度是反映道路上车辆拥挤程度的最直观的指标，直接反映了道路上车辆的密集程度和交通堵塞状况。车辆个数和车流密度同时也对道路通行能力的研究十分有用。此外，随着道路上车辆的增多，汽车尾气污染已经成为大气污染的重要组成部分，严重威胁着人们的身体健康和生活环境，对于汽车尾气的相关研究已经迫在眉睫，刻不容缓。尾气的污染和道路的阻塞程度也有一定的关系，车辆拥堵程度大，阻塞时间长，尾气排放量增大，对环境的影响也增大，因此，车流密度和车辆数与地区汽车尾气污染程度密切相关，有必要对道路车流密度和车辆数进行实时的检测。对于车辆的计数，最开始是使用环形线圈的方法，该方法根据电磁感应原理将环形线圈与车辆检测器构成一个简单的计数系统，它的传感器是一个埋设在路面下，通有一定交变电流的环形线圈。车辆通过环形线圈时，引起线圈回路电感量的变化，检测器便检测出有车辆经过，计数器的数字加一。这种方法在车距较小时，检测精度大大降低，从而影响计数准确性。且该方法是针对运动中的车辆，而本专利技术所需研究的是某一瞬间对一段道路上的车辆进行计数。在道路下埋线圈也会影响道路使用，不便于维修，因此，当前的方法多是基于道路视频图像进行一系列图像处理，得到车辆的计数。对于视频的区域车辆计数方法，包括帧间差分法和背景差分法。帧间差分法是当图像序列中出现异常物体运动时，帧与帧之间会出现较为明显的差别，通过差分后得到的绝对值，确定图像序列中是否物体运动。帧间差分法对慢速运动和静止的物体不敏感，不能准确检测静止物体。背景差分法，即当前视频帧和一张背景图像相比较，如果同位置的像素特征存在一定程度的差别，则当前视频帧中这些位置的像素点就构成前景运动目标。背景差分法可以检测静态目标，但是背景建模受光照、目标物等影响，不能得到实时、准确的背景图像，造成车辆计数的误差。在北京中星微电子有限公司王磊、王皓、黄英申请、2010年1月6日公开、公开号为CN100578563C、专利技术名称为“基于视频图像的车辆计数方法”的中国专利技术专利申请中，提出从预定的帧图像开始，根据收集的该多帧图像中每个像素点的像素值，计算该预定帧视频图像的每个像素在预定时刻的像素值的概率密度值，确定所述视频图像中的前景图像，前景图像中面积大于一给定值的区域为运动的车辆，跟踪检测出的车辆，获得新出现的车辆数量以及离开的车辆的数量。该专利技术申请利用了背景建模的方法检测前景点，为保证获得的前景像素点的准确性，获得好的背景图像至关重要，一方面由于前景车辆目标的存在，给背景建模工作增加了难度，另一方面，对于室外道路环境，光照变化、背景扰动等都会引起背景图像发生变化，为背景建模工作带来困难。车流密度是指单位长度车道上，某一瞬间所存在的车辆数，一般用辆/(km×车道)表示。目前，车流密度主要通过感应线圈、红外检测器、微博雷达等检测器得到时间占有率，定性判断车流密度大小，即时间占有率大，车流密度越大。这种方法没有定量的测量车流密度。另一种方法时根据检测器得到的流量和速度数据，根据公式：流量＝速度×密度，计算得到车流密度，这种方法在流量和速度检测出现较大误差时，检测结果出现较大出入。在重庆大学赵敏、孙棣华、刘卫宁、廖孝勇、梅登申请、2016年5月18日公开、公开号为CN104123840B、专利技术名称为“基于视频检测技术的车流密度定性判别方法”的中国专利技术专利申请中，首次根据当前摄像头采集的视频图像，划定监控图像中的感兴趣区域，计算图像的分形维数，对分形维数计算结果进行统计分析，待判断图像的分形维数大于给定阈值的图像块数目统计结果是否大于给定的比例系数，如果大于给定的比例系数则判定当前场景车流密度大，否则判定当前场景车流密度小。该专利技术申请虽然不需要进行车辆目标的提取，但它同时也不能获得具体的车辆数，只能定性的判断车流密度大小，缺乏对于车流密度检测的准确性和定量分析的能力。
技术实现思路
本专利技术技术解决问题：克服现有技术的不足，提供一种基于深度卷积神经网络的车流密度估计方法，大大提高了车辆计数和车流密度估计的准确性和实时性。本专利技术技术解决方案：一种基于深度卷积神经网络的车流密度估计方法，包括以下步骤：1、离线训练1.1)从已有的不同的道路场景的视频终端监控视频中，选取不同密度车流量的视频图像分成训练集图像和验证集图像。1.2)对将要进行离线训练和在线检测的视频图像进行预处理：1.2.1)提取灰度图，将卷积神经网络的输入图像块从RGB空间变换到灰度空间；1.2.2)把得到的灰度图像块的像素归一化到[0,1]的范围内。1.3)获取离线训练用到的不同尺度图像块：1.3.1)每张训练图像，随机选取固定像素大小的多个图像块，同时对每个图像块镜像翻转来达到数据增强的目的。最终将这些固定像素大小的图像块送入卷积神经网络中训练。1.3.2)利用s个不同尺度的图像金字塔，使输入的图像块具有对应的尺度，同时卷积神经网络也有相应的s个子网络。这样，第一级金字塔对应于原始的输入图像块，剩下的级别，取原始图像块中心的1/s大小，得到不同尺度的图形块；1.4)获取标准分布密度图1.4.1)每张图像中的车辆用点标注，得到每辆车的位置坐标和每张图中总的车辆数。1.4.2)对于网络的训练标签即标准分布密度图的生成，通过高斯核函数在图像中每个标记点卷积得到。已知输入图像可以表示为m×n的矩阵：x∈Rm×n，则该输入图像x所对应的标准分布密度可以表示为：式中：Nc为图像中的车辆数，表示图像中每个像素的位置，xi为第i辆车在图像中的位置，δ(·)为单位冲击函数，*为卷积操作，为标准差为σi的高斯核。1.5)车辆计数模型的设计构造一个卷积神经网络作为车辆计数模型，所述卷积神经网络包含第一部分，即含有不同尺度图像块输入的多个子网络结构和第二部分，即融合不同尺度分布密度图信息的全连接网络结构，其中第一部分得到不同尺度图像块的分布密度图，每个子网络结构均相同，即卷积神经网络的每个子网络具有相同的卷积层数，各个对应的卷积层有相同大小和个数的卷积核，使用相同的激活函数；每个子网络输入不同尺度的图像块，输出对应尺度的分布密度图；第二部分，利用全连接层融合不同尺度分布密度图，得到两个学习目标即分布密度图和车辆计数，每个目标连接多个全连接层，其中最后一层两个并列的全连接层不同，其余的全连接层共享。离线训练阶段两个学习目标均采用欧氏距离计算损失。在两个并列全连接层的后面各连接一个欧氏距离损失层，第一个欧氏距离损失层用来计算卷积神经网络估计的分布密度图和标准分布密度图之间的欧氏距离：式中，F(Xi；Θ)为第i幅输入图像估计的分布密度图，Xi为第i幅输入图像的图像矩阵，Θ为待学习参数，N为输入图像的总数本文档来自技高网...

【技术保护点】
一种基于深度卷积神经网络的车流密度估计方法，其特征在于包括以下步骤：第一步，获取道路视频图像作为训练图像，根据训练图像的尺寸设计卷积神经网络，将训练图像输入卷积神经网络训练得到车辆计数模型；第二步，获取实时道路视频图像作为检测图像，将检测图像输入训练得到的车辆计数模型，从而得到分布密度图和车辆数；第三步，在所述检测图像上划分感兴趣区域，根据第二步得到的分布密度图，计算感兴趣区域的像素和从而得到感兴趣区域的车辆数，根据感兴趣区域的实际长度及公式密度＝车辆数÷长度，计算出瞬时车流密度。

【技术特征摘要】
1.一种基于深度卷积神经网络的车流密度估计方法，其特征在于包括以下步骤：第一步，获取道路视频图像作为训练图像，根据训练图像的尺寸设计卷积神经网络，将训练图像输入卷积神经网络训练得到车辆计数模型；第二步，获取实时道路视频图像作为检测图像，将检测图像输入训练得到的车辆计数模型，从而得到分布密度图和车辆数；第三步，在所述检测图像上划分感兴趣区域，根据第二步得到的分布密度图，计算感兴趣区域的像素和从而得到感兴趣区域的车辆数，根据感兴趣区域的实际长度及公式密度＝车辆数÷长度，计算出瞬时车流密度。2.根据权利要求1所述的基于深度卷积神经网络的车流密度估计方法，其特征在于：所述第一步，具体实现如下：(1)从已有的不同的道路场景的视频终端监控视频中，选取不同密度车流量的视频图像分成训练集图像和验证集图像；(2)对视频图像进行预处理，得到归一化后的视频图像；(3)从视频图像中获取不同尺度的图像块，作为卷积神经网络的输入；(4)生成每张视频图像的标准分布密度图；(5)车辆计数模型的设计；构造一个卷积神经网络作为车辆计数模型，所述卷积神经网络包括两个部分，第一部分为含有不同尺度图像块输入的多个子网络结构，输出为不同尺度图像块的分布密度图；第二部分为融合不同尺度分布密度图信息的全连接网络结构，利用全连接层融合不同尺度分布密度图，得到两个学习目标即分布密度图和车辆计数，每个目标连接多个全连接层，其中最后一层两个并列的全连接层不同，其余的全连接层共享；在两个并列全连接层的后面各连接一个损失层。3.根据权利要求2所述的基于深度卷积神经网络的车流密度估计方法，其特征在于：所述第一部分中，所述每个子网络输入不同尺度的图像块，输出对应尺度的分布密度图，且每个子网络结构均相同，即卷积神经网络的每个子网络具有相同的卷积层数，各个对应的卷积层有相同大小和个数的卷积核，使用相同的激活函数。4.根据权利要求2所述的基于深度卷积神经网络的车流密度估计方法，其特征在于：所述在两个并列全连接层的后面各连接一个损失层，其中一个损失层用来计算卷积神经网络估计的分布密度图和标准分布密度图之间的欧氏距离：式中，F(Xi；Θ)为第i幅输入图像估计的分布密度图，Xi为第i幅输入图像的图像矩阵，Θ为待学习参数，N为输入图像的总数量，Di为第i幅输入图像的标准分布密度图矩阵；第二个损失层用来计算卷积神经网络估计的车辆数和标准车辆数之间的欧氏距离：式中，M(Xi；Θ)为第i幅输入图像的车辆个数的估计值，Xi为第i幅输入图像的图像矩阵，Θ为待学习参数，N为输入图像的总数量，Mi为第i幅输入图像的标准车辆数。5.根据权利要求1所述的基于深度卷积神经网络的车流密度估计方法，其特征在于：所述第一步中，得到车辆计数模型的过程如下：(1)对卷积神经网络中的参数初始化，卷积层的卷积核用高斯函数初始化，偏置初始化为0；(2)卷积神经网络初始化后，冻结卷积神经网络目标为车辆计数的最后一层全连接层，优先开始训练目标为分布密度图的卷积神经网络，计算输入的训练集图像经过卷积神经网络后得到的结...

【专利技术属性】
技术研发人员：康宇，魏梦，宋卫国，曹洋，袁璟，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34