一种基于车载摄像的道路交通状况检测方法技术

本发明专利技术公开了一种基于车载摄像的道路交通状况检测方法，该方法利用基于深度学习车辆检测理论，充分考虑了道理交通的动态性以及不确定性。交通状况估计在协助车辆动态描述当前交通状况，从而提高了智能交通中的交通效率。本发明专利技术针对智能交通系统提出了一种基于车载摄像的交通状况检测方法，以协助车辆通过车载摄像设备收集的交通信息来估计通状况。通过与边缘计算和V2X网络集成，可以获得额外的计算和通信资源，以准确估算车辆到达的交通状况。文发明专利技术中提出基于车载摄像的道路交通状况检测方法来对在不同车道上行驶的车辆数量进行计数。最后，对道路交通状况进行细粒度的估计。

【技术实现步骤摘要】
一种基于车载摄像的道路交通状况检测方法
本专利技术属于深度学习与智能交通领域，具体涉及一种车载摄像的道路交通状况检测方法。
技术介绍
智能交通在迅速发展，应用在汽车领域的技术也在随着快速变革。防撞预警系统主要用于协助驾驶员避免高速、低速追尾，高速中无意识偏离车道，与行人碰撞等重大交通事故。各个研究人员也在投入大量的资源进行研究。在车辆检测与追踪上已经做了大量的工作，对于车辆检测，大多数工作是假定摄像机是静态的。高级辅助驾驶系统主要用于协助驾驶员避免高速、低速追尾，高速中无意识偏离车道，与行人碰撞等重大交通事故。但对于高速公路、乡道以及距离城区较远的道路发生的事故，由于监控摄像头较少，且大多采用固定式拍摄，无法有效地事故监控，指挥交通。驾驶人员与无法及时获取前方道路的交通状况。目前，驾驶人员未将车辆信息共享到云端，在车联网应用场景下，车辆之间能够直接相互通信，获取车辆信息，了解当前的交通状况信息，以便于驾驶人员或具有自动驾驶功能的车辆选择更为适合的驾驶行为和路线。通过汽车上集成的GPS定位，RFID识别，传感器、摄像头和图像处理等电子组件，按照约定的通信协议和数据交互标准，在V2V、V2R、V2I之间，进行无线通信和信息交换的大系统网络。并融合现代通信与网络技术，实现车与人、车、路、后台等智能信息的交换共享，具备复杂的环境感知、智能决策、协同控制和执行等功能。随着人们生活水平和经济收入的不断提高，汽车变成人们负担得起的必需品，道路上行驶的车辆也越来越多，不仅仅是城市交通状况日渐拥堵，而且远离城市区域的道路交通也开始变得紧张。但对于高速公路、乡道以及距离城区较远的道路等固定式摄像头较少的路段无法进行有效的检测与车辆统计。
技术实现思路
本专利技术提供一种基于车载摄像的道路交通状况检测方法，为了能准确的估计当前交通状况并给驾驶人员反馈一个准确估计结果，将车辆作为边缘计算节点，通过车载摄像机感知周围环境，并记录下来。使用车辆数据集训练的模型。利用基于深度学习的目标检测算法YOLOv3来检测所记录视频流中的车辆信息，对视频流进行帧提取，逐帧检测与识别图像中的车辆，对预测出的车辆并绘制出boundingboxes。针对各个车道上的路段交通评估，由于车载摄像设备相对于车是固定的，而汽车相对于车道的左右位置也是基本固定的，所以车道在车载摄像设备记录的视频中基本保持在一个固定区域内，对视频中提取出的图像设置感兴趣的区域(ROI)，利用的灰度变换、高斯滤波、Canny边缘检测等图像处理技术，然后结合Hough变换找到图像中的线，根据得到的线计算出左车道和右车道，划分出识别到的车辆属于左车道、中间车道、右车道。根据车辆检测算法，预测车辆画出boundingboxes，对每帧图像中的boundingboxes进行统计，统计的数目就是当前帧车辆数，结合道路宽度和长度信息，计算某一瞬间内的车辆密度。通过车辆密度的大小反映了一条道路上的交通密集程度，对于同向行驶的具有三车道的道路，为使车辆密度具有可比性，按照单车道估计，最后得到同向行驶路段交通状况，近似地来衡量驾驶员操作车辆的舒适性，和灵活性。能够进一步提高交通管制、事故探测、路线规划的水平。为实现上述目的，本专利技术的技术方案为：一种基于车载摄像的道路交通状况检测方法，(1)车载摄像标定：根据单目车载摄像设备成像原理，车载摄像标定是三维计算机视觉中从二维图像中提取度量信息；(2)行车道上车辆检测：利用基于深度学习的目标检测算法YOLOv3对行驶在公路的车辆进行检测与识别；(3)行驶车道检测：利用Hough变换算法，采用直线模型对车道线进行拟合；(4)车辆统计：根据图像数据在输出的回归边界框boundingboxes的位置及其所属的类别，然后进行逐一统计；(5)交通估计：结合车辆行驶路段的检测与统计结果，结合本专利技术中提出的新型评估模型的估计行驶路线上的交通状况。一种基于车载摄像的道路交通状况检测方法，包括以下步骤：步骤1、车载摄像标定：根据单目车载摄像设备的成像原理，车载摄像标定是三维计算机视觉中从二维图像中提取度量信息；步骤2、行车道上车辆检测：利用深度学习目标检测算法YOLOv3对行驶在公路的车辆进行检测与识别；步骤3、行驶车道检测：利用Hough变换算法，采用直线模型对车道线检测并进行拟合；步骤4、车辆统计：根据图像数据在输出的回归边界框的位置及其所属的类别，并判断其所属车道，然后进行逐一统计；步骤5、交通估计：根据车辆检测与统计的结果，结合提出一种数学模型的估计行驶路线上的交通状况，道路上的车辆密度可以作为交通系统中交通状况的有效指标，用来描述是道路交通状况，按照上述方法，基于车道信息的车辆计数与坐标变换方法，车道i的可检测距离，记为Dv,i，车道i的上检测与识别到的车辆统计结果，记为Nden,i，确定车道i上的车辆密度，记为Vden,i，车道宽度记为Wlane，Splimit表示道路上受限的行驶速度；表示导致交通状况不佳的最大车辆密度。步骤1是指：设定三维世界的坐标点为二维相机平面像素坐标为车载摄像设备的标定公为式其中s为尺度因子，A代表摄像设备的内参数，[Rt]代表外部参数，其中R为旋转矩阵，t为平移向量，[Rt]将点(X,Y,Z)进行坐标变换，这个坐标系相对于摄像机来说是固定不变的，通过对车载摄像进行标定，得到相机参数。步骤2是指：通过车载摄像设备感知周围环境，并记录下来，使用车辆数据集训练的模型，利用基于深度学习的目标检测算法YOLOv3来检测所记录视频中的车辆信息，对视频进行帧提取，逐帧检测与识别图像中的车辆，对预测出的车辆并绘制出boundingboxes。步骤3是指：基于Hough变换特征提取技术，检测具有特定形状的物体，原空间隐射到参数空间，在参数空间中的图像形式根据投票方式所得，定义Hough变换参数定义，rho：距离分辨率，以Hough网格的像素为单位，既直线到图像原点(0,0)点的距离；以Hough网格弧度为单位的角分辨率；threshold：Hough网格单元中的交叉点，根据最小投票数累加器中的值判断是一条直线；min_line_length：组成一行的最小像素数，找出线的最短长度；max_line_gap：可连接线段之间像素的最大间隙，两条直线之间的最大间隔，小于此值，认为是一条直线；标记出车道线在图像中的位置，对原始图像进行灰度变换、高斯平滑、Canny边缘检测、掩膜处理，得到最终的Hough图像，在单帧图像中，d为道路在图像中宽度；Wimage为图像宽度；Himage为图像高度。步骤4是指：车载摄像设备所记录的视频进行帧提取，在图像上进行车辆统计，每帧图像中的车辆数，代表当前行使状态下的车辆数，根据步骤3标记出的车道线在图像中的位置，划分出归属于左车道、中间车道、右车道的车辆，分别进行统计，(xi1,yi1)，(xi2,yi2)，(xi3,yi3)，(xi4,yi4)是图像中第i车辆的边框坐标；1)通过边框的对角两点坐标可以本文档来自技高网...

【技术保护点】
1.一种基于车载摄像的道路交通状况检测方法，其特征在于，包括以下步骤：/n步骤1、车载摄像标定：根据单目车载摄像设备的成像原理，车载摄像标定是三维计算机视觉中从二维图像中提取度量信息；/n步骤2、行车道上车辆检测：利用深度学习目标检测算法YOLOv3对行驶在公路的车辆进行检测与识别；/n步骤3、行驶车道检测：利用Hough变换算法，采用直线模型对车道线检测并进行拟合；/n步骤4、车辆统计：根据图像数据在输出的回归边界框的位置及其所属的类别，并判断其所属车道，然后进行逐一统计；/n步骤5、交通估计：根据车辆检测与统计的结果，结合提出一种数学模型的估计行驶路线上的交通状况，道路上的车辆密度可以作为交通系统中交通状况的有效指标，用来描述是道路交通状况，按照上述方法，基于车道信息的车辆计数与坐标变换方法，车道i的可检测距离，记为D

【技术特征摘要】
1.一种基于车载摄像的道路交通状况检测方法，其特征在于，包括以下步骤：
步骤1、车载摄像标定：根据单目车载摄像设备的成像原理，车载摄像标定是三维计算机视觉中从二维图像中提取度量信息；
步骤2、行车道上车辆检测：利用深度学习目标检测算法YOLOv3对行驶在公路的车辆进行检测与识别；
步骤3、行驶车道检测：利用Hough变换算法，采用直线模型对车道线检测并进行拟合；
步骤4、车辆统计：根据图像数据在输出的回归边界框的位置及其所属的类别，并判断其所属车道，然后进行逐一统计；
步骤5、交通估计：根据车辆检测与统计的结果，结合提出一种数学模型的估计行驶路线上的交通状况，道路上的车辆密度可以作为交通系统中交通状况的有效指标，用来描述是道路交通状况，按照上述方法，基于车道信息的车辆计数与坐标变换方法，车道i的可检测距离，记为Dv,i，车道i的上检测与识别到的车辆统计结果，记为Nden,i，确定车道i上的车辆密度，记为Vden,i，车道宽度记为Wlane，Splimit表示道路上受限的行驶速度；表示导致交通状况不佳的最大车辆密度。


2.如权利要求1所述的一种基于车载摄像的道路交通状况检测方法，其特征在于，步骤1是指：
设定三维世界的坐标点为M＝[X,Y,Z,1]T，二维相机平面像素坐标为m＝[u,v,1]T，车载摄像设备的标定公为式sm＝A[Rt]M，其中s为尺度因子，A代表摄像设备的内参数，[Rt]代表外部参数，其中R为旋转矩阵，t为平移向量，[Rt]将点(X,Y,Z)进行坐标变换，这个坐标系相对于摄像机来说是固定不变的，通过对车载摄像进行标定，得到相机参数。


3.如权利要求1所述的一种基于车载摄像的道路交通状况检测方法，其特征在于，步骤2是指：通过车载摄像设备感知周围环境，并记录下来，使用车辆数据集训练的模型，利用基于深度学习的目标检测算法YOLOv3来检测所记录视频中的车辆信息，对视频进行帧提取，逐帧检测与识别图像中的车辆，对预测出的车辆并绘制出boundingboxes。


4.如权利要求1所述的一种基于车载摄像的道路交通状况检测方法，其特征在于，步骤3是指：基于Hough变换特征提取技术，检测具有特定形状的物体，原空间隐射到参数空间，在参数空间中的图像形式根据投票方式所得，定义Hough变换参数定义，rho：距离分辨率，以Hough网格的像素为单位，既直线到图像原点(0,0)点的距离；以Hough网格弧度为单位的角分辨率；threshold：Hough网格单元中的交叉点，根据最小投票数累加器中的值判断是一条直线；min_line_length：组成一行的最小像素数，找出线的最短长度；max_line_gap：可连接线段之间像素的最大间隙，两条直线之间的最大间隔，小于此值，认为是一条直线；
标记出车道线在图像中的位置，对原始图像进行灰度变换、高斯平滑、Canny边缘检测、掩膜处理，得到最终的Hough图像，在单帧图像中，d为道路在图...

【专利技术属性】
技术研发人员：蔺杰，黄勇，赵鹏，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61