基于雷达和视频的机动车道异常行为在线监测方法及设备技术

本发明专利技术公开了一种基于雷达和视频的机动车道异常行为在线监测方法及设备，属于交通安全监测技术领域。本发明专利技术的方法包括通过雷视复合检测仪设备获取当前场景下的视频数据，在第一帧图片中划分并标注机动车行驶车道ROI区域和非机动车行驶车道ROI区域；基于所述ROI区域对实时获取的雷达数据进行过滤、筛选并预估候选目标区域；对实时获取的视频帧图像中的每个预估的候选目标区域进行识别，对雷达处理后的数据和YOLOv5目标识别的数据进行融合，获取ROI区域内目标检测信息；判断行人或非机动车是否出现在机动车区域，是则发送预警信息至云端服务器。本发明专利技术兼具准确度和鲁棒性，实时捕捉进入机动车行驶区域的行人、非机动车并进行预警。预警。预警。

【技术实现步骤摘要】
基于雷达和视频的机动车道异常行为在线监测方法及设备


[0001]本专利技术属于交通安全监测
，具体涉及一种基于雷达和视频的机动车道异常行为在线监测方法及设备。

技术介绍

[0002]《中华人民共和国道路交通安全法》第六十七条，行人、非机动车、拖拉机、轮式专用机械车、铰接式客车、全挂拖斗车以及其他设计最高时速低于七十公里的机动车，不得进入高速公路。高速公路上车辆的车速都比较快，驾驶人只要有丝毫的放松就会很难注意到周围静止不动的、相对较小的事物。所以行人、电动自行车、三轮车在高速公路上只要稍不留意就有可能被车辆剐碰，在车速较高的情况下极有可能导致死亡的严重后果。在高速公路上高速行驶的机动车，躲避高速公路上违法进入的行人、电动自行车、三轮车容易引发交通事故，在车速较高的情况下打方向的幅度稍微过大就有可能造成车毁人亡的交通事故。高速公路的车流量比较大，车速比较快，一旦发生事故就会有车辆因躲避不及而连续发生交通事故，造成高速公路大面积拥堵和严重的经济损失。有些行人为图方便、图省事，翻越隔离栏违法上高速候车。客运车辆非法停车载客、非法超员等违法行为，不仅危害违法进入高速公路候车人的安全，也危害了公共交通秩序，为交通事故埋下了隐患。因此需要准确、实时的对行人或非机动车上路(行驶在机动车行驶区域)事件进行检测和识别，从而进行预警。
[0003]目前的技术发展现状来看，雷达或视频是当前获取交通信息的常用检测方法，但两者的使用都有一定的局限性。视频检测技术易受天气变化、光照情况、动态背景等环境的影响，检测准确率会降低。单一视频在目标检测阶段通常使用Haar+Adaboost、Hog+SVM、DPM等传统检测算法，以及以R
‑
CNN(Region
‑
CNN)为代表的二阶段检测算法和以YOLO(You Only Look Once)为代表的单阶段检测算法，这些检测算法在处理特殊场景，比如黑夜、极端天气等条件时表现不佳。随着人群密度的增加，个体遮挡严重和分辨率的下降，导致受限条件较多且准确率较差，难以做到完全覆盖。
[0004]雷达检测技术虽受周围环境影响较小，但可视性不强，对检测到的交通事件无法进行人工复合判断。单一雷达的检测算法，无法检测目标类型、目标颜色、种类等视觉信息，且由于雷达本身的物理特性以及定位角度的限制，雷达所探测出来的目标信息并不是很鲜明和直观，难以准确的对行人或非机动车上路事件进行检测和识别，从而导致无法准确、实时的对进入机动车行驶区域的行人、非机动车进行预警，因此造成严重的生命安全隐患。
[0005]综上，现有技术大多采用的单一的方式，即单独使用视频检测或者雷达检测，使用视频检测的方式在检测范围、检测场景方面等皆存在限制，当行人或非机动车在图片中所占的像素大小变小时，视频检测方式将无法准确检测出行人或非机动车，同时，检测精度容易受天气、光影变化等影响。使用雷达检测方式同样也存在精度低等问题，当行人或非机动车的速度较慢时，雷达极易丢失目标。

技术实现思路

[0006]本专利技术目的是提供一种基于雷达和视频的机动车道异常行为在线监测方法及设备，兼具准确度和鲁棒性，检测范围较广，真正实时捕捉进入机动车行驶区域的行人、非机动车，并进行预警，时刻保障道路交通安全，具有良好的开发和应用前景。
[0007]具体地说，一方面，本专利技术提供了一种基于雷达和视频的机动车道异常行为在线监测方法，包括：
[0008]通过架设在交通卡口交通杆上的雷视复合检测仪设备，获取当前场景下的视频数据，保存为帧图片，选定一帧图片作为第一帧图片，在第一帧图片中划分并标注机动车行驶车道区域、行人或非机动车行驶车道区域，即分别确定机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域；
[0009]通过坐标系转换将实时获取的雷达数据投影到像素坐标系，基于所述机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域，对投影到像素坐标系的雷达数据进行过滤、筛选，只保留在机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域的目标并预估候选目标区域；
[0010]基于YOLOv5对实时获取的视频帧图像中的每个预估的候选目标区域进行识别，获取目标对象的像素坐标系和类别信息，同时基于卡尔曼滤波和匈牙利算法对目标进行跟踪，记录其运动轨迹；
[0011]基于最近邻匹配算法对雷达处理后的数据和YOLOv5目标识别的数据进行融合，获取ROI区域内目标的检测信息；
[0012]判断行人或非机动车是否出现在机动车区域，如行人或非机动车出现在非机动车区域，发送预警信息至云端服务器。
[0013]进一步的，所述在第一帧图片中划分并标注机动车行驶车道区域、行人或非机动车行驶车道区域包括：
[0014]在第一帧图片上划分机动车行驶车道区域、行人或非机动车行驶车道区域，得到所述机动车行驶车道区域、行人或非机动车行驶车道区域顶点的像素坐标，并设定颜色掩膜，按行对划分的机动车行驶车道区域、行人或非机动车行驶车道区域进行颜色填充，最后对填充好的机动车行驶车道区域、行人或非机动车行驶车道区域进行编号。
[0015]进一步的，所述通过坐标系转换将实时获取的雷达数据投影到像素坐标系采用以下转换公式：
[0016][0017]其中，[u，v，1]为像素坐标系中坐标，[X，Y，1]为雷达数据在雷达坐标系中的坐标，(u0，v0)为像素坐标系中中心点坐标，d为像素距离与实际距离的比值。
[0018]进一步的，所述基于YOLOv5对实时获取的视频帧图像中的每个预估的候选目标区域进行识别，获取目标对象的像素坐标系和类别信息，同时基于卡尔曼滤波和匈牙利算法对目标进行跟踪，记录其运动轨迹包括：
[0019]3‑
1)基于YOLOv5算法对所述候选目标区域进行识别，获取目标对象的图像坐标以及类别相关信息；
[0020]3‑
2)通过卡尔曼滤波算法计算目标运动状态变化；具体公式如下，
[0021]状态方程为
[0022]X(k)＝FX(k
‑
1)+BU(k)+W(k)
[0023]其中X(k)为状态观测量，FX(k
‑
1)为上一状态的最优结果，BU(k)为状态控制量，即为目标瞬时加速度，W(k)为运动状态噪声，该噪声服从(0，Qk)的高斯分布，
[0024]测量方程为
[0025]Z(k)＝HX(k)+V(k)
[0026]其中Z(k)为测量的状态值，HX(k)为实际状态值，V(k)为测量状态噪声，该噪声服从(0，Rk)的高斯分布；
[0027]3‑
3)计算先验估计值与先验估计协方差；
[0028]3‑
4)将卡尔曼系数作为权重系数，通过调节状态方程噪声方差Q、观测方程噪声方差R改变卡尔曼系数的大小，来调整先验估计值与状态观测量的权重，根据卡尔曼系数对先验估计值与先验估计协方差进行更新，从而得到目标运动状态最优估计值具体计算公式如下：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于雷达和视频的机动车道异常行为在线监测方法，其特征在于，包括：通过架设在交通卡口交通杆上的雷视复合检测仪设备，获取当前场景下的视频数据，保存为帧图片，选定一帧图片作为第一帧图片，在第一帧图片中划分并标注机动车行驶车道区域、行人或非机动车行驶车道区域，即分别确定机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域；通过坐标系转换将实时获取的雷达数据投影到像素坐标系，基于所述机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域，对投影到像素坐标系的雷达数据进行过滤、筛选，只保留在机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域的目标并预估候选目标区域；基于YOLOv5对实时获取的视频帧图像中的每个预估的候选目标区域进行识别，获取目标对象的像素坐标系和类别信息，同时基于卡尔曼滤波和匈牙利算法对目标进行跟踪，记录其运动轨迹；基于最近邻匹配算法对雷达处理后的数据和YOLOv5目标识别的数据进行融合，获取ROI区域内目标的检测信息；判断行人或非机动车是否出现在机动车区域，如行人或非机动车出现在非机动车区域，发送预警信息至云端服务器。2.根据权利要求1所述的基于雷达和视频的机动车道异常行为在线监测方法，其特征在于，所述在第一帧图片中划分并标注机动车行驶车道区域、行人或非机动车行驶车道区域包括：在第一帧图片上划分机动车行驶车道区域、行人或非机动车行驶车道区域，得到所述机动车行驶车道区域、行人或非机动车行驶车道区域顶点的像素坐标，并设定颜色掩膜，按行对划分的机动车行驶车道区域、行人或非机动车行驶车道区域进行颜色填充，最后对填充好的机动车行驶车道区域、行人或非机动车行驶车道区域进行编号。3.根据权利要求1所述的基于雷达和视频的机动车道异常行为在线监测方法，其特征在于，所述通过坐标系转换将实时获取的雷达数据投影到像素坐标系采用以下转换公式：其中，[u，v，1]为像素坐标系中坐标，[X，Y，1]为雷达数据在雷达坐标系中的坐标，(u0，v0)为像素坐标系中中心点坐标，d为像素距离与实际距离的比值。4.根据权利要求1所述的基于雷达和视频的机动车道异常行为在线监测方法，其特征在于，所述基于YOLOv5对实时获取的视频帧图像中的每个预估的候选目标区域进行识别，获取目标对象的像素坐标系和类别信息，同时基于卡尔曼滤波和匈牙利算法对目标进行跟踪，记录其运动轨迹包括：3
‑
1)基于YOLOv5算法对所述候选目标区域进行识别，获取目标对象的图像坐标以及类别相关信息；3
‑
2)通过卡尔曼滤波算法计算目标运动状态变化；具体公式如下，
状态方程为X(k)＝FX(k
‑
1)+BU(k)+W(k)其中X(k)为状态观测量，FX(k
‑
1)为上一状态的最优结果，BU(k)为状态控制量，即为目标瞬时加速度，W(k)为运动状态噪声，该噪声服从(0，Qk)的高斯分布，测量方程为Z(k)＝HX(k)+V(k)其中Z(k)为测量的状态值，HX(k)为实际状态值，V(k)为测量状态噪声，该噪声服从(0，Rk)的高斯分布；3
‑
3)计算先验估计值与先验估计协方差；3
‑
4)将卡尔曼系数作为权重系数，通过调节状态方程噪声方差Q、观测方程噪声方差R改变卡尔曼系数的大小，来调整先验估计值与状态观测量的权重，根据卡尔曼系数对先验估计值与先验估计协方差进行更新，从而得到目标运动状态最优估计值具体计算公式如下：下：P
t
＝(I
‑
K
t
H
t
)P

【专利技术属性】
技术研发人员：戚家瑞，戚湧，董浪，朱翔，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：