一种基于目标追踪算法的行人违规翻越护栏的预警方法、系统、装置以及存储介质制造方法及图纸

本发明专利技术涉及一种基于目标追踪算法的行人违规翻越护栏的预警方法、系统、装置以及存储介质，包括：(1)标定与护栏线平行的若干条不等距离的阈值线；(2)部署检测速率控制模块和目标检测模块；(3)通过检测速率控制模块实现对目标检测模块检测速率的控制；(4)根据行人目标检测结果，利用目标跟踪模块记录及预测行人轨迹；(5)利用预警模块判断是否翻越护栏。本发明专利技术以较高的精度对行人违规翻越护栏进行预警，并将翻越护栏的过程上传至道路管理部门，利用这些信息，道路管理部门可以更好地对违规行为进行管控；本发明专利技术提出检测速率控制模块，合理地控制工控机的检测速率，降低能源消耗，延长设备使用寿命，响应节能减排的号召。响应节能减排的号召。响应节能减排的号召。

【技术实现步骤摘要】
一种基于目标追踪算法的行人违规翻越护栏的预警方法、系统、装置以及存储介质


[0001]本专利技术属于道路工程
，特别是涉及一种基于目标追踪算法的行人翻越护栏行为预警的方法、系统、设备及存储介质。

技术介绍

[0002]随着我国经济的快速发展以及人民生活水平的提高，私家车的数量呈现出井喷式的增加。汽车数量快速增长的背后，道路交通安全问题也变得日益突出，每年的交通事故伤亡的人数触目惊心。造成交通事故多发的原因之一就是行人不走人行横道，随意翻越城市道路中央分隔带护栏或高速公路路侧护栏。这种无视道路法规道德行为严重影响了交通系统的高效运行及人民的生命安全，造成严重的经济财产损失。因此，如何准确识别出翻越道路护栏的违规行为就具有重要意义。
[0003]目前，国内外对于高速公路、城市道路的护栏巡检多采用人工检测或基于摄像头的远程监控等方式。其中，最常见的是人工检测，通过安排工作人员巡视特定路段并记录违章范围道路护栏的行为，但个人同时巡视的护栏长度有限，造成巡视效率低，耗费人工成本巨大。除此之外，通过在道路上每隔一段距离安置一个违章行为检测摄像头，将摄像头画面集成在远程终端，利用人工同时巡视多个摄像头画面以对翻越护栏行为进行监测，该方法在一定程度上提高了监测效率，但其本质还是利用人工进行监测。在人工智能潮流的影响下，逐渐出现了人工智能在道路违章行为检测中的应用。
[0004]我国在多地开展了基于深度学习的车辆违章行为检测的工作，融合图像处理技术、图像分割技术、目标检测与跟踪技术、数字信号采集与处理等相关技术，对车辆违停、非紧急情况下违规占用应急车道、随意变更车道、驾驶中驾驶员手持电话等交通事故诱发率占比较高的车辆违章行为进行实地检测，但目前目标检测技术在行人翻越护栏上鲜有涉及，已经应用的检测技术检测精度较低。除此之外，无论是否有人在护栏附近，检测算法始终运行，造成资源浪费。

技术实现思路

[0005]鉴于目前行人违规翻越道路护栏检测效率低，检测精度低的问题，本专利技术提出一种基于目标追踪算法的行人违规翻越护栏的预警方法。
[0006]本专利技术还提供了一种基于目标追踪算法的行人违规翻越护栏的预警及上传系统。
[0007]本专利技术另外还提供了一种计算机设备和存储介质。
[0008]术语解释：
[0009]1、深度学习，学习样本数据内在规律和表示层次，学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。其最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据；
[0010]2、目标检测，其任务是找出图像中所有感兴趣的目标(物体)，确定他们的位置和
大小，是机器视觉领域的核心问题之一；
[0011]3、YOLO v3，是一个用于目标检测的网络，可以实现较为快速的检测出图像中的物体；
[0012]4、OpenCV，是Intel开源计算机视觉库。它由一系列C函数和少量C++类构成，实现了图像处理和计算机视觉方面的很多通用算法；
[0013]5、边缘检测，计算机视觉领域非常重要的一种图像特征提取方法。通过边缘检测可以找到图像中像素亮度发生剧烈变化像素点的结合，通常这些集合表现出来往往是轮廓。通过边缘检测，就能将物体的轮廓检测出来；
[0014]6、护栏线，利用边缘检测算法，提取护栏的轮廓，将其简化为一条曲线，利用OpenCV将其绘制在视频流中每张图像中，以表示实际的护栏位置；
[0015]7、检测速率控制模块，当在第一阈值线的范围内若没有行人目标存在，该模块控制工控机使其每秒仅检测1帧图像；当行人出现在第一阈值线与第二阈值线之间时，该模块控制工控机每秒检测15帧图像；当行人出现在第二阈值线与第三阈值线之间时，该模块控制工控机每秒检测30帧图像；当行人出现在两条第三阈值线之间时，该模块控制工控机每秒检测30帧图像，同时以每秒10帧的速率进行拍照，保存翻越证据；
[0016]8、Canny边缘检测，是一种流行的边缘检测算法，其创新在于使用了双阈值进行检测，然后将所有的边缘连接在一起，形成边缘曲线或者线段，可以效果非常好地物体轮廓检测出来；
[0017]9、目标检测模块，主要利用训练好的YOLO v3神经网络对行人进行检测，检测类别仅为行人，不含车辆，检测效率高；
[0018]10、目标追踪模块，主要利用目标检测得出的检测框，将检测框的几何中心作为当前时刻目标的位置，将各个时刻的几何中心相连，即可完成对目标的追踪；
[0019]11、预警模块，当行人有翻越护栏的倾向时，向道路管控中心上传预警信息；当行人确认翻越护栏时，控制摄像头连续拍摄目标，留下行人翻越护栏证据；
[0020]12、Pytorch深度学习环境，一种开源的Python深度学习库，用于目标检测等应用程序，通过Pytorch深度学习环境可以方便地搭建用于目标检测的卷积神经网络；
[0021]13、像素，由一个数字序列表示的图像中的一个最小单位。
[0022]本专利技术的技术方案为：
[0023]一种基于目标追踪算法的行人违规翻越护栏的预警方法，包括步骤如下：
[0024](1)标定与护栏线平行的若干条不等距离的阈值线；
[0025](2)部署检测速率控制模块和目标检测模块；
[0026](3)通过检测速率控制模块实现对目标检测模块检测速率的控制；
[0027](4)根据行人目标检测结果，利用目标跟踪模块记录及预测行人轨迹；
[0028](5)依据行人轨迹及其所处的阈值线范围，利用预警模块判断是否翻越护栏。
[0029]根据本专利技术优选的，在步骤(1)中，在护栏附近固定安装监控摄像头与工控机，具体是指：将监控摄像头安装在护栏正上方5m高处，将工控机安装在路灯的灯杆旁。
[0030]根据本专利技术优选的，在步骤(1)中，利用OpenCV标定与护栏线平行的三条不等距离的阈值线，包括第一阈值线、第二阈值线、第三阈值线；包括步骤如下：
[0031]1.1：保持工控机处于打开状态，与监控摄像头连接状态良好，固定视频流图像输
出尺寸为800
×
600；
[0032]1.2：利用Canny边缘检测算法，检测护栏轮廓线与放置的6个防撞锥，利用护栏轮廓特征，剔除其余轮廓线，利用OpenCV在护栏轮廓中心重新绘制一条代表护栏位置的曲线，作为护栏线；
[0033]1.3：在护栏左、右两侧1m处各放置一个防撞锥，根据各个防撞锥在视频中的位置，利用OpenCV将其坐标点标注出来，然后分别作通过这两个坐标点的护栏线的平行线，作为第一阈值线；
[0034]1.4：在护栏左、右两侧0.5m处各放置一个防撞锥，根据各个防撞锥在视频中的位置，利用OpenCV将其坐标点标注出来，然后分别作通过这两个坐标点的护栏线的平行线，作为第二阈值线；
[0035]1.5：在护栏左、右两侧0.2m处各放置一个防撞锥，根据各个防撞锥在视频中的位置，利用O本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标追踪算法的行人违规翻越护栏的预警方法，其特征在于，包括步骤如下：(1)标定与护栏线平行的若干条不等距离的阈值线；(2)部署检测速率控制模块和目标检测模块；(3)通过检测速率控制模块实现对目标检测模块检测速率的控制；(4)根据行人目标检测结果，利用目标跟踪模块记录及预测行人轨迹；(5)依据行人轨迹及其所处的阈值线范围，利用预警模块判断是否翻越护栏。2.根据权利要求1所述的一种基于目标追踪算法的行人违规翻越护栏的预警方法，其特征在于，在步骤(1)中，利用OpenCV标定与护栏线平行的三条不等距离的阈值线，包括第一阈值线、第二阈值线、第三阈值线；包括步骤如下：1.1：保持工控机处于打开状态，与监控摄像头连接状态良好，固定视频流图像输出尺寸为800
×
600；1.2：利用Canny边缘检测算法，检测护栏轮廓线与放置的6个防撞锥，利用护栏轮廓特征，剔除其余轮廓线，利用OpenCV在护栏轮廓中心重新绘制一条代表护栏位置的曲线，作为护栏线；1.3：在护栏左、右两侧1m处各放置一个防撞锥，根据各个防撞锥在视频中的位置，利用OpenCV将其坐标点标注出来，然后分别作通过这两个坐标点的护栏线的平行线，作为第一阈值线；1.4：在护栏左、右两侧0.5m处各放置一个防撞锥，根据各个防撞锥在视频中的位置，利用OpenCV将其坐标点标注出来，然后分别作通过这两个坐标点的护栏线的平行线，作为第二阈值线；1.5：在护栏左、右两侧0.2m处各放置一个防撞锥，根据各个防撞锥在视频中的位置，利用OpenCV将其坐标点标注出来，然后分别作通过这两个坐标点的护栏线的平行线，作为第三阈值线。3.根据权利要求1所述的一种基于目标追踪算法的行人违规翻越护栏的预警方法，其特征在于，步骤(2)中，检测速率控制模块具体工作过程如下：利用OpenCV截取视频数据，截取速率为每秒30张图像；依据目标检测结果的反馈，输出不同结果，具体是指：如果两条第一阈值线之间的范围内无行人，则每秒输出1帧图片；如果两条第一阈值线之间的范围内有行人，则每秒输出15张图像；如果第二阈值线与第三阈值线之间的范围内有行人，则每秒输出30张图像。4.根据权利要求1所述的一种基于目标追踪算法的行人违规翻越护栏的预警方法，其特征在于，步骤(2)中，目标检测模块的部署，步骤如下：2.1：制作行人数据集，行人数据集中包括各类姿态的行人以及不同场景下的行人，将行人数据集按照8:2的比例划分为训练集与测试集；2.2：利用训练集训练开源的YOLO v3目标检测算法，并使用测试集检验YOLO v3目标检测算法的检测效果，得到训练好的用于行人分类的YOLO v3目标检测网络；2.3：在工控机中部署Pytorch深度学习环境，在工控机上运行训练好的用于行人分类的YOLO v3目标检测网络，每秒处理30帧以上图像数据；2.4：目标检测模块部署完成后，连接目标检测模块与检测速率控制模块；
2.5：部署完成后，实地测试目标检测模块的检测结果，当检测到行人时，使用目标框将目标框选起来。5.根据权利要求1所述的一种基于目标追踪算法的行人违规翻越护栏的预警方法，其特征在于，步骤(3)的具体实现过程如下：3.1：将监控摄像头拍摄得到的视频数据输入检测速率控制模块，检测速率控制模块将视频流截取成若干张图片，起初以每秒一张图片的速率输入目标检测模块；3.2：若目标检测模块在两条第一阈值线之间的范围内没有检测到行人，则保持每秒1帧图片的检测速率；若目标检测模块在第一阈值线与第二阈值线之间的范围内检测到行人，将该检测结果反馈给检测速率控制模块，检测速率控制模块以每秒15帧图片的速率输入目标检测模块；若目标检测模块在第二阈值线与第三阈值线之间的范围内检测到行人，将该检测结果反馈给检测速率控制模块，检测速率控制模块以每秒30帧图片的速率输入目标检测模块；若目标检测模块在第三阈值线与护栏线之间的范围内检测到行人，将该检测结果反馈给检测速率控制模块，检测速率控制模块以每秒30帧图片的速率输入目标检测模块，同时控制监控摄像头以每秒10帧图片的速率进行拍照。6.根据权利要求1所述的一种基于目标追踪算法的行人违规翻越护栏的预警方法，其特征在于，步骤(4)中，利用目标跟踪模块记录及预测行人轨迹的具体实现过程为：4.1：目标检测模块每检测一张图像，就把检测结果输出给目标追踪模块；4.2：目标追踪模块收集各个检测到的目标框，目标框为矩形，利用OpenCV取目标框的几何中心点作为目标当前时刻所在的几何位置，多个时刻的几何位置相连即得到目标在过去一段时间内的轨迹线，利用OpenCV将轨迹线绘制在每一帧图像中，即目标跟踪；4.3：目标轨迹预测通过目标追踪实现，对于第i张图像，当前图像中的检测框的几何中心点为P
i
；对于第i+1张图像，当前图像中的检测框的几何中心点为P
i+1
；连接P
i
与P
i+1
并延长至与护栏线相交，测得夹角为α
i
；如此，得到n个夹角，i＝1
…
n，计算n个的平均值α
average
；检测夹角的同时，记录P
i
与P
i+1
在图像中的坐标点，坐标点所在的坐标系以图像左上角顶点作为原点，向右代表x轴正向，向下代表y轴正向；依据传入两张图像的时间差以及两个几何中心点的坐标点所在像素的距离，计算出几何中心点在图像...

【专利技术属性】
技术研发人员：贺芳丁，郭广军，李瑞婷，何文龙，方肖晨，路光旭，刘玮，冯平，隋军，傅会，
申请(专利权)人：山东省水利科学研究院，
类型：发明
国别省市：