基于机器视觉和深度学习公路高边坡施工危险预警方法技术

本发明专利技术公开了基于机器视觉和深度学习公路高边坡施工危险预警方法，包括以下步骤：S01，利用数据采集设备获取施工边坡的实时视频数据；S02，利用经改进适用于边坡的帧差法等经典算法捕捉边坡落石，岩体位移等异常情况；S03，向施工单位提供异常事件的数据，供其进行人工回溯；S04，利用采集到的异常数据，建立BP神经网络；S05，利用深度学习技术，训练算法自主判断危险情况前兆，如落石等；S06，利用S05中的训练结果，结合传统的位移监测算法，共同对以坡面落石，滑坡等为主的危险情况进行预警。本发明专利技术所提供的方法，有效辅助施工单位进行安全评估与分析，利用机器视觉和神经网络技术，对危险情况进行预警，保障施工人员和设备的安全。全。全。

【技术实现步骤摘要】
基于机器视觉和深度学习公路高边坡施工危险预警方法


[0001]本专利技术涉及基于机器视觉和深度学习公路高边坡施工危险预警方法，属于施工安全领域。

技术介绍

[0002]对公路高边坡进行有效的准确的监测，可以及时且有效的向工程施工部门做出安全评估和预警，帮助施工单位在存在安全隐患时及时采取相应措施保证施工人员和设备的安全，同时也可以帮助施工单位及时评估和修改施工方案，保障工程建设顺利经行。
[0003]然而，调研发现，传感器监测系统的造价高昂、施工周期相对较短以及边坡环境区别于人工建筑物的复杂性阻碍了传统监测手段在边坡的应用。传统方式多采用人工巡视等传统低效的方式。

技术实现思路

[0004]本专利技术提供了基于机器视觉和深度学习公路高边坡施工危险预警方法，解决了
技术介绍
中披露的问题。
[0005]为了解决上述技术问题，本专利技术所采用的技术方案是：基于机器视觉和深度学习公路高边坡施工危险预警方法：
[0006]获取施工边坡的实时视频数据；
[0007]利用数字图像学算法对视频数据进行预处理；
[0008]按实际工程需要将预处理后的图像划分为若干ROI区域进行运动监测；
[0009]计算前后两帧的ROI区域的差矩阵，并且对矩阵所有元素按卷积核1做卷积并求和，得到用于判断视频内是否存在运动的K值；
[0010]利用数字图像相关方法识别边坡自然标记点图像特征，通过匹配识别计算标记点的位移，通过位移标定获取边坡自然标记点结构真实位移；
[0011]将真实位移，裂分扩展数据，实时降雨量，施工现场振动数据作为BP神经网络输入层，位移后30
‑
3000帧的K值作为BP神经网络的输出层，BP神经网络隐含层设置为1层，获取先兆现象与危险发生之间的联系；
[0012]对边坡危险程度进行认定；
[0013]根据危险程度进行预警。
[0014]进一步地，利用数字图像学算法对视频数据进行预处理的过程为：
[0015]利用二维高斯滤波器降低图像噪音，将视频数据原始的RGB三通道数据转化为灰度数据，灰度化方法如公式(1)，公式(1)中参数frame为待处理帧，frame_grav为经过灰度化处理后的帧，cv2.cvtColor()及cv2.COLOR_BGRGRAY为opencv内置灰度化方法及其参数，高斯函数如公式(2)，其中，式中σ为高斯分布函数标准差，e为自然对数。并对相机数据做光学防抖处理；
[0016]灰度化方法公式为：
[0017]frame_gray＝cv2.cvtColor(frame,cv2.COLOR_BGRGRAY)
ꢀꢀꢀꢀꢀ
(1)
[0018]二维高斯滤波器函数为：
[0019][0020]进一步地，所述数字图像相关方法基于互相关函数分析目标区域变形前后灰度变化，对于目标子区进行匹配识别，互相关函数为：
[0021][0022][0023][0024]其中，N,M分别为帧宽与帧高，f(x,y)和g(x
′
,y
′
)分别代表变形前后图像的灰度，C(x,y)为计算得出的互相关系数，取最小时，两幅图像最为相似。
[0025]进一步地，还包括：将视频数据以长度为810的队列容器的形式进行实时存储与更新，根据实测帧差特征值和临界阈值做对比的方式初步确定画面是否存在运动，当判定画面存在运动时，将判断点前后810帧取出；并且同时保存包含时间戳的K值数据，以供后续机器学习训练集和团队分析优化使用。
[0026]进一步地，还包括：将提取到的810帧合成为视频文件，合成视频的帧率为25fps；
[0027]利用改良的帧间差分法绘制落石运动轨迹。
[0028]进一步地，所述改良帧间差分法法为：
[0029]提取视频图像中的RGB及HSV色彩空间，。将R,G,B,S,V五个颜色通道分别进行背景减除法计算，对R,G,B三个通道的结果取逻辑“和”运算减弱噪点，得到结果B1，将此结果与S,V通道结果取逻辑“或”运算得到最终结果B2，对B2进行腐蚀操作清除零散白噪点得到最终结果B
M
,对其取物体最小外接矩形得到运动物体轨迹
[0030]相应地，一种存储一个或多个程序的计算机可读存储介质：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据上述的方法中的任一方法。
[0031]相应地，一种计算设备，其特征在于，包括：
[0032]一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据上述的方法中的任一方法的指令。
[0033]本专利技术所达到的有益效果：
[0034]1、本专利技术基于机器视觉方法获取结构变形数据，相较于传统传感器方法，成本显著地降低；
[0035]2、本专利技术不需要布设大量的线路，通过少量摄像机获取结构多个构件和多个位置
的变形数据，具有较高的测量效率；
[0036]3、本专利技术可以保障监控的实时性与可靠性。
[0037]4、本专利技术可以解决施工方对于落石等异常事件回溯的需求，而传统方法都很难做到。
[0038]5、本专利技术利用深度学习方法，将获取，处理后的数据再次用于自身的训练，有效利用视频数据所蕴含的大量信息，避免信息浪费，也利用计算机的高效运算特点，提高安全评估的效率。
附图说明
[0039]图1为本专利技术流程示意图；
[0040]图2为hsv色彩空间示意图。
[0041]图3为改良帧间差分法及运动轨迹捕捉算法流程图
[0042]图4为改良的实验室验证效果图
[0043]图5为实验模型裂缝标定及算法提取到的破环前裂缝宽度发展
[0044]图6为改良帧间差分法的自然环境实验效果图
[0045]图7为轨迹捕捉算法在施工现场运行捕获结果图
[0046]图8所用BP神经网络原理图；
具体实施方式
[0047]下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0048]如图1所示，本专利技术公开基于机器视觉和深度学习公路高边坡施工危险预警方法，包括以下步骤：
[0049]步骤一，利用视频捕捉设备，获取施工边坡实时视频资料，为保证视频数据的可靠性，应采用像素不低于800万的高清摄像头进行视频数据采集，并且为了保障数据的实时性连续性，摄像头应保障24小时工作稳定并使用稳定网络传输。边坡实时数据包括涵盖24小时以及各类气候、光照条件下的边坡4K监控视频，用于对落石、滑坡、岩体位移等的分析。由于视频数据量较大，利用5G技术进行数据传输，免去大量线路布设工作。
[0050]步骤二，利用数字图像学算法对视频数据进行预处理，利用高斯滤波降低图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于机器视觉和深度学习公路高边坡施工危险预警方法，其特征在于：获取施工边坡的实时视频数据；利用数字图像学算法对视频数据进行预处理；按实际工程需要将预处理后的图像划分为若干ROI区域进行运动监测；计算前后两帧的ROI区域的差矩阵，并且对矩阵所有元素按卷积核1做卷积并求和，得到用于判断视频内是否存在运动的K值；利用数字图像相关方法识别边坡自然标记点图像特征，通过匹配识别计算标记点的位移，通过位移标定获取边坡自然标记点结构真实位移；将真实位移，裂缝是否扩展及其速率，实时降雨量，施工现场振动数据作为BP神经网络输入层，位移后30
‑
3000帧的K值(用以判定是否存在岩体脱落等危险情况)作为BP神经网络的输出层，BP神经网络隐含层设置为1层，获取先兆现象与危险发生之间的联系；对边坡危险程度进行认定；根据危险程度进行预警。2.根据权利要求1所述的基于机器视觉和深度学习公路高边坡施工危险预警方法，其特征在于，利用数字图像学算法对视频数据进行预处理的过程为：利用二维高斯滤波器降低图像噪音，将视频数据原始的RGB三通道数据转化为灰度数据，灰度化方法如公式(1)，公式(1)中参数frame为待处理帧，frame_grav为经过灰度化处理后的帧，cv2.cvtColor()及cv2.COLOR_BGRGRAY为opencv内置灰度化方法及其参数，高斯函数如公式(2)，其中，式中σ为高斯分布函数标准差，e为自然对数。并对相机数据做光学防抖处理；灰度化方法公式为：frame_gray＝cv2.cvtColor(frame，cv2.COLOR_BGRGRAY)
ꢀꢀꢀꢀ
(1)二维高斯滤波器函数为：3.根据权利要求1所述的基于机器视觉和深度学习公路高边坡施工危险预警方法，其特征在于，所述数字图像相关方法基于互相关函数分析目标区域变形前后灰度变化，对于目标子区进行匹配识别，互相关函数为：目标子区进行匹配识别，互相关函数为：目标子区进行匹配识别，互相关函数为...

【专利技术属性】
技术研发人员：雷冬，董涛，杜文康，杭宗庆，何锦涛，许嘉均，
申请(专利权)人：河海大学，
类型：发明
国别省市：