一种自动化识别施工中违规使用梯子行为的系统技术方案

本发明专利技术提供了一种自动化识别施工中违规使用梯子行为的系统，包括：监测环境布控模块、图像处理模块、深度学习网络训练模块、目标约束模块、梯上作业检测模块和告警模块，所示系统对自动识别出的违规操作行为截取图片，并将图片传送给监管人员，并通过语音告警通知施工人员，发出告警。本发明专利技术与现有的技术相比，可以快速可靠的检测出使用梯子作业时操作工的违规情况，有利于保障安全生产，且适用于长时间多场景的生产环境。

【技术实现步骤摘要】
一种自动化识别施工中违规使用梯子行为的系统
本专利技术涉及一种自动化识别施工中违规使用梯子行为的系统。
技术介绍
在国家大力推崇基建的同时，操作工作业时的安全保障也不容忽视。当操作工在高处作业时就需要借助到梯子等工具，为了保障在梯子上作业时的人身安全，需要在梯子下安排另一个操作工对梯子进行固定，防止由于梯子滑动等原因导致事故的发生。而现实作业中，为了省力方便，一些操作工作业时并未按照如上规定进行操作，为了杜绝这种情况的发生，同时减少监理人员需要时刻在场监督的需求，急需一种可以快速解决梯上作业违规检测的方法。随着计算机视觉技术的不断发展，通过构建深度学习检测模型可以很好的解决上述问题。
技术实现思路
专利技术目的：针对操作工在梯上作业时未按规定处理导致安全事故的问题，本专利技术提出一种自动化识别施工中违规使用梯子行为的系统，用于现实生产过程中对操作工在梯上作业时行为规范检测。所述系统包括检测环境布控模块、图像处理模块、深度学习网络训练模块、目标约束模块和梯上作业检测模块；术语解释：yolov3模型是目前应用最广的目标检测模型，通过darknet53网络进行特征提取，结合上采样等措施实现对大小目标的有效检测；通道注意力机制来自于senet网络，主要是学习了通道之间的相关性，筛选出了针对通道的注意力，稍微增加了一点计算量，但是效果比较好。所述检测环境布控模块通过对监测作业区进行摄像机布控，对视野内的操作活动进行检测，实现监控视频的传输，并在出现违规行为时进行自动语音告警提醒；所述图像处理模块，对出现在摄像机视野内的梯子作业图片进行收集与标注，利用数据清洗得到样本图片，将样本图片集合作为神经网络模型yolov3的训练集；所述深度学习网络训练模块利用融合通道注意力机制的神经网络模型yolov3来学习拟合样本图片集合中的样本图片，检测得到梯子与操作工在样本图片中的位置信息；参考文献：《YOLOv3:AnIncrementalImprovement》；所述目标约束模块通过检测框的交并比和布控相机多角度信息实现对操作工与梯子在图像上的关系约束；所述梯上作业检测模块利用训练好的融合通道注意力机制的神经网络模型yolov3结合操作工与梯子在图像上的关系约束实现对在梯子上作业时是否按规定进行操作的检测。所述图像处理模块对出现在摄像机视野内的梯子作业图片进行收集，分别人工标注操作工与梯子，同时利用数据清洗去除质量低下、模糊不清的图片，，得到样本图片，将样本图片集合作为训练集进行神经网络模型yolov3的训练。所述加入通道注意力机制的神经网络模型yolov3的骨干网络采用darknet53，用于提取图片细节特征；神经网络模型yolov3提取3个不同层的特征图，大小分别为13*13，26*26，52*52，通过特征图映射原图从而进行目标的检测与分类；在骨干网络darket53中加入通道注意力机制，提升模型对图像特征的提取效果；神经网络模型yolov3的损失函数由3部分构成，分别是定位损失、分类损失和置信度损失，定位损失采用的是平方差损失，分类损失和置信度损失采用的是交叉熵损失，计算方式如下：其中，K表示网格个数，共K*K个，M表示每个网格生成的候选框个数；xi,yi分别表示真实标注框左上角横坐标和纵坐标，wi,hi分别表示真实标注框的宽度和高度，分别为xi,yi的预测值，分别为wi,hi的预测值，Loss(object)表示整个网络的误差和；参数表示第i个网格第j个预测框是否在负责目标，如果是则值为1，否则为0；参数如果在第i个网格第j个预测框处有目标，值为0，否则为1；参数Ci表示的是第i个网格处预测框的置信度，计算方式为当前预测框包含物体的概率和该预测框与真实框交并比大小的乘积，而表示的是Ci对应的预测值。参数pi表示的是第i个网格处的预测框目标类别，对应的为预测的类别信息；λcoord与λnoobj为损失系数，通过神经网络模型yolov3，最终得到梯子与操作工在样本图片中的预测框位置信息。所述目标约束模块对于操作工和梯子的位置信息，通过训练好的融合通道注意力机制的神经网络模型yolov3预测得到操作工和梯子在图上的预测框位置，并计算这两个预测框位置区域的交集与并集的比值IOU，如果存在IOU大于阈值threshold1，且操作工预测框右下角坐标在图像坐标系下小于梯子预测框的右下角坐标，则表明存在操作工在梯上作业。此时如果神经网络模型yolov3检测到视野存在另一个操作工，且该操作工的预测框与梯子的预测框的交并比IOU大于设定的距离阈值threshold2，且在不同的相机角度下同时满足该距离交并比约束时，则说明梯上作业时存在梯下有人按操作规范进行固定操作，而存在候选框之间交并比小于设定阈值或不同相机角度下距离约束结果差异超过阈值(一般为0.2)等情况则表示在梯上作业时存在违规操作的情况。通过计算对应的IOU实现图像上的距离约束，其中threshold1优选0.1-0.3之间，而threshold2优选0.2-0.4之间。为了消除由于遮挡或错位导致的视觉距离误差，加入多个机位的角度信息，通过多个角度进行检测，能够更好的检测出操作工作业时与梯子之间的关系。所述梯上作业检测模块，结合相机采集的视频图像，通过训练好的融合通道注意力机制的神经网络模型yolov3检测得到操作工与梯子预测框在多角度下距离关系，从而整体实现对操作工在梯上作业时，是否存在另一操作工对梯子进行固定操作这一规范操作行为的检测。有益效果：本专利技术通过构建一套梯子上作业操作规范检查系统及方法，利用融合通道注意力机制的yolov3目标检测框架和位置角度约束，能够准确检测出操作工在梯子上作业时，另一操作工是否按规定对梯子进行固定操作，检测结果快速高效，可以有效缓解监理的压力。附图说明下面结合附图和具体实施方式对本专利技术做更进一步的具体说明，本专利技术的上述和/或其他方面的优点将会变得更加清楚。图1为本专利技术梯上作业违规检测系统结构示意图；图2为本专利技术检测环境布控示意图；图3为本专利技术所述的深度学习检测模型网络结构示意图；图4a为检测到操作工在梯上作业时的示意图。图4b为操作工预测框与梯子的预测框位置示意图。具体实施方式如图1所示，本实施例提供一种自动化识别施工中违规使用梯子行为的系统，包括：检测环境布控模块，如图2所示，针对检测作业区域进行摄像机前期布控，保障作业时操作工所有操作都在相机的视野内，同时不同机位呈现不同角度信息，能够实时传输到后台进行处理。图像处理模块，对于前期采集的样本图片，分别对操作工和梯子进行标注，通过数据清洗后，得到初步的训练样本集。采集的样本应包含多个应用场景，如不同光照、不同背景等，样本初始数量应在30000张左右。深度学习网络训练模块，如图3所示，其中DBL为常见卷积归一化块，RESUN为残差卷积块，RESN表本文档来自技高网...

【技术保护点】
1.一种自动化识别施工中违规使用梯子行为的系统，其特征在于，包括检测环境布控模块、图像处理模块、深度学习网络训练模块、目标约束模块和梯上作业检测模块；/n所述检测环境布控模块通过对监测作业区进行摄像机布控，对视野内的操作活动进行检测，实现监控视频的传输，并在出现违规行为时进行自动语音告警提醒；/n所述图像处理模块，对出现在摄像机视野内的梯子作业图片进行收集与标注，利用数据清洗得到样本图片，将样本图片集合作为神经网络模型yolov3的训练集；/n所述深度学习网络训练模块利用融合通道注意力机制的神经网络模型yolov3来学习拟合样本图片集合中的样本图片，检测得到梯子与操作工在样本图片中的位置信息；/n所述目标约束模块通过检测框的交并比和布控相机多角度信息实现对操作工与梯子在图像上的关系约束；/n所述梯上作业检测模块利用训练好的融合通道注意力机制的神经网络模型yolov3结合操作工与梯子在图像上的关系约束实现对在梯子上作业时是否按规定进行操作的检测。/n

【技术特征摘要】
1.一种自动化识别施工中违规使用梯子行为的系统，其特征在于，包括检测环境布控模块、图像处理模块、深度学习网络训练模块、目标约束模块和梯上作业检测模块；
所述检测环境布控模块通过对监测作业区进行摄像机布控，对视野内的操作活动进行检测，实现监控视频的传输，并在出现违规行为时进行自动语音告警提醒；
所述图像处理模块，对出现在摄像机视野内的梯子作业图片进行收集与标注，利用数据清洗得到样本图片，将样本图片集合作为神经网络模型yolov3的训练集；
所述深度学习网络训练模块利用融合通道注意力机制的神经网络模型yolov3来学习拟合样本图片集合中的样本图片，检测得到梯子与操作工在样本图片中的位置信息；
所述目标约束模块通过检测框的交并比和布控相机多角度信息实现对操作工与梯子在图像上的关系约束；
所述梯上作业检测模块利用训练好的融合通道注意力机制的神经网络模型yolov3结合操作工与梯子在图像上的关系约束实现对在梯子上作业时是否按规定进行操作的检测。


2.根据权利要求1所述的系统，其特征在于，所述图像处理模块对出现在摄像机视野内的梯子作业图片进行收集，分别标注操作工与梯子，同时利用数据清洗去除质量低下、模糊不清的图片，得到样本图片，将样本图片集合作为训练集进行神经网络模型yolov3的训练。


3.根据权利要求2所述的系统，其特征在于，所述加入通道注意力机制的神经网络模型yolov3的骨干网络采用darknet53，用于提取图片细节特征；
神经网络模型yolov3提取3个不同层的特征图，大小分别为13*13，26*26，52*52，通过特征图映射原图从而进行目标的检测与分类；
在骨干网络darket53中加入通道注意力机制，提升模型对图像特征的提取效果；
神经网络模型yolov3的损失函数由3部分构成，分别是定位损失、分类损失和置信度损失，定位损失采用的是平方差损失，分类损失和置信度损失采用的是交叉熵损失，计算方式如下：



其中，K表示网格个数，共K*K个，M表示每个网格生...

【专利技术属性】
技术研发人员：燕松，姚岳，徐宗标，战培志，彭凤强，
申请(专利权)人：中通服咨询设计研究院有限公司，江苏省通信服务有限公司，
类型：发明
国别省市：江苏;32