基于机器视觉的施工安全监控方法及装置制造方法及图纸

一种基于机器视觉的施工安全监控方法及装置，在施工区域四周设置多个周边监测装置，其中周边监测装置包括可见光相机和红外相机；在初始化周边监测装置的位姿后，对准的施工区域，并将图片送至管理平台，管理平台利用神经网络进行分析，当有异常人员或物体进入该高风险区时，通过神经网络进行识别报警。本发明专利技术识别率高、适用场景广、并且可以自动进行识别报警。

Construction safety monitoring method and device based on machine vision

【技术实现步骤摘要】
基于机器视觉的施工安全监控方法及装置
本专利技术涉及建筑施工领域，特别涉及基于机器视觉的施工安全监控。
技术介绍
现有技术中，施工区域安全都是依靠设立制度，专人检查来实现的，无法做到实时性，也无法提前预警。目前也有人提出对塔吊吊篮、配电室等高风险区域进行单独监控，即对单独已知区域进行监控，例如CN110166751A。但是这种方式需要提前预知哪些区域是高风险区域，虽然按照施工经验可以设定一些高风险区域，在施工前专门安装相应的设备对准该区域进行监控，但这种方案依然具有三个缺点：1、只能排除一些常见的风险区域，并且依赖施工方的经验。而根据大量事故数据表明，虽然大部分危险发生在常见的一些危险区域，但仍然有非常大比例的事故是在其他未预先知道的区域发生的。2、随着施工进度变化，某些高风险区域位置会发生变化，因此需要重新设定监控设备位置，费时费力。3、不能在光线不好的条件下危险预防危险发生。有一些方案提出对特殊区域的进入进行管控，例如通过打卡、人脸识别等方式。但是这种方式只能规范进入的人员和状态，并不能实时预警。而且特殊区域也需要提前指定，并不全面，并且存在上述类似问题。目前还有一些方案提到了建筑工地的智能管理系统，但这些系统都是在获得了报警信号后如何发送，如何统筹协调管理，并没有涉及如何自动地、准确地、方便地监控整个施工进度内，施工场地的安全。而且目前对施工区域监控的方案都是在监控重物跌落、倒塌等安全风险。并没有一个方案能够监控在整个施工进度内监控整个施工区域的坠落、触电、重物掉落、碰撞、火灾等多种类型的安全风险。特别是，也没有方案对于傍晚、阴天等光照不好条件下如何监控安全提出改进。事实上，这是风险极高的时间段。目前也有通过图片对比的方式进行施工安全的监控，但这种对比一般采用人工对比，费时费力不准确；或是采用图像处理的方式，但每个施工工地并不完全相同，因此这种方法准确性往往不高，通常还需要人工复核。而且不管哪种方式，数据库中都需要大量图片，收集图片本身就是巨大的工程。为了能够解决上述现有技术中存在的问题，例如准确、全面、自动地监控各种风险类型，避免预设风险区受施工经验的影响，并且随着施工进度、风险区域的变换能够自动变换监控，同时能够对光照条件不佳的情况下保持准确监控等，提出本专利技术。
技术实现思路
本申请描述了一种基于机器视觉的施工安全监控报警方法，包括：在施工区域四周设置多个周边监测装置，在施工场地矩形区域的四个角上分别设置监测装置，在矩形区域的四个边上分别间隔10-20米设置监测装置；周边监测装置包括可见光相机和红外相机；初始化可见光相机，每个可见光相机分别沿水平方向和俯仰方向进行扫描旋转，保证相机朝向施工区域的方向全部被扫描到，在扫描的同时进行拍照并记录拍摄每张照片时可见光相机的位姿；每一次扫描获得的图片均传输至管理平台，管理平台将每一张图片送入神经网络进行分析，从而准确判断该图片中的施工区域的风险等级，在风险等级高时，记录此时的相机位姿，从而固定该相机位姿；在可见光相机初始化后，同一周边监测装置中的红外相机直接设定为与其相同的位姿；周边监测装置中的可见光相机和红外相机以一定频率拍摄其所对准的施工区域，并将图片送至管理平台，管理平台利用神经网络进行分析，当有异常人员或物体进入该高风险区时，通过神经网络进行识别报警；神经网络处理步骤包括：步骤1：对拍摄到的工地施工现场图像进行预处理，其目标是对输入图像的噪声进行抑制或者去除；包括：1.1选取滤波卷积核K。1.2对于源图像S，应用卷积核K，得到目标图像D，其中核函数如下：其中，σ为函数的方差步骤2：建立图像之间差分运动特征向量，通过度量前后帧图像之间的差异，建立图像随时间变化的特征向量，作为神经网络的输入信号；步骤3：采用神经网络算法对输入信号进行识别，输入信号为步骤2所得差分运动特征向量D，输出为是否产生告警，可标识为{0,1}集合，0对应不产生告警，1对应产生告警；其中在输入层与全连接层之间插入了含有局部运动信息的卷积层构成了神经网络，并且在训练神经网络时，选取交叉熵函数作为度量神经网络拟合效果的代价函数，该函数为上式中，x是神经网络的输入，y是神经网络的输出值，a表示样本的真实值，n是样本数量。进一步，还包括可见光图像和红外图像的融合步骤，具体包括：步骤1、将图像Iv(R,G,B)按照如下公式映射到新空间Iv(V)，其中：步骤2、设置如下的卷积窗口：其中，u,v分别是窗口内部元素相对于窗口中心在横坐标和纵坐标上的偏移。对Iv(V)和Ir(R)分别应用四个卷积窗口，得到8张图像Iv(C1)、Iv(C2)、Iv(C3)、Iv(C4)和Ir(C1)、Ir(C2)、Ir(C3)、Ir(C4)。其中Ir(R)为红外图像。步骤3、根据对应卷积窗口在红外图像和可见光图像上的响应，生成一张融合图像Im(C)，其每一个像素的值等于：步骤4、根据融合图像Im(C)、Iv(V)生成一张新的RGB融合图像Im(R,G,B)，其中：更进一步，如果发生报警事件，管理平台会定向发出声音警报，并且在能见度较低的情况下，管理平台可以通过直射光源照射报警区域。更进一步，每个可见光相机和红外相机均安装在支架上，支架上设置水平旋转平台和俯仰旋转平台，使得相机在支架上可以在水平面中转动，方便调节相机光轴所对应的水平方向；同时相机可以在支架上俯仰转动，方便调节相机光轴所对应的垂直方向。更进一步，每个相机的光轴对准矩形区域外接圆的圆心。更进一步，在进行监控前对可见光相机和红外相机进行位姿初始化。一种使用上述方法的施工安全监控报警装置。本专利技术的专利技术点及技术效果：1、针对施工安全的场景特殊设计了神经网络结构(包括结构、激励函数、代价函数等)，同时兼顾了识别率和训练时间，并且不依靠人工经验，对于高风险区的监控更加全面，防止遗漏。2、针对光照条件不佳的情况，在硬件上设置了红外相机和可见光相机相融合的方案，在软件上针对这样的方案进行了特殊的图像融合处理，提高了光照条件不佳的情况下的识别率。3、通过相机的初始化方法使得整个系统能够自动对准高风险区域，而不需要人工参与，既节省了人工成本，也能够防止风险区域遗漏。4、从光学角度设计了相机，使其采集的图片更加适合本专利技术的识别。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，并不构成对本专利技术的限定。在附图中：图1是安全监控报警装置结构示意图；图2是核函数例图；图3是神经网络结构示意图；图4是在神经元前接入激励函数的神经网络示意图。具体实施方式本专利技术提出了一种基于机器视觉的施工安全监控装置及方法，利用摄像机采集施工现场的图像，设计神经网络算本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的施工安全监控报警方法，其特征在于：/n在施工区域四周设置多个周边监测装置，在施工场地矩形区域的四个角上分别设置监测装置，在矩形区域的四个边上分别间隔10-20米设置监测装置；周边监测装置包括可见光相机和红外相机；/n初始化可见光相机，每个可见光相机分别沿水平方向和俯仰方向进行扫描旋转，保证相机朝向施工区域的方向全部被扫描到，在扫描的同时进行拍照并记录拍摄每张照片时可见光相机的位姿；每一次扫描获得的图片均传输至管理平台，管理平台将每一张图片送入神经网络进行分析，从而准确判断该图片中的施工区域的风险等级，在风险等级高时，记录此时的相机位姿，从而固定该相机位姿；在可见光相机初始化后，同一周边监测装置中的红外相机直接设定为与其相同的位姿；/n周边监测装置中的可见光相机和红外相机以一定频率拍摄其所对准的施工区域，并将图片送至管理平台，管理平台利用神经网络进行分析，当有异常人员或物体进入该高风险区时，通过神经网络进行识别报警；/n神经网络处理步骤包括：/n步骤1：对拍摄到的工地施工现场图像进行预处理，其目标是对输入图像的噪声进行抑制或者去除；包括：/n1.1选取滤波卷积核K。/n1.2对于源图像S，应用卷积核K，得到目标图像D，其中核函数如下：/n...

【技术特征摘要】
1.一种基于机器视觉的施工安全监控报警方法，其特征在于：
在施工区域四周设置多个周边监测装置，在施工场地矩形区域的四个角上分别设置监测装置，在矩形区域的四个边上分别间隔10-20米设置监测装置；周边监测装置包括可见光相机和红外相机；
初始化可见光相机，每个可见光相机分别沿水平方向和俯仰方向进行扫描旋转，保证相机朝向施工区域的方向全部被扫描到，在扫描的同时进行拍照并记录拍摄每张照片时可见光相机的位姿；每一次扫描获得的图片均传输至管理平台，管理平台将每一张图片送入神经网络进行分析，从而准确判断该图片中的施工区域的风险等级，在风险等级高时，记录此时的相机位姿，从而固定该相机位姿；在可见光相机初始化后，同一周边监测装置中的红外相机直接设定为与其相同的位姿；
周边监测装置中的可见光相机和红外相机以一定频率拍摄其所对准的施工区域，并将图片送至管理平台，管理平台利用神经网络进行分析，当有异常人员或物体进入该高风险区时，通过神经网络进行识别报警；
神经网络处理步骤包括：
步骤1：对拍摄到的工地施工现场图像进行预处理，其目标是对输入图像的噪声进行抑制或者去除；包括：
1.1选取滤波卷积核K。
1.2对于源图像S，应用卷积核K，得到目标图像D，其中核函数如下：



其中，σ为函数的方差
步骤2：建立图像之间差分运动特征向量，通过度量前后帧图像之间的差异，建立图像随时间变化的特征向量，作为神经网络的输入信号；
步骤3：采用神经网络算法对输入信号进行识别，输入信号为步骤2所得差分运动特征向量D，输出为是否产生告警，可标识为{0,1}集合，0对应不产生告警，1对应产生告警；
其中在输入层与全连接层之间插入了含有局部运动信息的卷积层构成了神经网络，并且在训练神经网络时，选取交叉熵函数作为度量神经网络拟合效果的代价函数，该函数为



上式中，x是神经网络的...

【专利技术属性】
技术研发人员：于保军，张云川，郑会智，
申请(专利权)人：河南四建工程有限公司，
类型：发明
国别省市：河南;41