基于计算机视觉的挖掘机与人碰撞事故预警方法及系统技术方案

本发明专利技术涉及一种基于计算机视觉的挖掘机与人碰撞事故预警方法及系统。本发明专利技术首先通过目标检测、2D关键点检测、3D姿势识别等计算机视觉算法，对施工现场视频流进行工人和挖掘机的3D骨架识别；其次，基于挖掘机3D骨架在工作状态下的3D运动姿态，划定出挖掘机工作状态下周围的3D动态危险区域；最后，对工人的3D骨架关键点是否入侵了挖掘机工作状态下周围的3D动态危险区域进行判断，作为是否有挖掘机与人碰撞危险的依据，如有危险则发出预警。与现有技术相比，本发明专利技术通过计算机视觉技术构建了挖掘机工作状态下周围的3D动态危险区域，提升了挖掘机与人碰撞事故自动预警的精确性和有效性，最大程度避免了误判的发生，有利于施工现场的智能化安全管理。场的智能化安全管理。场的智能化安全管理。

【技术实现步骤摘要】
基于计算机视觉的挖掘机与人碰撞事故预警方法及系统


[0001]本专利技术涉及计算机视觉及施工安全
，尤其是涉及一种基于计算机视觉的挖掘机与人碰撞事故预警方法及系统。

技术介绍

[0002]建筑施工行业属于劳动密集型产业，项目工期要求和现有技术条件使得工人与重型机械常常需要在同一时间地点进行作业，不可避免地产生一定的人机交互。由于工人本身的劳动技能和素质参差不齐，工地生产环境噪音较大，机械操作存在视觉盲区，以及工人工作疲劳带来的注意力不集中等问题，在施工人员与重型机械共同作业时极易发生碰撞伤害事故。而在施工机械中，挖掘机具有机械臂自由度高，作业时与施工人员交互频繁等特点，使得挖掘机与人碰撞事故发生率较高。因此，针对施工人员与挖掘机的碰撞事故建立预警系统，具有重要的现实意义和实用价值。
[0003]近年来，随着计算机软硬件技术的发展和算力的提高，计算机视觉和深度学习技术在人脸识别、自动驾驶等领域的应用如火如荼，在目标检测等一些特定领域已经能够达到接近甚至超过人类的识别精度。在土木工程施工安全管理相关领域，已有较为成熟的基于计算机视觉的安全帽、防护服佩戴检测。目前，利用计算机视觉技术对工人不安全行为和机械设备不安全状态检测的应用也逐渐增多，体现出了计算机视觉技术在施工安全监管中不干扰现场一线生产作业的优势。
[0004]现有技术中，传统的基于管理人员现场巡查的挖掘机与人碰撞事故预警方法，无法做到全时段全覆盖，且易受到人主观因素的影响，效率不高且效果不佳。
[0005]此外，对施工场所重型机械与人碰撞的预防，还包括基于传感器的方法和基于视觉信息的方法两大类。挖掘机是一种机械臂较灵活、自由度较高的施工重型机械，在作业时整体移动较少，铰接机械臂的姿势变化较多，因此在对挖掘机与人碰撞进行预防和检测时，往往更多关注挖掘机铲斗位置的定位和机械臂姿势的识别，而非挖掘机整体的定位，因此存在检测效果不佳的缺陷。

技术实现思路

[0006]本专利技术的目的是克服上述现有技术存在的缺陷而提供一种基于计算机视觉的挖掘机与人碰撞事故预警方法及系统。本专利技术利用施工现场监控设施拍摄到的视频，通过图像处理和深度学习等计算机视觉算法，在不干扰施工现场一线生产作业的情况下，对挖掘机与人碰撞事故进行提前预警，从而减少施工现场的事故隐患，预防事故危险发生，提升施工现场安全管理水平。
[0007]本专利技术的目的可以通过以下技术方案来实现：
[0008]一种基于计算机视觉的挖掘机与人碰撞事故预警方法，包括以下步骤：
[0009]获取施工现场视频流；
[0010]将所述施工现场视频流输入事故预警模型，确定挖掘机动态危险区域；
[0011]判断所述挖掘机动态危险区域内是否有人，若是，则发出预警；
[0012]其中，所述事故预警模型的构建包括以下步骤：
[0013]S1、构建挖掘机目标检测模型及人体目标检测模型；获取挖掘机施工现场图片数据集，对所述挖掘机目标检测模型及人体目标检测模型进行训练及验证；
[0014]S2、构建基于深度学习的挖掘机识别模型，用于进行挖掘机2D关键点提取及其3D坐标还原；
[0015]S3、构建基于深度学习的人体识别模型，用于进行人体2D关键点提取及其3D坐标还原；
[0016]S4、根据挖掘机关键点3D坐标还原结果，量化提取挖掘机的运行状态指标，划定挖掘机工作状态下的3D动态危险区域；
[0017]S5、使用基于PnP的坐标系统一方法统一人体坐标系和挖掘机坐标系，对人员入侵挖掘机工作状态下的3D动态危险区域的行为进行识别和监测。
[0018]进一步地，步骤S1中，采用ACID施工图片数据集作为基础数据集，并通过Mosaic及CutMix数据增强技术对所述基础数据集进行数据扩充；
[0019]基于所述挖掘机施工现场图片数据集，对Yolox卷积神经网络进行训练，得到挖掘机目标检测模型及人体目标检测模型。
[0020]进一步地，步骤S2中，构建基于深度学习的挖掘机识别模型包括以下步骤：
[0021]利用开源数据集辅以数据增强方法对Hourglass神经网络进行训练，得到能够识别挖掘机机械臂及机身6个关键点的挖掘机2D关键点检测Hourglass模型；
[0022]使用建模软件对挖掘机进行建模，绑定挖掘机施工作业时的运动动作，编写程序输出挖掘机运动过程中6个关键点在图像坐标系中的2D坐标和世界坐标系中的3D坐标，生成挖掘机2D关键点坐标转换为3D坐标的数据集；
[0023]基于所述挖掘机2D关键点坐标转换为3D坐标的数据集训练Transformer模型，得到挖掘机2D关键点坐标转换为3D坐标Transformer模型。
[0024]进一步地，步骤S3中，构建基于深度学习的人体识别模型包括以下步骤：
[0025]使用MSCOCO数据集对Stacked Hourglass神经网络进行训练，得到人体2D关键点检测模型；
[0026]使用Human3.6M数据集对VideoPose3D神经网络进行训练，得到人体3D骨架识别模型。
[0027]进一步地，步骤S4中，划定挖掘机工作状态下的3D动态危险区域包括以下步骤：
[0028]通过Yolox
‑
Hourglass
‑
Transformer模型，从所述施工现场视频流中得到挖掘机运行过程中的3D动态骨架，对其进行后处理；
[0029]使用Savgol滤波器，对滑动窗口范围内的连续信号点进行多项式拟合，过滤掉挖掘机运行状态下3D骨架识别结果中的异常点；
[0030]将挖掘机工作状态下的运动分解为整体转动和机械臂伸展，并使用局部坐标系和全局坐标系表达挖掘机的运动状态；
[0031]通过全局坐标系和局部坐标系将描述挖掘机工作状态下运动姿势的骨架关键点位置参数转换为4个角度参数θ1、θ2、θ3和θ4；其中，θ4用于表达挖掘机在全局坐标系下的整体旋转，θ1、θ2和θ3用于表达挖掘机在局部坐标系的x
‑
y平面内的机械臂伸展；
[0032]计算挖掘机4个角度参数的当前时刻角速度：
[0033][0034]定义工人平均反应时间Δt，将工人平均反应时间内挖掘机机械臂可能扫过的3D区域作为挖掘机工作状态下的3D动态危险区域，即基于Δt计算挖掘机的运动趋势：
[0035][0036]得到4个角度参数值变化构成的3D区域作为挖掘机工作状态下的3D动态危险区域。
[0037]进一步地，挖掘机局部坐标系以机械臂所在竖直平面作为x
‑
y平面，挖掘机全局坐标系的Y轴与局部坐标系的y轴重合，在局部坐标系下的(x,y,z)
T
与全局坐标系下的(X,Y,Z)
T
之间的坐标转换为：
[0038][0039][0040]式中，boom_arm表示挖掘机机械臂中间铰接关键点，cab_boom表示挖掘机驾驶舱与机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉的挖掘机与人碰撞事故预警方法，其特征在于，包括以下步骤：获取施工现场视频流；将所述施工现场视频流输入事故预警模型，确定挖掘机动态危险区域；判断所述挖掘机动态危险区域内是否有人，若是，则发出预警；其中，所述事故预警模型的构建包括以下步骤：S1、构建挖掘机目标检测模型及人体目标检测模型；获取挖掘机施工现场图片数据集，对所述挖掘机目标检测模型及人体目标检测模型进行训练及验证；S2、构建基于深度学习的挖掘机识别模型，用于进行挖掘机2D关键点提取及其3D坐标还原；S3、构建基于深度学习的人体识别模型，用于进行人体2D关键点提取及其3D坐标还原；S4、根据挖掘机关键点3D坐标还原结果，量化提取挖掘机的运行状态指标，划定挖掘机工作状态下的3D动态危险区域；S5、使用基于PnP的坐标系统一方法统一人体坐标系和挖掘机坐标系，对人员入侵挖掘机工作状态下的3D动态危险区域的行为进行识别和监测。2.根据权利要求1所述的一种基于计算机视觉的挖掘机与人碰撞事故预警方法，其特征在于，步骤S1中，采用ACID施工图片数据集作为基础数据集，并通过Mosaic及CutMix数据增强技术对所述基础数据集进行数据扩充；基于所述挖掘机施工现场图片数据集，对Yolox卷积神经网络进行训练，得到挖掘机目标检测模型及人体目标检测模型。3.根据权利要求1所述的一种基于计算机视觉的挖掘机与人碰撞事故预警方法，其特征在于，步骤S2中，构建基于深度学习的挖掘机识别模型包括以下步骤：利用开源数据集辅以数据增强方法对Hourglass神经网络进行训练，得到能够识别挖掘机机械臂及机身6个关键点的挖掘机2D关键点检测Hourglass模型；使用建模软件对挖掘机进行建模，绑定挖掘机施工作业时的运动动作，编写程序输出挖掘机运动过程中6个关键点在图像坐标系中的2D坐标和世界坐标系中的3D坐标，生成挖掘机2D关键点坐标转换为3D坐标的数据集；基于所述挖掘机2D关键点坐标转换为3D坐标的数据集训练Transformer模型，得到挖掘机2D关键点坐标转换为3D坐标Transformer模型。4.根据权利要求1所述的一种基于计算机视觉的挖掘机与人碰撞事故预警方法，其特征在于，步骤S3中，构建基于深度学习的人体识别模型包括以下步骤：使用MSCOCO数据集对Stacked Hourglass神经网络进行训练，得到人体2D关键点检测模型；使用Human3.6M数据集对VideoPose3D神经网络进行训练，得到人体3D骨架识别模型。5.根据权利要求1所述的一种基于计算机视觉的挖掘机与人碰撞事故预警方法，其特征在于，步骤S4中，划定挖掘机工作状态下的3D动态危险区域包括以下步骤：通过Yolox
‑
Hourglass
‑
Transformer模型，从所述施工现场视频流中得到挖掘机运行过程中的3D动态骨架，对其进行后处理；使用Savgol滤波器，对滑动窗口范围内的连续信号点进行多项式拟合，过滤掉挖掘机运行状态下3D骨架识别结果中的异常点；
将挖掘机工作状态下的运动分解为整体转动和机械臂伸展，并使用局部坐标系和全局坐标系表达挖掘机的运动状态；通过全局坐标系和局部坐标系将描述挖掘机工作状态下运动姿势的骨架关键点位置参数转换为4个角度参数θ1、θ2、θ3和θ4；其中，θ4用于表达挖掘机在全局坐标系下的整体旋转，θ1、θ2和θ3用于表达挖掘机在局部坐标系的x
‑
y平面内的机械臂伸展；计算挖掘机4个角度参数的当前时刻角速度：定义工人平均反应时间Δt，将工人平均反应时间内挖掘机机械臂可能扫过的3D区域作为挖掘机工作状态下的3D动态危险区域，即基于Δt计算挖掘机的运动趋势：得到4个角度参数值变化构成的3D区域作为挖掘机工作状态下的3D动态危险区域。6.根据权利要求5所述的一种基于计算机视觉的挖掘机与人碰撞事故预警方法，其特征在于，挖掘机...

【专利技术属性】
技术研发人员：徐峰，田泽卉，张志鹏，胡昊，陶钰，黄鹤，馬文迪，刘啸宇，梅心语，戴磊，胡喆，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：