一种挖掘机施工盲区环境碰撞隐患预测方法技术

本发明专利技术提供了一种挖掘机施工盲区环境碰撞隐患预测方法，包括以下方法步骤：步骤1挖掘机驾驶员盲区视频提取；步骤2视频中物料特征点云提取；步骤3隐患点云辨别：步骤4隐患运动预测；步骤5：隐患碰撞报警。本发明专利技术方法能够避免挖掘机施工时与驾驶员盲区的物料产生碰撞事故，提高了挖掘机施工的安全性，同时能够实现自动化识别判断挖掘机施工工程中的碰撞隐患风险，为后续研究全自动化挖掘机械提供依据。据。据。

【技术实现步骤摘要】
一种挖掘机施工盲区环境碰撞隐患预测方法


[0001]本专利技术属于基建工程领域，涉及挖掘机施工过程中的安全管理领域，是一种施工隐患预测技术，尤其是一种挖掘机施工盲区环境隐患预测方法。

技术介绍

[0002]随着城市工业化与信息化的发展，很多基础工程设施需要重建或改造，其中涉及到大量的挖掘周遭环境复杂情况下的路面挖掘作业。城市路面的挖掘作业可能造成城市地下埋管、电缆等破坏，导致周围人员生命财产损失；此外，挖掘作业易受人为因素影响，挖掘过程中的安全控制主要依赖驾驶员的可视化水平和现场指挥员的指挥，但由于驾驶员施工存在视野盲区且时常不存在现场指挥员的指导，施工安全与质量难以得到有效保障。
[0003]目前已有挖掘机智能可视化技术，实现了挖掘机施工姿态的实时感知及监控，可引导操作人员进行精准挖掘作业施工，提高了施工质量与效率。但是，由于智能可视化设备造价较高，且通常引导挖掘机施工需要计算机处理时间间隔，无法迅速的引导驾驶员操作机械，且驾驶员对于挖掘机施工周围环境不可视，难以把控挖掘机周遭的复杂情况，易引发挖掘机碰撞事故。所以，有必要通过监测挖掘机周遭环境，辨别环境中存在的碰撞隐患，预测碰撞隐患的运行轨迹，超前预报是否有发生碰撞的可能，提醒挖掘机驾驶员及管理人员，提高路面挖掘作业的安全性，减少安全事故的发生。
[0004]综上，有必要研究一种适用于施工环境复杂的挖掘机施工盲区环境碰撞隐患预测方法，以在挖掘机施工过程中超前预报可能产生的碰撞情况，保证后续施工的安全。

技术实现思路

[0005]本专利技术的目的是提供一种挖掘机施工盲区环境碰撞隐患预测方法，利用提取点云判断隐患及当前的运行轨迹预测后续的隐患运行轨迹，超前预报挖掘机施工过程中可能产生的碰撞情况。
[0006]为了实现上述的技术特征，本专利技术的目的是这样实现的：一种挖掘机施工盲区环境碰撞隐患预测方法，包括以下步骤：
[0007]步骤1，挖掘机驾驶员盲区视频提取：
[0008]根据挖掘机施工过程中，驾驶员不可视的视野盲区，通过布置全景摄像头采集数据，需采集到挖掘机施工盲区的全景，并实时上传至云端进行存储和处理；
[0009]步骤2，视频中物料特征点云提取：
[0010]先基于采集到视频实时提取图像，之后基于图像提取相应的特征点云，并依据提取的特征点构建物料的点云；
[0011]步骤3，隐患点云辨别：
[0012]首先，将步骤2中提取的特征点云进行配准到一个空间坐标系内，并依据提取的特征点云构建点云，即把提取的特征点云按照空间关系重建成点云，此时将有近邻的特征点云构建的点云认为是隐患物料点云，而没有近邻的点云视为能共存的物体，不会对挖掘机
的施工造成安全隐患；
[0013]步骤4，隐患运动预测：
[0014]将前一时刻运动到的地点与下一时刻运动到的地点记录下来，以此得到连续时间段内的运动轨迹，并基于施工路径，构建隐患运动网络，基于神经网络预测隐患运动的轨迹；
[0015]步骤5，隐患碰撞报警：
[0016]以挖掘机施工路径作为红线，与预测隐患运动轨迹的交点作为报警点，并立即产生碰撞报警，提醒挖掘机驾驶员存在碰撞隐患，并实时在显示屏上显示当前施工环境，辅助驾驶员做出应急操作。
[0017]所述步骤2视频中物料特征点云提取，操作方法如下：
[0018]从实时采集的挖掘机盲区影像中可获取相应的特征点信息，包括该特征点的三维坐标、摄像头姿态、摄像头焦距和摄像头分辨率，并将其转换为建立虚拟相机的参数，利用转换好的地理标签参数，在构建的施工路径中相同位置以相同相机姿态和成像参数进行渲染，得到与实际位置相同的特征点云，并将生成的特征点云叠加到对应施工路径之上。
[0019]所述摄像头姿态包括摄像头所处的角度以及位置。
[0020]所述步骤3中隐患点云辨别，操作方法如下：
[0021]对实时生成的特征点云，通过三维重建，平移、旋转到一个相同的空间坐标系下，上述的三维重建方法可通过点云配准将不同坐标系下的点云统一到一个相同的坐标系中，并以此空间关系构建点云，将有近邻的特征点云构建的点云认为是隐患物料点云，而没有近邻的点云视为能共存的物体，基于此原理提取可能对挖掘机施工造成影响的隐患点云。
[0022]所述步骤4中隐患运动预测，操作方法如下：
[0023]将步骤3中辨别到的隐患点云，根据点云前一时刻与此时刻的地点记录下来，并基于此前的时刻在挖掘机施工路径中构建隐患行进轨迹网络，基于神经网络预测未来时刻隐患运动的轨迹，得到隐患运动的轨迹图。
[0024]所述步骤4中预测隐患运动轨迹对挖掘机施工造成的影响，操作方法如下：
[0025]首先，将得到的隐患运动轨迹图叠加显示在挖掘机施工路径图上，然后，以挖掘机施工路径为红线，红线与隐患运动轨迹相交时发出报警信息，提醒现场管理人员与挖掘机驾驶员，最后，实时在显示上显示当前隐患处的具体情况，辅助驾驶员做出应急操作。
[0026]所述的显示屏包括云端服务器端的显示屏及挖掘机驾驶室内的显示屏，分别供管理人员及挖掘机驾驶员做出判断。
[0027]所述步骤3中将步骤2中提取的特征点云进行配准到一个空间坐标系内，包括平移、旋转其变换操作如式(1)所示：
[0028][0029]式(1)中，[x
′
i y
′
i z
′
i
]T
表示配准转换后特征点云的坐标值；[x
i y
i z
i
]T
表示初始特征点云的坐标值；
[0030]表示旋转矩阵；表示平移矩阵，其中a、β、γ分别表示点沿下x、y、z轴的旋转角度，t
x.
、t
y
、t
z
则表示点沿x、y、z轴的平移量；
[0031]基于此得到特征点云在同一个空间坐标系下的关系，并依据提取的特征点云构建点云，即把提取的特征点云按照空间关系重建成点云，此时将有近邻的特征点云构建的点云认为是隐患物料点云，而没有近邻的点云视为能共存的物体，不会对挖掘机的施工造成安全隐患；
[0032]采用上述的相邻原则筛选得到，可能对挖掘机运行产生碰撞的隐患点云。
[0033]所述步骤4隐患运动预测过程为：
[0034]将前一时刻运动到的地点与下一时刻运动到的地点记录下来，以此得到连续时间段内的运动轨迹，并基于施工路径，构建隐患运动网络，基于神经网络预测隐患运动的轨迹如下：l为设定值；h＝1,2,
…
,n
a
,b＝1,2,
…
,n
b
；
[0035]取二次性能指标函数：
[0036][0037]式(2)中，r
g
为控制的参数；Δu(h+g
‑
1)＝u(h+g
‑
1)
‑
u(h+g
‑
2)，可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种挖掘机施工盲区环境碰撞隐患预测方法，其特征在于，包括以下步骤：步骤1，挖掘机驾驶员盲区视频提取：根据挖掘机施工过程中，驾驶员不可视的视野盲区，通过布置全景摄像头采集数据，需采集到挖掘机施工盲区的全景，并实时上传至云端进行存储和处理；步骤2，视频中物料特征点云提取：先基于采集到视频实时提取图像，之后基于图像提取相应的特征点云，并依据提取的特征点构建物料的点云；步骤3，隐患点云辨别：首先，将步骤2中提取的特征点云进行配准到一个空间坐标系内，并依据提取的特征点云构建点云，即把提取的特征点云按照空间关系重建成点云，此时将有近邻的特征点云构建的点云认为是隐患物料点云，而没有近邻的点云视为能共存的物体，不会对挖掘机的施工造成安全隐患；步骤4，隐患运动预测：将前一时刻运动到的地点与下一时刻运动到的地点记录下来，以此得到连续时间段内的运动轨迹，并基于施工路径，构建隐患运动网络，基于神经网络预测隐患运动的轨迹；步骤5，隐患碰撞报警：以挖掘机施工路径作为红线，与预测隐患运动轨迹的交点作为报警点，并立即产生碰撞报警，提醒挖掘机驾驶员存在碰撞隐患，并实时在显示屏上显示当前施工环境，辅助驾驶员做出应急操作。2.根据权利要求1所述一种挖掘机施工盲区环境碰撞隐患预测方法，其特征在于：所述步骤2视频中物料特征点云提取，操作方法如下：从实时采集的挖掘机盲区影像中可获取相应的特征点信息，包括该特征点的三维坐标、摄像头姿态、摄像头焦距和摄像头分辨率，并将其转换为建立虚拟相机的参数，利用转换好的地理标签参数，在构建的施工路径中相同位置以相同相机姿态和成像参数进行渲染，得到与实际位置相同的特征点云，并将生成的特征点云叠加到对应施工路径之上。3.根据权利要求2所述一种挖掘机施工盲区环境碰撞隐患预测方法，其特征在于：所述摄像头姿态包括摄像头所处的角度以及位置。4.根据权利要求1所述一种挖掘机施工盲区环境碰撞隐患预测方法，其特征在于：所述步骤3中隐患点云辨别，操作方法如下：对实时生成的特征点云，通过三维重建，平移、旋转到一个相同的空间坐标系下，上述的三维重建方法可通过点云配准将不同坐标系下的点云统一到一个相同的坐标系中，并以此空间关系构建点云，将有近邻的特征点云构建的点云认为是隐患物料点云，而没有近邻的点云视为能共存的物体，基于此原理提取可能对挖掘机施工造成影响的隐患点云。5.根据权利要求1所述一种挖掘机施工盲区环境碰撞隐患预测方法，其特征在于：所述步骤4中隐患运动预测，操作方法如下：将步骤3中辨别到的隐患点云，根据点云前一时刻与此时刻的地点记录下来，并基于此前的时刻在挖掘机施工路径中构建隐患行进轨迹网络，基于神经网络预测未来时刻隐患运动的轨迹，得到隐患运动的轨迹图。6.根据权利要求1所述一种挖掘机施工盲区环境碰撞隐患预测方法，其特征在于：所述
步骤4中预测隐患运动轨迹对挖掘机施工造成的影响，操作方法如下：首先，将得到的隐患运动轨迹图叠加显示在挖掘机施工路径图上，然后，以挖掘机施工路...

【专利技术属性】
技术研发人员：焦梦婷，李秀兰，焦双凤，邓惠芳，时鸿娟，张琳，张鑫鑫，杨怡，
申请(专利权)人：湖北三峡职业技术学院，
类型：发明
国别省市：