一种基于计算机视觉和轨迹预测的工人安全动态评估方法技术

一种基于计算机视觉和轨迹预测的工人安全动态评估方法，首先，收集施工现场的有工人和运动危险物体的视频数据，对工人和危险物体进行数据标注，形成多目标跟踪训练数据集，提取物体的中心点坐标，形成轨迹预测训练数据集。其次，将视频数据输入到多目标跟踪模型中训练模型。接下来，将物体的轨迹序列输入到轨迹预测模型中训练模型。之后，选择一个未被标注的视频数据依次输入到两个模型中，根据轨迹预测模型的输出结果结合安全评价规则输出视频安全风险评估结果。本发明专利技术结合计算机视觉技术的多目标跟踪技术对施工现场的工人和危险物体进行跟踪，将被跟踪物体的轨迹结合轨迹预测方法预测其未来一段时间的轨迹，根据预测轨迹和创建的安全水平评价规则识别出是否有碰撞的风险。撞的风险。撞的风险。

【技术实现步骤摘要】
一种基于计算机视觉和轨迹预测的工人安全动态评估方法


[0001]本专利技术属于施工现场管理
，涉及到一种识别建筑工人安全风险的方法，尤其涉及一种基于计算机视觉和轨迹预测的工人安全动态评估方法。

技术介绍

[0002]建筑施工现场工人的职业健康和安全一直是备受关注问题，一旦工人出现安全问题会给各方带来经济损失。当前建筑工地的安全风险管理主要依赖于安全管理人员的人工监测，这是劳动密集型工作，需要大量的人力成本且难以全天候监测。近年来，计算机视觉快速发展，建筑工地普遍安装摄像头以监控作业场所，这为计算机视觉在建筑工地上的应用提供了支持。基于计算机视觉方法的安全风险管理方法具有无接触性、全天无休等优点被广泛应用，但当前的研究大多分析某一时刻施工现场的安全状况，并没有考虑到事故之间的前后关联，无法对未来是否发生危险进行预测，提前预测往往比预防接近事故更加重要和有效。
[0003]在施工现场，工人与设备之间的碰撞和挤压是一种主要的事故类型。由于工人过于关注完成自己的工作或施工现场环境复杂，工人难以注意到周围环境的变化，容易使自己陷入到危险之中。即使工人能够注意到距离自己周围比较近的空间，但如果危险物体运动速度过快，工人来不及反应做出相应的规避动作，依然会发生安全事故。因此，提前预测工人和物体的运动并保留一定的时间给工人思考和规避对降低安全事故的发生率具有重要意义。

技术实现思路

[0004]考虑到的视频监控方法为管理人员和从业者提供改善现场施工作业安全性能的优势。未解决上述难题，本专利技术借助于计算机视觉技术和轨迹预测，构建动态实时的施工现场的安全风险评估系统，旨在用于监测施工现场的风险动向和辅助完成事故预警，改善目前施工现场管理水平，最大程度地降低事故发生概率，以保障施工项目的人员和财产安全。
[0005]为了实现上述目的，本专利技术采用的技术方案如下：
[0006]一种基于计算机视觉和轨迹预测的工人安全动态评估方法，包含以下步骤：
[0007]第一步，收集含有工人和移动危险物体施工现场的视频数据，将其作为模型的原始数据。视频数据从施工现场垂直往下拍摄的摄像头中获取。对视频数据进行划分，不同作业区和不连续的视频分别作为单独的数据集进行标注，连续的视频片段但被单独存放的视频合并为同一个视频文件。
[0008]第二步，制作多目标跟踪模型的数据集。使用多目标跟踪视频标注工具DarkLabel对收集到的视频数据进行标注。标签选择工人、危险物体两类，用一个物体标注框圈住图片中出现的这两类物体。建立像素坐标系，以图片左上角为原点，向右为x轴，向下为y轴，每个像素为1单位。视频的每帧图片i中一个物体的标注框数据为分别为左上角x轴和y轴的像素坐标，右下角x轴和y轴的像素坐标。不同的工人赋予不同的跟踪ID，从1开始连
续编号；不同的危险物体同样赋予不同的跟踪ID，从1开始连续编号。按照时间的先后顺序划分数据，形成多目标跟踪模型训练的训练集、验证集，比例为8:2。第i帧图片中物体j的标注数据为：
[0009][0010]其中，C
i
为物体类别(工人或危险物体)，ID
i
为每个标注框赋予的跟踪ID，取值为正自然数。
[0011]第三步，制作轨迹预测模型的数据集。根据第二步对视频数据标注的结果，经过处理形成物体的轨迹数据。对视频的每帧图片i提取每个物体标注的中线点，物体中心点像素坐标按照下式计算：
[0012][0013]按照视频的时间顺序合并类别相同且跟踪ID相同的物体中心点坐标，生成为轨迹的时间序列数据。类别相同且跟踪ID相同的轨迹数据为：
[0014][0015]其中，C为物体类别(工人或危险物体)，ID为每个标注框赋予的跟踪ID，T为标注物体 (C,ID)在视频中出现的最大时间。按照第二步数据划分的方式，形成轨迹预测模型训练的训练集、验证集。
[0016]第四步，在PyTorch框架下训练多目标跟踪模型和轨迹预测模型。多目标跟踪模型可以任意选择，如FairMOT、DeepSORT等，在多目标跟踪模型训练的训练集上训练模型，选择在多目标跟踪模型训练的验证集上表现最好的模型作为最终的多目标跟踪模型，评价指标选择 MOTA，其值越大越好。
[0017]轨迹预测模型输入为物体历史10s内的中心点的坐标序列，预测接下来10s的中心点坐标序列，每秒含有2个中心点坐标。轨迹预测模型选择时间序列预测模型，如LSTM、Transformer 等，在轨迹预测模型的训练集上训练模型，选择在轨迹预测模型训练的验证集上表现最好的模型作为最终的轨迹预测模型，评价指标选择平均位移误差(ADE)，其值越小越好。
[0018]第五步，计算像素坐标与实际坐标转换系数。固定相机的位置，在施工现场放置一个长度为L的物体，测量相机拍摄的物体像素长度l，计算转换系数为：
[0019][0020]第六步，选择一个未被标注的视频序列，将每帧数据连续输入到多目标跟踪模型中，得到多目标跟踪的结果，结果如式(1)所示，包含每个物体的检测框和类别及跟踪的ID。同时，记录每个物体的跟踪中心点坐标，计算方式为式(2)。将类别相同且跟踪ID相同的物体中心点坐标聚合，如式(3)，输入到轨迹预测模型中，得到每个物体的中心点预测轨迹：
[0021][0022]转换为实际坐标：
[0023][0024]第七步，基于轨迹的安全评价模型计算工人安全水平。分为以下几步：
[0025](1)确定距离(m)、时间(s)、速度阈值(m/s)，分别为D1,D2、T1,T2、V，其中D1,D2为两个距离阈值，且D1<D2；T1,T2为时间阈值，T1<T2；V为速度阈值。阈值大小根据管理人员的经验或相关文献来选择，取值越小安全计算的安全水平越低，模型越灵敏；反之，安全水平越高，模型越钝化。D1,T1为危险阈值，用于判断危险；D2,T2为警告阈值，用于发出警报，引起相关人员注意。
[0026](2)输入工人和危险物体的预测轨迹，包含为n个工人的预测轨迹和 m个移动危险物体的预测轨迹工人和危险物体检测框的像素坐标。
[0027](3)计算工人i，i＝1,2,...,n与危险物体j，j＝1,2,...,m的预测轨迹之间的最短距离工人i与危险物体j的轨迹分别为计算每个坐标点的距离，即两个物体的表面距离：
[0028][0029]其中，k＝1,2,...,20，为工人i检测框的像素坐标，分别为左上角x轴和y轴的像素坐标，右下角x轴和y轴的像素坐标；为危险物体j检测框的像素坐标；d(
·
)的计算公式为：
[0030][0031]其中，x1,y1,x2,y2为或得到距离序列计算距离的最小值
[0032](4)计算工人i，i＝1,2,...,n与危险物体j，j＝1,2,...,m的预测轨迹之间的距离序列满足距离阈值的最小时间t
ij
。计算公式为：
[0033]t
ij
＝本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉和轨迹预测的工人安全动态评估方法，其特征在于，包括以下步骤：第一步，收集含有工人和移动危险物体施工现场的视频数据，将其作为模型的原始数据；视频数据从施工现场垂直往下拍摄的摄像头中获取；对视频数据进行划分，不同作业区和不连续的视频分别作为单独的数据集进行标注，连续的视频片段但被单独存放的视频合并为同一个视频文件；第二步，制作多目标跟踪模型的数据集；使用多目标跟踪视频标注工具对收集到的视频数据进行标注；标签选择工人、危险物体两类，用一个物体标注框圈住图片中出现的这两类物体；建立像素坐标系，以图片左上角为原点，向右为x轴，向下为y轴，每个像素为1单位；视频的每帧图片i中一个物体的标注框数据为分别为左上角x轴和y轴的像素坐标，右下角x轴和y轴的像素坐标；不同的工人赋予不同的跟踪ID，从1开始连续编号；不同的危险物体同样赋予不同的跟踪ID，从1开始连续编号；按照时间的先后顺序划分数据，形成多目标跟踪模型训练的训练集、验证集，比例为8:2；第i帧图片中物体j的标注数据为：其中，C
i
为物体类别(工人或危险物体)，ID
i
为每个标注框赋予的跟踪ID，取值为正自然数；第三步，制作轨迹预测模型的数据集；根据第二步对视频数据标注的结果，经过处理形成物体的轨迹数据；对视频的每帧图片i提取每个物体标注的中线点，物体中心点像素坐标按照下式计算：按照视频的时间顺序合并类别相同且跟踪ID相同的物体中心点坐标，生成为轨迹的时间序列数据；类别相同且跟踪ID相同的轨迹数据为：其中，C为物体类别(工人或危险物体)，ID为每个标注框赋予的跟踪ID，T为标注物体(C,ID)在视频中出现的最大时间；按照第二步数据划分的方式，形成轨迹预测模型训练的训练集、验证集；第四步，在PyTorch框架下训练多目标跟踪模型和轨迹预测模型；多目标跟踪模型可以任意选择在多目标跟踪模型训练的训练集上训练模型，选择在多目标跟踪模型训练的验证集上表现最好的模型作为最终的多目标跟踪模型，评价指标选择MOTA，其值越大越好；轨迹预测模型输入为物体历史10s内的中心点的坐标序列，预测接下来10s的中心点坐标序列，每秒含有2个中心点坐标；轨迹预测模型选择时间序列预测模型，在轨迹预测模型的训练集上训练模型，选择在轨迹预测模型训练的验证集上表现最好的模型作为最终的轨
迹预测模型，评价指标选择平均位移误差ADE，其值越小越好；第五步，计算像素坐标与实际坐标转换系数；固定相机的位置，在施工现场放置一个长度为L的物体，测量相机拍摄的物体像素长度l，计算转换系数为：第六步，选择一个未被标注的视频序列，将每帧数据连续输入到多目标跟踪模型中，得到多目标跟踪的结果，结果如式(1)所示，包含每个物体的检测框和类别及跟踪的ID；同时，记录每个物体的跟踪中心点坐标，计算方式为式(2)；将类别相同且跟踪ID相同的物体中心点坐标聚合，如式(3)，输入到轨迹预测模型中，得到每个物体的中心点预测轨迹：转换为实际坐标：第七步，基于轨迹的安全评价模型计算工人安全水平；分为以下几步：(1)确定距离(m)、时间(s)、速度阈值(m/s)，分别为D1,D2、T1,T2、V，其中D1,D2为两个距离阈值，且D1<D2；T1,T2为时间阈值，T1<T2；V为速度阈值；阈值取值越小安全计算的安全水平越低，模型越灵敏；反之，安全水平越高，模型越钝化；D1,T1为危险阈值，用于判断危险；D2,T2为警...

【专利技术属性】
技术研发人员：张明媛，葛首蒙，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：