【技术实现步骤摘要】
本专利技术涉及行为识别，特别涉及一种基于作业人员行为规范的作业质量监控方法、系统及存储介质。
技术介绍
1、在电力生产过程中，作业现场安全监督对于作业质量监控具有重要意义，电力作业是相对比较复杂的工序，其中涉及很多的危险性工序。电力事故不仅会造成人身伤害，还会影响电力系统的稳定运行，电力安全规程已经对电力作业提出了安全规范，要求在作业期间预防事故，做好安全措施。为了保障电力作业人员的安全，电力行业制定了全方位的安全工作规程，并在作业人员上岗前进行培训，规范其行为操作提高其安全素质。
2、但是目前很多电力作业人员在工作中未树立正确的安全观念，缺乏足够的防范意识，严重影响作业的安全性与可靠性。若相关作业人员安全意识淡薄，未按照电力作业特点、规律和现场实际情况合理参与到工作中，会严重影响电力作业的安全性和设备的安全运行。同时，电力现场监管人员的管理责任缺失对作业现场监管不严，也是电力事故发生的主要原因。
3、如何高效地加强作业现场的安全管控力度，进而提高作业质量，提高电力作业人员的安全和工作质量，促进电力作业人员提升安全意识避免违章成为亟需解决的问题。
技术实现思路
1、本专利技术提供了一种基于作业人员行为规范的作业质量监控方法、系统及存储介质，通过深度神经网络对提取的电力作业人员的骨骼图进行行为识别，提高了检测的速度和准确率，及时对异常行为检测并进行预警处理，避免出现严重的安全事故，进而提高电力现场作业质量。
2、本专利技术提供了一种基于作业人员行为
3、获取具有作业人员行为的视频流，并将所述视频流处理为视频帧图像；
4、将所述视频帧图像输入到用于人体2d姿态估计的预设openpose模型中，以提取作业人员的关键点位置信息及关键点连接的骨骼图；
5、将提取得到的所述骨骼图输入预设的深度神经网络dnn进行作业人员的行为识别；
6、将所述作业人员的行为识别结果与预设的正常行为进行比较，以识别所述作业人员的异常行为；
7、统计所述视频帧图像中的所述作业人员发生异常行为的次数，并当异常行为的次数超过设定比例时启动质量检测，同时发出警告。
8、进一步地，所述将所述视频帧图像输入到用于人体2d姿态估计的预设openpose模型中，以提取作业人员的关键点位置信息及关键点连接的骨骼图的步骤中，用于人体2d姿态估计的预设openpose模型包括：
9、在第一阶段采用计算机视觉组vgg的前10层为输入图像创建特征映射f，得到特征图；
10、将第一阶段输出得到的特征图作为输入，进行两个分支多阶段卷积神经网络迭代训练；
11、每个阶段均为串行的模块，前面的阶段先检测出简单的关键点，后面的阶段根据前面检测出的信息继续检测更复杂情况下的关键点；通过多阶段的卷积神经网络的反复预测，实现渐进优化的过程，使得到的预测结果更加准确。
12、进一步地，所述将第一阶段输出得到的特征图作为输入，进行两个分支多阶段卷积神经网络迭代训练的步骤中，第一个分支输出结果为s的集合s＝(s1,s2,...,sj),j∈{1,2,...,j}，j表示第j个关键点，用于预测人体关键点位置信息的一组2d置信图；另一个分支输出结果为l的集合，l＝(l1,l2,...,lc),c∈{1,2,...,c}c表示第c个躯干，用于预测部分亲和度的2d矢量场，表示关键点与关键点之间的局部区域亲和力paf，如公式：
13、
14、
15、其中，ρ1和ρt分别为第一阶段和第t阶段pcm的预测网络；φ1和φt分别为第一阶段和第t阶段paf的预测网络。
16、进一步地，最后得到置信图和亲和力，通过关键点对dj1和dj2之间的paf判断关键点之前的连接是否正确，如公式：
17、
18、其中，dj1和dj2分别为某人的两个连续的像素点j1和j2，p(u)为连续像素点之间连线的取值，p(u)＝(1-u)dj1+dj2，u的取值为(0,1)。
19、进一步地，所述将提取得到的所述骨骼图输入预设的深度神经网络dnn进行作业人员的行为识别的步骤中，预设的深度神经网络dnn包括：输入层、隐藏层和输出层，假设输入n维的信号，特征向量表示为x＝(x1,x2,...,xn)t，那么，每个隐藏层的神经元与前一层之间的神经元权值的关系表示为：
20、y＝f(wtx+b)
21、其中，y为输出，f为非线性激活函数，w为权值系数，b为偏置；每个神经元的输出值是输入信号的线性组合，加上偏置后经过一个非线性的激活函数f的输出值结果，每个神经元经过n层隐藏层处理后，通过最后一层输出层得到的结果即最终dnn的输出结果。
22、进一步地，预设的深度神经网络dnn所采用的训练模型损失函数为均方误差函数，公式为：
23、
24、其中，n为样本数，yi为样本真实值，为dnn的输出。
25、进一步地，w和b的优化更新过程表示为：
26、
27、其中，w'和b'分别为进入网络后更新的权重值和偏差，η为网络的学习率。通过学习率来控制网络的学习进度，并且能够决定网络是否能够成功找到全局最小值以及确定最小值的时间，通过调节学习率得到全局的最优参数解。
28、本专利技术提供了一种基于作业人员行为规范的作业质量监控系统，包括：
29、获取模块，用于获取具有作业人员行为的视频流，并将所述视频流处理为视频帧图像；
30、提取模块，用于将所述视频帧图像输入到用于人体2d姿态估计的预设openpose模型中，以提取作业人员的关键点位置信息及关键点连接的骨骼图；
31、识别模块，用于将提取得到的所述骨骼图输入预设的深度神经网络dnn进行作业人员的行为识别；
32、比较模块，用于将所述作业人员的行为识别结果与预设的正常行为进行比较，以识别所述作业人员的异常行为；
33、检测模块，用于统计所述视频帧图像中的所述作业人员发生异常行为的次数，并当异常行为的次数超过设定比例时启动质量检测，同时发出警告。
34、本专利技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
35、本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
36、本专利技术的有益效果为：
37、本专利技术将电力作业人员的骨骼图通过2d人体姿态估计算法openpose提取出来，利用vgg网络的前10层提取电力作业人员的特征信息，避免电力现场的复杂环境影响提取目标的抽象特征。并利用庞大丰富的数据量，通过对深度神经网络模型的训练，使得该模型的鲁棒性与泛化能力有所提升。使得本专利技术能够有效地识别作业人员的行为动作，并能对危险行为发本文档来自技高网...
【技术保护点】
1.一种基于作业人员行为规范的作业质量监控方法，其特征在于，包括：
2.根据权利要求1所述的基于作业人员行为规范的作业质量监控方法，其特征在于，所述将所述视频帧图像输入到用于人体2D姿态估计的预设OpenPose模型中，以提取作业人员的关键点位置信息及关键点连接的骨骼图的步骤中，用于人体2D姿态估计的预设OpenPose模型包括：
3.根据权利要求2所述的基于作业人员行为规范的作业质量监控方法，其特征在于，所述将第一阶段输出得到的特征图作为输入，进行两个分支多阶段卷积神经网络迭代训练的步骤中，第一个分支输出结果为S的集合S＝(S1,S2,...,Sj),j∈{1,2,...,j}，j表示第j个关键点，用于预测人体关键点位置信息的一组2D置信图；另一个分支输出结果为L的集合，L＝(L1,L2,...,Lc),c∈{1,2,...,c}c表示第c个躯干，用于预测部分亲和度的2D矢量场，表示关键点与关键点之间的局部区域亲和力PAF，如公式：
4.根据权利要求3所述的基于作业人员行为规范的作业质量监控方法，其特征在于，最后得到置信图和亲和力，通过关键点
5.根据权利要求1所述的基于作业人员行为规范的作业质量监控方法，其特征在于，所述将提取得到的所述骨骼图输入预设的深度神经网络DNN进行作业人员的行为识别的步骤中，预设的深度神经网络DNN包括：输入层、隐藏层和输出层，假设输入n维的信号，特征向量表示为X＝(x1,x2,...,xn)T，那么，每个隐藏层的神经元与前一层之间的神经元权值的关系表示为：
6.根据权利要求5所述的基于作业人员行为规范的作业质量监控方法，其特征在于，预设的深度神经网络DNN所采用的训练模型损失函数为均方误差函数，公式为：
7.根据权利要求5所述的基于作业人员行为规范的作业质量监控方法，其特征在于，w和b的优化更新过程表示为：
8.一种基于作业人员行为规范的作业质量监控系统，其特征在于，包括：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种基于作业人员行为规范的作业质量监控方法，其特征在于，包括：
2.根据权利要求1所述的基于作业人员行为规范的作业质量监控方法，其特征在于，所述将所述视频帧图像输入到用于人体2d姿态估计的预设openpose模型中，以提取作业人员的关键点位置信息及关键点连接的骨骼图的步骤中，用于人体2d姿态估计的预设openpose模型包括：
3.根据权利要求2所述的基于作业人员行为规范的作业质量监控方法，其特征在于，所述将第一阶段输出得到的特征图作为输入，进行两个分支多阶段卷积神经网络迭代训练的步骤中，第一个分支输出结果为s的集合s＝(s1,s2,...,sj),j∈{1,2,...,j}，j表示第j个关键点，用于预测人体关键点位置信息的一组2d置信图；另一个分支输出结果为l的集合，l＝(l1,l2,...,lc),c∈{1,2,...,c}c表示第c个躯干，用于预测部分亲和度的2d矢量场，表示关键点与关键点之间的局部区域亲和力paf，如公式：
4.根据权利要求3所述的基于作业人员行为规范的作业质量监控方法，其特征在于，最后得到置信图和亲和力，通过关键点对dj1和dj2之间的paf判断关键点之前的连接是否正确...
【专利技术属性】
技术研发人员：李靖翔，赖皓，王海威，石延辉，江志波，苏伟达，潘立邦，庄小亮，雍育烨，何园峰，姚言超，张博，赵猛，阳祎，柳林海，杨帆，胡辉祥，梁毅灵，刘羽超，尹海涛，郑权，张鹏，严伟，杨洋，
申请(专利权)人：中国南方电网有限责任公司超高压输电公司广州局，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。