一种基于构造式联邦学习的矿井人员违规动作识别方法技术

本发明专利技术公开了一种基于构造式联邦学习的矿井人员违规动作识别方法，包括：步骤1，获取历史视频，提取皮带矿工行为特征数据，标注行为类别并整理为各矿区本地矿工行为数据库；步骤2，各违规辨别终端构造本地网络模型最优隐层节点并计算本地网络模型当前方差；步骤3，聚合云构造聚合增隐层节点；步骤4，各违规辨别终端接收聚合增隐层节点，更新各违规辨别终端的新增隐层节点参数，判断是否继续进行构造式联邦学习；步骤5，通过违规辨别终端分辨矿工行为类别。本发明专利技术保证了各方数据的隐私性，解决了各矿区数据的孤岛问题，即每个矿区仅有本矿区的矿工行为数据，所训练的模型识别效果有限。本发明专利技术在保证各厂区数据安全的情况下联合训练出识别效果更好的模型。练出识别效果更好的模型。练出识别效果更好的模型。

【技术实现步骤摘要】
一种基于构造式联邦学习的矿井人员违规动作识别方法


[0001]本专利技术涉及矿区工人违规行为识别领域，尤其是适用一种基于构造式联邦学习的矿井人员违规动作识别方法。

技术介绍

[0002]我国是个地大物博的国家，矿产资源位居世界前列，潜力巨大，在开采和未开采的矿区不胜枚举，每年的各种矿石开采量不计其数，为我国的发展不断注入能源、材料。
[0003]在矿石开采开发中安全一直是个大问题，各种矿区事故触目惊心，对矿工生命和设备安全造成极大危害，其中工人在作业时的违规行为是个极大的隐患。杜绝工人违规行为的传统方法通常是人为的盯着监控屏幕，这种纯靠监控人员的监管存在着诸多弊端，比如：监控人员长时间高强度监控容易产生视觉疲劳，监控区域太多无法全部顾及等等。如果使用人工智能的监控方法，则可以大大提高监管效果，预防事故的发生，为工人和设备安全提供保障。然而现阶段的人工智能监控方法通常需要大量的人工标注数据来训练识别网络模型，仅仅依靠某一矿区内的数据通常难以训练出识别性能较好的网络模型。

技术实现思路

[0004]本专利技术旨在解决上述问题中的现有技术缺陷，提供一种基于构造式联邦学习的矿井人员违规动作识别方法，由于参与构造式联邦学习的矿区，设备相似，工业过程相似，矿工作业时动作相似，具有特征相似性，可以在保证各矿区数据隐私的情况下，联合训练出识别性能更优的网络模型，替代人为监控，提高监管效率，降低事故发生率。
[0005]针对上述技术问题，本专利技术提供的基于构造式联邦学习的矿井人员违规动作识别方法，包括以下步骤：
[0006]步骤1，通过安装在两个以上矿区皮带传送机上方的RGB摄像机获取各矿区皮带区域矿工作业行为的历史视频，使用人体骨架提取工具从视频流数据中分析提取皮带区域矿工行为的特征数据，人工标注行为类别并整理为各矿区本地矿工行为数据库；
[0007]Openpose作为一种人体骨架提取工具，可以提取视频流数据中矿工的骨架节点，根据所述提取的骨架节点可以进行筛选关键帧和提取矿工多维行为特征，多维特征包括矿工肢体相对距离特征值、矿工肢体角度特征值、帧间矿工肢体速度特征值和帧间矿工肢体角速度特征值。具体如下：
[0008]使用Openpose提取矿工骨架节点，所提取的矿工骨架节点中人为选取15个骨架节点，并组成可以表示矿工人体的14段刚体。矿工肢体相对距离特征值，即矿工人体14段刚体的长度，也即分别求14段刚体两端骨架节点的相对距离，以求右肩到肩部中心一段刚体长度为例，令肩部中心骨架节点坐标为p2(x2,y2)，右肩骨架节点坐标为p4(x4,y4)，则第2段刚体长度d2为：
[0009]d2＝|p2(x2,y2)
‑
p2(x4,y4)|
[0010]其中p
i
(x
i
,y
i
)表示骨架节点i的二维坐标。
[0011]为了消除个体骨架尺寸差异，对上述相对距离进行归一化处理，即所有骨架节点间的相对距离除以肩部中心点到臀部中心点的相对距离，即：
[0012][0013]其中h表示肩部中心点到臀部中心点的相对距离。
[0014]对于第n帧矿工行为图像，矿工肢体相对距离特征值L
n
表示为：
[0015]L
n
＝{d
n,1
,d
n,2
,...,d
n,14
|n＝1,2,...,N}
[0016]其中n表示矿工行为视频总长度N中的第n帧图像，d
n,i
表示第n帧图像的第i个矿工肢体相对距离特征值。
[0017]矿工肢体角度特征值即矿工人体各肢体之间所形成的角度特征值，人为选取14个矿工人体骨架的关键角度，以右臂为例求矿工肢体角度θ3特征值，令右肩骨架节点坐标为p4(x4,y4)，右肘骨架节点坐标为p5(x5,y5)，右手骨架节点坐标为p6(x6,y6)，则矿工肢体角度θ3特征值为：
[0018][0019]其中p
i
(x
i
,y
i
)表示骨架节点i的二维坐标。
[0020]对于第n帧矿工行为图像，矿工肢体角度特征值θ
n
表示为：
[0021]θ
n
＝{θ
n,1
,θ
n,2
,...,θ
n,14
|n＝1,2,...,N}
[0022]其中n表示矿工行为视频总长度N中的第n帧图像，θ
n,i
表示第n帧图像的第i个矿工肢体角度特征值。
[0023]使用余弦相似度对视频数据流进行关键帧提取，降低资源的消耗，加快模型的识别速度，对于两帧矿工肢体角度特征值：
[0024]θ
n
‑1(θ
n
‑
1,1
,θ
n
‑
1,2
,...,θ
n
‑
1,14
),θ
n
(θ
n,1
,θ
n,2
,...,θ
n,14
)
[0025]其中n
‑
1、n表示视频中的相邻两帧，θ
n
‑
1,i
、θ
n,i
分别表示第n
‑
1帧中的第i个角度特征值和第n帧中的第i个角度特征值。
[0026]两帧的相似度的计算公式如下：
[0027][0028]其中cos(θ)表示两帧的相似度，取值越接近于1则表明两帧越相似，当其超过设定阈值时则将相似帧舍去，该阈值一般经过实验测试得出。
[0029]帧间矿工肢体速度特征值即矿工同一骨架节点在两帧之间运动的平均速度。令n
‑
1，n表示相邻两帧矿工行为图像，则骨架节点i的帧间位移S
n,i
为：
[0030]S
n,i
＝|p
n,i
(x
n,i
,y
n,i
)
‑
p
n
‑
1,i
(x
n
‑
1,i
,y
n
‑
1,i
)|
[0031]其中p
n,i
(x
n,i
,y
n,i
)表示第n帧中第i个骨架节点的二维坐标。
[0032]令两帧间时间间隔为t，则第n帧中矿工骨架节点i的帧间速度V
n,i
为：
[0033][0034]第n帧的帧间矿工人体速度特征值可表示为：
[0035]V
n
＝{V
n,1
,V
n,2
,...,V
n,15
|n＝1,2,...,N}
[0036]其中n表示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于构造式联邦学习的矿井人员违规动作识别方法，其特征在于，包括以下步骤：步骤1，通过安装在两个以上矿区皮带传送机上方的RGB摄像机获取各矿区皮带区域矿工作业行为的历史视频，使用人体骨架提取工具从视频流数据中分析提取皮带区域矿工行为的特征数据，标注行为类别并整理为各矿区本地矿工行为数据库；步骤2，设置构造式联邦学习聚合云，每个矿区作为一个违规辨别终端，参与构造式联邦学习，在违规辨别终端构造本地网络模型时，以各矿区本地矿工行为数据库作为特征数据库，从零网络开始，逐渐增加隐层节点，本地网络模型每新构造一个节点，首先随机配置两组以上具有不同参数的隐层节点，进而以使判别式值最大为原则，选取最优隐层节点，将最优隐层节点及违规辨别终端本地网络模型当前方差传输至聚合云；步骤3，聚合云接收所有违规辨别终端的最优隐层节点进行自适应参数聚合，构造出聚合增隐层节点，并将聚合增隐层节点传输至各违规辨别终端；步骤4，各违规辨别终端接收聚合增隐层节点，更新各违规辨别终端的新增隐层节点参数，并计算本地网络模型输出权值参数，得到当前本地网络模型识别误差，根据各违规辨别终端的设定，判断当前本地网络模型识别误差是否满足违规辨别终端内皮带区域矿工行为违规动作识别精度要求，如果满足，则违规辨别终端退出构造式联邦学习；否则返回步骤2，继续构造新的隐层节点，进行下一轮联邦学习；步骤5，违规辨别终端完成构造式联邦学习后，根据皮带区域矿工作业实时的行为特征来分辨矿工行为类别。2.根据权利要求1所述的方法，其特征在于，步骤2中，使用随机配置神经网络作为每个违规辨别终端的本地网络模型，以k表示所有参与构造式联邦学习违规辨别终端中的第k个违规辨别终端，在违规辨别终端k开始参与构造式联邦学习时，初始化本地网络模型学习参数，包括：最大随机配置次数T
max
、期望容差ε
k
、隐层参数随机配置范围Υ＝{λ
min
:Δλ:λ
max
}、学习参数r
k
、激活函数g(.)、初始残差e0＝T
k
，其中λ
min
是随机参数的分配区间下限，λ
max
是随机参数的分配区间上限，Δλ为随机参数分配区间增量参数，T
k
是违规辨别终端k的本地皮带区域矿工行为特征数据的实际类别标签，ε
k
表示违规辨别终端k设定的期望容差，r
k
表示违规辨别终端k设定的学习参数，最大随机配置次数T
max
、隐层参数随机配置范围Υ和激活函数g(.)所有违规辨别终端设置相同。3.根据权利要求2所述的方法，步骤2中，在违规辨别终端k构造新的隐层节点L时，在服从高斯分布的对称区间Υ＝{
‑
λ
min
:λ

【专利技术属性】
技术研发人员：代伟，建中华，张瑞，刘广义，南静，季朗龙，袁冠，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：