【技术实现步骤摘要】
一种基于传感器和骨架信息的矿工行为识别方法
本专利技术一种基于传感器和骨架信息的矿工行为识别方法，属于矿工行为识别方法
技术介绍
我国是煤炭生产及消耗大国，随着国内煤矿机械化和智能化程度的提高，煤矿生产安全状况得到改善，但煤矿事故仍时有发生。而据统计和分析，煤矿事故的发生大多是由于矿工违规行为导致的。因此准确、高效的监控和识别矿工的行为，对降低煤矿事故发生率、保障企业财产安全十分重要。现有技术中，对人体行为的识别包括很多方法，其中以基于RGB图像的深度学习方法和基于骨架信息的深度学习方法为主，但由于煤矿井下的特殊环境，大多数对矿工行为的识别主要采用的是基于RGB图像提取的特征方法，这类方法通过提取图像特征再使用卷积神经网络来实现行为的识别。该类方法随着深度学习的发展，准确率不断提高，但会受到井下光照等因素的影响，识别率降低，且随着网络深度的加深，所消耗的资源就越大，从而导致实时性较差。而基于骨架信息的行为识别多使用Kinect深度相机来获取数据，虽然Kinect深度相机内自带三轴加速度传感器，但其主...
【技术保护点】
1.一种基于传感器和骨架信息的矿工行为识别方法，其特征在于：包括如下步骤：/n步骤一：数据的获取：通过传感器采集工人动作时的运动信息，通过深度相机采集工人动作同时的骨架信息，将所述运动信息和骨架信息发送至微控制器，所述微控制器提取骨架信息的关键点的空间坐标（xi，yi，zi）；/n步骤二：动作信息矩阵的建立及数据集的建立：将步骤一中采集的工人每个动作的各帧运动信息及骨架信息拼接生成每个动作的运动信息矩阵Xi，将所述运动信息矩阵Xi标注动作标签构成动作数据（Xi，Yi），Yi为工人运动动作的名称标签，由不同的工人多次重复需要识别的动作生成训练数据集{
【技术特征摘要】
1.一种基于传感器和骨架信息的矿工行为识别方法，其特征在于：包括如下步骤：
步骤一：数据的获取：通过传感器采集工人动作时的运动信息，通过深度相机采集工人动作同时的骨架信息，将所述运动信息和骨架信息发送至微控制器，所述微控制器提取骨架信息的关键点的空间坐标（xi，yi，zi）；
步骤二：动作信息矩阵的建立及数据集的建立：将步骤一中采集的工人每个动作的各帧运动信息及骨架信息拼接生成每个动作的运动信息矩阵Xi，将所述运动信息矩阵Xi标注动作标签构成动作数据（Xi，Yi），Yi为工人运动动作的名称标签，由不同的工人多次重复需要识别的动作生成训练数据集{,}，n为需要识别的动作数；
步骤三：深度学习网络模型的建立：
步骤3.1：特征提取网络CNN层的建立；
步骤3.2：分类识别层LSTM层的建立；
步骤四：模型的训练：
步骤4.1：通过卷积网络部分提取训练集的特征，将所述训练集的特征输入到LSTM网络中，采用Adam作为优化函数，设置学习率，并随着网络的训练，不断调整学习率，通过交叉验证的方法来测试网络的性能；
步骤4.2：使用测试集测试训练好的网络模型；
步骤五：矿工行为的识别：将运动信息矩阵Xi送入步骤四中训练好的网络模型中，通过LSTM网络输出动作类型。
2.根据权利要求1所述的一种基于传感器和骨架信息的矿工行为识别方法，其特征在于：所述步骤一中的运动信息通过安装在工人腰部的第一传感器和安装在工人小腿部位的第二传感器采集，所述运动信息包括加速度信息、陀螺仪信息、欧拉角信息；
所述骨架信息通过安装在矿井中工作场景的深度相机采集。
3.根据权利要求2所述的一种基于传感器和骨架信息的矿工行为识别方法，其特征在于：所述步骤二的具体步骤为：
步骤2.1：将每一帧骨架信息对应的20个关键点坐标进行预处理，包括：1）数据去噪，2）坐标变换，3）姿态归一化，将预处理后的坐标展开得到一帧骨架信息矩阵Ai=[x1,x2,……,x60]，上式中x1、x2、x3为第1个关键点的空间坐标,x4、x5、x6第2个关键点的空间坐标，依次类推，x58、x59、x60为第20个关键点的空间坐标；
步骤2.2：将与骨架信息对应帧的加速度传感器数据Bi=[a1,b1,c1,a2,b2,c2]与Ai拼接，得到Ci=[x1,x2,…x60,a1,b1,c1,a2...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。