基于GMM表征的煤矿放炮不安全动作识别与判定方法技术

一种基于GMM表征的煤矿放炮不安全动作识别与判定方法，具体过程是：(1)人体骨架序列数据预处理，通过kinect获取人体骨架序列数据，通过数据手套获取手关节数据，对人体骨架序列数据和手关节数据进行去噪和归一化的预处理；(2)人体骨架序列数据表征：①动作的GMM特征，②骨骼序列时间序列表征，③动作表征GMM特征提取；(4)基于贝叶斯分类器的行为识别。本发明专利技术把一个动作理解为几个关键姿态的顺序组合，利用混合高斯模型GMM模型表征动作关键姿态的方法，简化了问题的处理，具有一定的有效性，识别和判定准确解决了煤矿放炮动作时间序列长、动作复杂、判定困难的问题。

Identification and determination method of unsafe action of coal mine firing based on GMM characterization

A method for identifying and judging the unsafe action of coal mine blasting based on GMM characterization is proposed. The specific process is as follows: (1) Preprocessing the human skeleton sequence data, obtaining the human skeleton sequence data by kinect, obtaining the hand joint data by data glove, denoising and normalizing the human skeleton sequence data and hand joint data. (2) Characterization of human skeleton sequence data: 1) GMM characteristics of action, 2) time series representation of skeleton sequence, 3) GMM feature extraction of action representation; (4) Behavior recognition based on Bayesian classifier. The invention interprets an action as a sequence combination of several key postures, and uses GMM model to characterize the key postures of the action, simplifies the processing of the problem, has certain validity, and accurately solves the problems of long time series, complex action and difficult judgment of coal mine blasting action.

【技术实现步骤摘要】
基于GMM表征的煤矿放炮不安全动作识别与判定方法
本专利技术涉及一种用于对煤矿放炮不安全动作在沉浸式虚拟现实环境下进行识别与判定的方法，属于煤矿放炮安全操作

技术介绍
煤矿不安全动作是导致的煤矿安全事故的主要原因，而其中由于放炮员放炮引发的瓦斯爆炸事故又是发生频率最高死亡人数最多的。消除放炮过程中的不安全动作，主要是通过对放炮规范动作进行反复训练，发现并纠正受训者不安全的动作，这样在实际工作中遇到同样的情景时就能自觉地做出安全的动作。但是由于放炮操作动作训练具有特殊性，不可能让受训者在真实的瓦斯爆炸危险环境中进行反复的训练或验证，而采用传统的教学培训方式效果不佳，因而最好是能够模拟真实环境的系统来辅助人员感受这种环境，并能够对放炮操作的不安全动作能够进行自动的判定并提醒。这需要结合虚拟现实(VR，virtualreality)技术和动作识别算法来实现，其中不安全动作判定部分是研究的重点。动作的识别判定是人机交互领域的一个重要课题，在安防监控、医疗监护、虚拟现实系统、体育运行分析以及机器人领域都有广泛的应用背景，因此成为近年来研究热点问题。近年来行为识别研究工作主要集中在视觉行为识别方面，其主要方法是从视频中提取行为的空间特征以及时间序列特征，利用分类算法对这些特征进行识别。但是基于2-D视频信息的行为识别容易受到光照以及遮挡的限制，空间特征的提取存在一定的局限性。随着深度传感器技术的发展，能够获取人体三维信息的微软kinect以及IntelRealSense逐渐成为最流行的人机交互设备，基于RGB-D信息和人体关节序列的行为识别成了新的研究热点。文献《基于深度数据的特征加权动态时间规整手势识别[C]//IEEE国际会议计算机视觉研讨会》(Featureweightingindynamictimewarpingforgesturerecognitionindepthdata[C]//IEEEInternationalConferenceonComputerVisionWorkshops)IEEE2012:1182-1188，对人体深度特征和骨骼特征加权表征动作空间特征，使用动态时间规整(Dynamictimewarping,DTW)框架处理时序信息实现手势动作的识别；文献《基于Kinect传感数据的人体识别Fisherposes方法[J]//IEEE传感器期刊》(FisherposesforHumanActionRecognitionUsingKinectSensorDatal)2017,PP(99):1-1对kinect捕获的骨骼信息通过线性判别式分析(LDA)获得的特征向量来识别和辨别每一帧的姿态。文献《基于BSCPs-RF的人体关节点行为识别与预测》[J].机器人,2017,39(6):795-802则对人体骨骼关节点的轨迹用B样条控制点进行表征，文献《基于人体骨架李群表征的行为识别[C]//计算机视觉和模式识别》(Humanactionrecognitionbyrepresenting3Dskeletonsaspointsinaliegroup[C]//ComputerVisionandPatternRecognition.Piscataway)，USA:IEEE,2014:588-595将李群理论引入到行为识别中，将行为空间表征为关节的连续变换旋转群，达到了较高的识别率。文献《基于3D骨骼节点的直方图的视觉不变人体动作识别[C]//计算机视觉和模式识别研讨会》(Viewinvarianthumanactionrecognitionusinghistogramsof3Djoints[C]ComputerVisionandPatternRecognitionWorkshops)USA:IEEE,2012:20-27提取关节3d信息的直方图表征姿态信息，然后利用HMM模型来处理时序特性，达到实时动作识别的效果。时序处理一直是行为识别研究中的重要问题，随着深度学习的兴起，基于RNN(recurrentneuralnetworks)的行为识别研究也成为了热点，文献《基于骨架动作识别的层次递归神经网络[C]//IEEE计算机视觉与模式识别会议》(Hierarchicalrecurrentneuralnetworkforskeletonbasedactionrecognition[C]//IEEEConferenceonComputerVisionandPatternRecognition.Piscataway)USA:IEEE,2015:1110-1118考虑到行为动作中局部肢体的时序信息，利用改进的RNN(recurrentneuralnetworks)网络分级表征局部肢体信息，取得了较好的效果。深度学习方法虽然实现了端到端的识别，取得了一定的研究成果，但其优势往往需要大量样本的训练，对特定领域的行为识别问题针对性不足，对于小量样本非深度学习的传统方法更能取得较好效果。但目前的动作识别方法主要是针对短时行为识别，如走，跳，坐下以及站起等，对放炮工序这样的相对时序较长包含复杂动作的行为存在着局限性，效果不好。
技术实现思路
本专利技术针对现有煤矿放炮不安全动作识别与判定技术存在的诸多不足，考虑到帧与帧之间的相互依赖性以及节点之间相互关系，提出一种可以有效识别出放炮的工序动作，并对其中的不安全动作加以判定的在沉浸式虚拟现实环境下基于GMM(高斯混合模型)表征的煤矿放炮不安全动作识别与判定方法。本专利技术的基于GMM表征的煤矿放炮不安全动作识别与判定方法，通过unity3D生成的沉浸式虚拟矿井放炮场景的搭建，并把Kinect获取骨骼信息与数据手套获取的手部动作信息的组合，实现虚拟现实下虚拟人与真实人之间动作的同步；具体过程是：(1)人体骨架序列数据预处理：通过kinect获取人体骨架序列数据，通过数据手套获取手关节数据，对人体骨架序列数据和手关节数据进行去噪和归一化的预处理；①人体骨架序列数据实时去噪处理：为了消除抖动噪声，通过抖动消除滤波器来限制每帧中允许的输出变化来抑制输入尖峰噪声，抖动消除滤波器表示为：其中Xn为n时刻滤波器输入，为n时刻滤波器输出，threshold为抖动阈值门限，两帧之间大于此值定义为抖动，进行指数加权平滑滤波，否则不进行处理，α为指数加权平滑滤波的衰减因子。所述抖动阈值门限threshold根据实验效果取值0.5。所述加权平滑滤波的衰减因子α根据实验效果取值为0.9。②人体骨架序列数据归一化处理：对人体骨架序列数据归一化处理，采用节点归一化方法消除节点序列由于人体位置和体型差异导致位移差与尺度差；设单帧N个节点集合为Pi，P＝[x,y,z]T，腰部节点记为Pwst，位移归一化后序列Pi′为：P′i＝P-Pwst；(2)再进行尺度归一化，归一化后结果Pi″为：(2)人体骨架序列数据表征：①动作的GMM特征：利用GMM(高斯混合模型)聚类操作把相邻多个骨骼节点帧处理为一个关键姿态，从而动作k表征为:P为该GMM中高斯模型个数，表示关键姿态的个数；modj(μj,Σj)为GMM中的每个高斯模型，模型modj(μj,Σj)表征一个关键姿态，μj为该模型的期望，Σj为该模型的协方差矩本文档来自技高网...

【技术保护点】
1.一种基于GMM表征的煤矿放炮不安全动作识别与判定方法，其特征是：(1)人体骨架序列数据预处理：通过kinect获取人体骨架序列数据，通过数据手套获取手关节数据，对人体骨架序列数据和手关节数据进行去噪和归一化的预处理；①人体骨架序列数据实时去噪处理：为了消除抖动噪声，通过抖动消除滤波器来限制每帧中允许的输出变化来抑制输入尖峰噪声，抖动消除滤波器表示为：

【技术特征摘要】
1.一种基于GMM表征的煤矿放炮不安全动作识别与判定方法，其特征是：(1)人体骨架序列数据预处理：通过kinect获取人体骨架序列数据，通过数据手套获取手关节数据，对人体骨架序列数据和手关节数据进行去噪和归一化的预处理；①人体骨架序列数据实时去噪处理：为了消除抖动噪声，通过抖动消除滤波器来限制每帧中允许的输出变化来抑制输入尖峰噪声，抖动消除滤波器表示为：其中Xn为n时刻滤波器输入，为n时刻滤波器输出，threshold为抖动阈值门限，两帧之间大于此值定义为抖动，进行指数加权平滑滤波，否则不进行处理，α为指数加权平滑滤波的衰减因子；②人体骨架序列数据归一化处理：对人体骨架序列数据归一化处理，采用节点归一化方法消除节点序列由于人体位置和体型差异导致位移差与尺度差；设单帧N个节点集合为<Pi>，P＝[x,y,z]T，腰部节点记为Pwst，位移归一化后序列为<P′i>：P′i＝P-Pwst；再进行尺度归一化<P′i>为<Pi″>：(2)人体骨架序列数据表征：①动作的GMM特征：利用GMM聚类操作把相邻多个骨骼节点帧处理为一个关键姿态，从而动作k表征为:P为该GMM中模型个数，表示关键姿态的个数；modj(μj,Σj)为GMM中的每个高斯模型，表征一个关键姿态，μj为该模型的期望，Σj为该模型的协方差矩阵；aj＝p(modj)，为GMM中每个模型的先验概率，表征每个关键姿态在整个动作中的先验概率；②骨骼序列时间序列表征：一个行为样本空间特征信息表示为人体骨架序列为{XiS}，其中i＝1,2,3,...,N，N为帧的个数；Xis∈Rd，为该帧骨骼节点信息，维度为d；为了在聚类的时候考虑到时间序列信息，在骨骼节点序列信息中加入一维表示时间序列的信息由于人体骨架序列的长度不一致，该时间序列信息归一化为：这样既包含时间序列信息又包含空间信息的第i帧信息表示为：③动作表征GMM特征提取：针对每一个动作k的所有训练样本的所有骨骼帧Xi，先通过k...

【专利技术属性】
技术研发人员：朱其刚，刘明，尹燕芳，张帅帅，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：山东,37