一种基于动作语音数据联合识别的校园霸凌检测方法技术

一种基于动作语音数据联合识别的校园霸凌检测方法，涉及模式识别领域，是为了解决现有校园霸凌检测方法的算法复杂度较高，导致的检测速度慢的问题。本发明专利技术提出一种基于动作语音数据联合识别的校园霸凌检测方法，该方法同步提取动作和语音特征并进行融合降维，通过训练BPNN模型，可以检测校园霸凌事件。本发明专利技术同时提出一种动作变化检测方法，可以降低校园霸凌检测方法的算法复杂度。

【技术实现步骤摘要】
一种基于动作语音数据联合识别的校园霸凌检测方法
本专利技术涉及模式识别领域，具体涉及动作识别方法和语音情感识别方法领域。
技术介绍
校园霸凌是一种常见的社会现象，多发生在中小学生群体中，危害青少年的身心健康。校园霸凌有多种表现形式，如身体暴力、言语欺凌等，其中身体暴力对青少年的伤害最大，言语欺凌发生得最频繁。通过提取受害者的身体动作特征和其周围环境的语音特征，可以检测出校园霸凌事件。但是目前的校园霸凌检测方法的算法复杂度较高，导致检测速度慢
技术实现思路
本专利技术是为了解决现有校园霸凌检测方法的算法复杂度较高，导致的检测速度慢的问题，从而提供一种基于动作语音数据联合识别的校园霸凌检测方法一种基于动作语音数据联合识别的校园霸凌检测方法，其特征是：在校园内的每个人体身上佩戴一个个三轴陀螺仪和一个麦克风，在一个周期下，对于每个人体的检测，均由以下步骤实现：同时执行步骤一和步骤二；步骤一、在起始时间为时间为t0：、终止时间为t1的时间周期内，采用三轴加速度计和三轴陀螺仪采集人体三轴加速度数据，并对所采集的三维加速度数据提取人体的23个时域特征和18个频域特征，并对所提取特征进行筛选，得到11个时频域动作特征：步骤二、在起始时间为时间为t0：、终止时间为t1的时间周期内，，采用麦克风与步骤一同步采集人体的语音数据，共提取12个MFCC特征、12个一阶差分MFCC特征、12个二阶MFCC特征和短时能量特征，并进行筛选得到步骤三、融合步骤一得到的11个时频域动作特征和步骤二得到的16个语音特征，获得融合特征并用LDA(线性判别分析)算法对融合特征进行降维，得到8维特征向量；步骤四、将所得8维特征向量集合划分为训练集和测试集，用分类器进行分类，用训练集训练反向传播神经网络BPNN，步骤五、采用三轴加速度计和三轴陀螺仪采集人体三轴加速度数据，并利用步骤四、训练后的反向传播神经网络BPNN进行分类，实现基于动作语音数据联合识别的校园霸凌检测。本专利技术提出一种基于动作语音数据联合识别的校园霸凌检测方法，该方法同步提取动作和语音特征并进行融合降维，通过训练BPNN模型，可以检测校园霸凌事件。本专利技术同时提出一种动作变化检测方法，可以降低校园霸凌检测方法的算法复杂度。具体实施方式具体实施方式一、一种基于动作语音数据联合识别的校园霸凌检测方法它包括以下步骤：步骤一、基于动作语音数据联合识别的校园霸凌检测方法训练步骤；采用三轴加速度计采集加速度数据，陀螺仪采集陀螺仪数据，麦克风采集语音数据，并提取
技术实现思路
部分所述的11个时频域动作特征和
技术实现思路
部分所述的16个语音特征。②用LDA算法对具体实施方式1①中得到的27维特征向量降维，得到8维特征向量集合。③将得到的8为特征向量集合按照不同动作类型划分为2大类动作：霸凌动作和非霸凌动作；并进一步划分为9类动作：殴打、推搡、推倒、行走、奔跑、跳跃、摔倒、玩耍和站立。④用具体实施方式中划分好的动作类型的8维特征向量集合训练BPNN分类模型，确定其参数如下：1个隐含层，其传递函数为logsig，隐含层神经元个数为9个；输出层传递函数为purelin。步骤二、基于动作语音数据联合识别的校园霸凌检测方法测试步骤：动作变化检测方法：采用三轴加速度计采集加速度数据，滑动窗长0.8s，每次滑动0.4s，提取特征如果ε≤1.5，则继续执行动作变化检测方法(即本步骤)；否则，开始执行校园霸凌检测方法。校园霸凌检测方法：用三轴加速度计采集加速度数据，陀螺仪采集陀螺仪数据，麦克风采集语音数据，并提取
技术实现思路
1所述的11个时频域动作特征和
技术实现思路
所述的16个语音特征。用LDA算法对得到的27维特征向量降维，得到8维特征向量。对得到的8维特征向量进行分类，分类结果如下：9类分类结果(混淆矩阵，单位％)：类分类结果类精确率precision＝92.2％，准确率accuracy＝82.4％，召回率recall＝85.8％，F1＝88.5％。分类结果表明本专利技术提出的方法有效。本文档来自技高网...

【技术保护点】
1.一种基于动作语音数据联合识别的校园霸凌检测方法，其特征是：在校园内的每个人体身上佩戴一个个三轴陀螺仪和一个麦克风，在一个周期下，对于每个人体的检测，均由以下步骤实现：同时执行步骤一和步骤二；步骤一、在起始时间为时间为t0：、终止时间为t1的时间周期内，采用三轴加速度计和三轴陀螺仪采集人体三轴加速度数据，并对所采集的三维加速度数据提取人体的23个时域特征和18个频域特征，并对所提取特征进行筛选，得到11个时频域动作特征：步骤二、在起始时间为时间为t0：、终止时间为t1的时间周期内，，采用麦克风与步骤一同步采集人体的语音数据，共提取12个MFCC特征、12个一阶差分MFCC特征、12个二阶MFCC特征和短时能量特征，并进行筛选得到16个语音特征步骤三、融合步骤一得到的11个时频域动作特征和步骤二得到的16个语音特征，获得融合特征并用LDA(线性判别分析)算法对融合特征进行降维，得到8维特征向量；步骤四、将所得8维特征向量集合划分为训练集和测试集，用分类器进行分类，用训练集训练反向传播神经网络BPNN，步骤五、采用三轴加速度计和三轴陀螺仪采集人体三轴加速度数据，并利用步骤四、训练后的反向传播神经网络BPNN进行分类，实现基于动作语音数据联合识别的校园霸凌检测。...

【技术特征摘要】
1.一种基于动作语音数据联合识别的校园霸凌检测方法，其特征是：在校园内的每个人体身上佩戴一个个三轴陀螺仪和一个麦克风，在一个周期下，对于每个人体的检测，均由以下步骤实现：同时执行步骤一和步骤二；步骤一、在起始时间为时间为t0：、终止时间为t1的时间周期内，采用三轴加速度计和三轴陀螺仪采集人体三轴加速度数据，并对所采集的三维加速度数据提取人体的23个时域特征和18个频域特征，并对所提取特征进行筛选，得到11个时频域动作特征：步骤二、在起始时间为时间为t0：、终止时间为t1的时间周期内，，采用麦克风与步骤一同步采集人体的语音数据，共提取12个MFCC特征、12个一阶差分MFCC特征、12个二阶MFCC特征和短时能量特征，并进行筛选得到16个语音特征步骤三、融合步骤一得到的11个时频域动作特征和步骤二得到的16个语音特征，获得融合特征并用LDA(线性判别分析)算法对融合特征进行降维，得到8维特征向量；步骤四、将所得8维特征向量集合划分为训练集和测试集，用分类器进行分类，用训练集训练反向传播神经网络BPNN，步骤五、采用三轴加速度计和三轴陀螺仪采集人体三轴加速度数据，并利用步骤四、训练后的反向传播神经网络BPNN进行分类，实现基于动作语音数据联合识别的校园霸凌检测。2.根...

【专利技术属性】
技术研发人员：叶亮，李月，石硕，李卓明，沙学军，孟维晓，石纪福，王乐，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23