基于多模态数据融合的建筑工人尴尬工作姿势识别方法技术

本发明专利技术公开了一种基于多模态数据融合的建筑工人尴尬工作姿势识别方法，包括采集被监测者的原始脑电数据、原始行为数据以及原始姿势图像；对原始脑电数据进行预处理，提取时域、频域以及非线性特征；对原始行为数据进行标准化操作，并提取均值作为行为数据特征；从被监测者姿势图像中提取人体主要点位的空间坐标，作为姿势状态特征；基于前期融合策略对提取的数据特征进行融合；将融合后特征数据集输入至已训练好的BP神经网络，输出被监测者的尴尬姿势工作类别，从而通过提取被监测者的脑电数据、行为数据以及姿势图像的多模态数据融合特征，实现尴尬工作姿势自动识别，改善了基于单模态数据识别姿势而存在的准确率不足等局限。模态数据识别姿势而存在的准确率不足等局限。模态数据识别姿势而存在的准确率不足等局限。

【技术实现步骤摘要】
基于多模态数据融合的建筑工人尴尬工作姿势识别方法


[0001]本专利技术涉及建筑安全健康管理
，特别是涉及一种基于多模态数据融合的建筑工人尴尬工作姿势识别方法。

技术介绍

[0002]当前我国建筑业安全形势十分严峻，其事故率是各行业平均事故率的3倍，据统计，建筑工人不安全行为所导致的事故占建筑业安全事故总数的80％以上，其中，尴尬工作姿势占工人作业时所涉及不安全行为总数的13.1％以上，从而被视为最重要的类别，并且，建筑工人普遍长期处于尴尬工作姿势执行任务，会引发一系列肌肉骨骼疾病，并直接威胁其职业健康安全，致使建筑业也被列为肌肉骨骼疾病和伤害最危险的行业之一，对此，亟待引入前沿技术来识别和预警现场建筑工人的尴尬工作姿势，完善建筑工人职业健康安全管理体系。
[0003]目前，已有大量计算机科学以及自动化领域的前沿技术应用于识别与预警建筑工人的尴尬工作姿势，从活动角度，计算机视觉技术结合深度学习算法被应用于直接姿势、动作以及行为的识别，与此同时，多种运动传感器被用于提取人体行为数据，从而实现尴尬工作姿势的实时识别与预警；从心理角度，多种可穿戴设备(脑电头盔、智能腕带以及眼动仪等)被用于测定心电、脑电、皮电以及眼动轨迹等反映认知状态和情绪状态的生理数据，间接实现对尴尬工作姿势的监测。
[0004]当前已有识别技术倾向于从单一模态数据实现解释和分类的功能，而工人的动作与认知存在复杂性与交互作用，仅从单一模态数据难以客观和准确地识别姿势，多模态融合技术基于多种异构模态数据协同推理，通过多项技术采集与融合多模态数据，能够更为准确地识别尴尬工作姿势；鉴于当前建筑领域缺乏基于多模态融合的尴尬工作姿势识别应用框架，本专利技术提供了一种基于多模态数据融合的建筑工人尴尬工作姿势识别方法。

技术实现思路

[0005]为了解决以上技术问题，本专利技术提供一种基于多模态数据融合的建筑工人尴尬工作姿势识别方法，包括以下步骤
[0006]S1、采集被监测者的多模态数据，多模态数据包括原始脑电数据、原始行为数据以及姿势图像；
[0007]S2、对原始脑电数据进行伪迹消除以及特征提取处理，得到脑电数据特征；
[0008]S3、对原始行为数据进行标准化、窗口划分以及均值特征提取处理，得到行为数据特征；
[0009]S4、对姿势图像进行人体点位识别与空间坐标提取，得到姿势状态特征；
[0010]S5、基于前期融合策略对脑电数据特征、行为数据特征以及姿势状态特征进行特征融合，得到多模态数据融合特征；
[0011]S6、将多模态数据融合特征输入至训练好的BP神经网络；
[0012]S7、输出被监测者的尴尬工作姿势类别。。
[0013]本专利技术进一步限定的技术方案是：
[0014]进一步的，步骤S2中，对原始脑电数据进行伪迹去除包括外部伪迹消除和内部伪迹消除，通过有限脉冲响应带通滤波器进行外部伪迹消除；通过独立成分分析对原始脑电数据中的内部伪迹进行判别与筛除。
[0015]前所述的一种基于多模态数据融合的建筑工人尴尬工作姿势识别方法，步骤S2中，通过固定窗口划分法提取被监测者的多维度脑电特征数据，多维度脑电特征数据包括时域特征、频域特征以及非线性特征，时域特征包括标准差、波动指数以及峰度；频域特征包括Delta频带功率谱密度、Theta频带功率谱密度、Alpha频带功率谱密度、Beta频带功率谱密度以及Gamma频带功率谱密度；非线性特征包括近似熵、模糊熵以及赫斯特指数。
[0016]前所述的一种基于多模态数据融合的建筑工人尴尬工作姿势识别方法，时域特征中标准差的求取算法如下，
[0017][0018]其中，n表示该通道下所采集数据点的总数，x
i
表示该通道下所采集的第i个数据点，表示该通道下所采集n个数据点的平均值；
[0019]时域特征中波动指数的求取算法如下，
[0020][0021]其中，n表示该通道下所采集数据点的总数，x(i)表示该通道下所采集的第i个数据点，x(i+1)表示该通道下所采集的第i+1个数据点；
[0022]时域特征中峰度的求取算法如下，
[0023][0024]其中，n表示该通道下所采集数据点的总数，s表示该通道下所采集n个数据点的标准差，x
i
表示该通道下所采集的第i个数据点，表示该通道下所采集n个数据点的平均值。
[0025]前所述的一种基于多模态数据融合的建筑工人尴尬工作姿势识别方法，非线性特征中近似熵的计算包括以下步骤
[0026]S2.1.1、设原始脑电数据为x(1)，x(2),
……
,x(n)，共n个点，按序号排列顺序组成m维向量X(i)＝[x(i)，x(i+1)，
……
，x(i+m
‑
1)]，其中i＝1，2，
……
，n
‑
m+1；
[0027]S2.1.2、定义第i个向量X(i)与第j个向量X(j)之间的距离d
ij
，
[0028]d
ij
＝max[|x(i+k)
‑
x(j+k)|]，0≤k≤m
‑1[0029]S2.1.3、给定阈值r，对每个向量X(i),统计满足d
ij
≤r*Std条件的次数，其中Std为序列数据的标准差，并求出统计次数与距离总数n
‑
m的比值,记作
[0030]S2.1.4、将取对数，再对所有的i取平均值，记为φ
m
(r)，
[0031][0032]S2.1.5、m值加1，以m+1维度重复步骤S2.1.1至步骤S2.1.4，得到和φ
m+1
(r)，并求出近似熵为
[0033]ApEn＝∑
n
→
∞
[φ
m
(r)
‑
φ
m+1
(r)][0034]其中，ApEn表示近似熵。
[0035]前所述的一种基于多模态数据融合的建筑工人尴尬工作姿势识别方法，非线性特征中模糊熵的算法包括以下步骤
[0036]S2.2.1、设原始脑电数据为x(1)，x(2)，
……
，x(n)，共n个点；
[0037]S2.2.2、定义嵌入维数m与相似容忍度r，重构相空间，生成一组m维向量X(i)＝[x(i),x(i+1),
…
,x(i+m
‑
1)]‑
x0(i)，其表示自x(i)起的m个连续数据点所组成的向量，其中i＝1，2，
…
，n
‑
m+1，
[0038][0039]其中，x0(i)表示该m个数据点的均值；
[0040]S2.2.3、定义模糊隶属函数A(x)，
[0041][0042]其中，r表示相似容忍度；
[0043]S2.2.4、根据A(x)表达式将其变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据融合的建筑工人尴尬工作姿势识别方法，其特征在于：包括以下步骤S1、采集被监测者的多模态数据，多模态数据包括原始脑电数据、原始行为数据以及姿势图像；S2、对原始脑电数据进行伪迹消除以及特征提取处理，得到脑电数据特征；S3、对原始行为数据进行标准化、窗口划分以及均值特征提取处理，得到行为数据特征；S4、对姿势图像进行人体点位识别与空间坐标提取，得到姿势状态特征；S5、基于前期融合策略对脑电数据特征、行为数据特征以及姿势状态特征进行特征融合，得到多模态数据融合特征；S6、将多模态数据融合特征输入至训练好的BP神经网络；S7、输出被监测者的尴尬工作姿势类别。2.根据权利要求1所述的基于多模态数据融合的建筑工人尴尬工作姿势识别方法，其特征在于：所述步骤S2中，对原始脑电数据进行伪迹去除包括外部伪迹消除和内部伪迹消除，通过有限脉冲响应带通滤波器进行外部伪迹消除；通过独立成分分析对原始脑电数据中的内部伪迹进行判别与筛除。3.根据权利要求1所述的基于多模态数据融合的建筑工人尴尬工作姿势识别方法，其特征在于：所述步骤S2中，通过固定窗口划分法提取被监测者的多维度脑电特征数据，多维度脑电特征数据包括时域特征、频域特征以及非线性特征，时域特征包括标准差、波动指数以及峰度；频域特征包括Delta频带功率谱密度、Theta频带功率谱密度、Alpha频带功率谱密度、Beta频带功率谱密度以及Gamma频带功率谱密度；非线性特征包括近似熵、模糊熵以及赫斯特指数。4.根据权利要求3所述的基于多模态数据融合的建筑工人尴尬工作姿势识别方法，其特征在于：所述时域特征中标准差的求取算法如下，其中，n表示该通道下所采集数据点的总数，x
i
表示该通道下所采集的第i个数据点，表示该通道下所采集n个数据点的平均值；时域特征中波动指数的求取算法如下，其中，n表示该通道下所采集数据点的总数，x(i)表示该通道下所采集的第i个数据点，x(i+1)表示该通道下所采集的第i+1个数据点；时域特征中峰度的求取算法如下，
其中，n表示该通道下所采集数据点的总数，s表示该通道下所采集n个数据点的标准差，x
i
表示该通道下所采集的第i个数据点，表示该通道下所采集n个数据点的平均值。5.根据权利要求3所述的基于多模态数据融合的建筑工人尴尬工作姿势识别方法，其特征在于：所述非线性特征中近似熵的计算包括以下步骤S2.1.1、设原始脑电数据为x(1)，x(2),
……
,x(n)，共n个点，按序号排列顺序组成m维向量X(i)＝[x(i)，x(i+1)，
……
，x(i+m
‑
1)]，其中i＝1，2，
……
，n
‑
m+1；S2.1.2、定义第i个向量X(i)与第j个向量X(j)之间的距离d
ij
，d
ij
＝max[|x(i+k)
‑
x(j+k)|]，0≤k≤m
‑
1S2.1.3、给定阈值r，对每个向量X(i),统计满足d
ij
≤r*Std条件的次数，其中Std为序列数据的标准差，并求出统计次数与距离总数n
‑
m的比值,记作S2.1.4、将取对数，再对所有的i取平均值，记为φm(r)，S2.1.5、m值加1，以m+1维度重复步骤S2.1.1至步骤S2.1.4，得到和φm+1(r)，并求出近似熵为ApEn＝∑
n
→
∞
[φ
m
(r)
‑
φ
m+1
(r)]其中，ApEn表示近似熵。6.根据权利要求3所述的基于多模态数据融合的建筑工人尴尬工作姿势识别方法，其特征在于：所述非线性特征中模糊熵的算法包括以下步骤S2.2.1、设原始脑电数据为x(1)，x(2)，
……
，x(n)，共n个点；S2.2.2、定义嵌入维数m与相似容忍度r，重构相空间，生成一组m维向量X...

【专利技术属性】
技术研发人员：夏侯遐迩，李子睿，夏吉康，李启明，
申请(专利权)人：东南大学，
类型：发明
国别省市：