一种基于多位置传感器的人体活动识别方法技术

一种基于多位置传感器的人体活动识别方法，该方法包括：第一步，构建深度神经网络模型，第二步，数据获取，第三步，特征提取，第四步，合并卷积子网运算，第五步，深度级联运算，第六步，LSTM层处理，第七步，自注意力层处理，第八步，输出层处理，该方法中使用的深度神经网络模型包含j个卷积子网络、深度级联层、LSTM层、自注意力层、输出层。本设计不仅可以避免不同传感器之间存在的异质性造成各传感器的信号互相干扰，有效提高人体活动识别的准确性，而且可以通过零填充并采用33大小的卷积核，使用最大池化快速降低特征图维数，减少特征映射的空间大小，控制过拟合，有效避免各个位置传感器之间数据的干扰性。传感器之间数据的干扰性。传感器之间数据的干扰性。

【技术实现步骤摘要】
一种基于多位置传感器的人体活动识别方法


[0001]本专利技术涉及一种人体活动识别方法，属于人体动作识别领域，尤其涉及一种基于多位置传感器的人体活动识别方法。

技术介绍

[0002]随着计算机及传感器技术的快速发展，基于可穿戴设备的人体活动识别(HAR)作为泛在计算的一个分支领域在人机交互、视频监控、视频理解等方面得到了广泛的应用，并在识别效果方面取得了显著的提升。
[0003]随着深度学习模型在检测人类活动方面展现了良好的效果，端到端的深度学习方法可以通过神经网络内部隐藏层从输入数据中自动提取深度特征，这极大地促进了HAR任务的性能提升，目前主流的深度学习方法网络包括：卷积神经网络(CNN)、循环神经网络(RNN)、Transformer、自动编码器(auto
‑
encoder)等。
[0004]内嵌于智能设备的加速度计、陀螺仪、磁力计、气压计等传感器被广泛用于HAR。由于通过单一传感器进行活动识别的方法存在采集的数据只能获取局部运动信息，导致对复杂活动来说识别精度偏低，以及单一传感器无法测量活动的所有相关属性，感知存在模糊性，遮挡或特征缺失会导致传感器采集数据出现漏洞的问题，随着活动识别复杂度的提升，目前通常采用多模态传感器用于来识别人类活动，多传感器数据的融合提高了HAR的可靠性及置信度，减少了模糊性及不确定性。
[0005]但是多模态传感器存在一个重要的特点，就是不同传感器之间存在异质性，聚焦于研究如何融合异质传感器是一个突破性的领域。异质传感器在轴数、数据性质、尺度等方面的不同，以至于采集到的互补信息会在一定程度上提升活动识别的效果。一项活动往往涉及身体的不同部位，放置在人体不同位置的异质传感器可以捕捉到活动的空间信息及时间动态；因此对来自不同位置的异质传感器的数据进行分层融合能够捕获HAR任务所需的显著信息。许多研究者将多个异质传感器的数据直接放入深度学习模型中，这会将具有不同数据分布的特征杂糅在一起，如何组合不同的数据源是尚未完全解决的一个巨大挑战。
[0006]申请号为201910278750.8，申请日为2019.04.09的专利技术专利申请，公开了一种基于神经网络的健身动作识别方法、装置、设备及介质,该方法包括将至少一个切分特征数据按照时间顺序依次输入到训练好的健身动作识别模型中，获取每一切分特征数据对应的动作类型；基于动作类型获取对应的标准特征组数据，通过标准特征组数据从待识别特征数据中选取特定特征数据组进行标准性判断，获取特征识别结果；以确定特定特征数据组是否为标准特征，统计所有特定特征数据组对应的特征识别结果。虽然这种方法，可以保证对待识别动作序列数据的准确率，同时可以避免使用高成本的传感器，节约方案成本，但该设计依然具备以下缺陷：
[0007]未考虑到设置在人体不同位置的传感器信号对HAR的分类效果造成的不同影响，同时，不同的异质传感器信号之间会互相产生数据干扰；这两点使得人体活动识别过程中不同数据分布的特征杂糅在一起，降低HAR的性能。
[0008]公开该
技术介绍
部分的信息仅仅旨在增加对本申请的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

技术实现思路

[0009]本专利技术的目的是克服现有技术中存在的人体活动识别过程中不同数据分布的特征杂糅在一起，降低HAR性能的缺点，提供了一种可以单独学习各个位置传感器的特征，并避免异质传感器信号相互干扰的基于多位置传感器的人体活动识别方法。
[0010]为实现以上目的，本专利技术的技术解决方案是：
[0011]一种基于多位置传感器的人体活动识别方法，所述人体活动识别方法包括以下步骤：
[0012]第一步，构建深度神经网络模型，所述深度神经网络模型包含j个卷积子网络、深度级联层、LSTM层、自注意力层及输出层；
[0013]第二步，数据获取，将N个位置传感器设置于待测人员人体上j个位置来收集活动数据，在数据处理阶段引入零填充的方法来隔离不同模态的传感器数据，所述人体佩戴传感器位置的数量J与卷积子网络的数量J相等，每个位置的传感器数据均与一个卷积子网络对应,所述位置传感器输出的活动数据为X
(j,1)
；
[0014]第三步，特征提取，将第二步中各个位置传感器收集到的活动数据X
(j,1)
分别发送给与其对应的卷积子网络进行特征提取，卷积层采用3
×
3大小的卷积核，所述卷积核即为卷积子网络输出的张量集合X；卷积子网络的输出张量集合为X
(j,2)
，其中1≤j≤J,j表示第j个位置的卷积子网络；
[0015]第四步，合并卷积子网运算，将第三步特征提取中各个卷积子网络的输出结果发送给一层卷积，用于调整特征映射的维数，该层输出为张量X
(j,3)
；
[0016]第五步，深度级联运算，将第四步中各个卷积子网络输出的张量X
(j,3)
中的通道数进行合并，得到张量X
(4)
；
[0017]第六步，LSTM层处理，将第五步中深度级联层的输出结果X
(4)
进行相应的维度删除以适应LSTM层的输入形状，将X
(4)
的每个时间步分别发送给LSTM层中的各个存储单元进行计算，得到LSTM层中每个存储单元在t时刻的输出
[0018]第七步，自注意力层处理，将第六步中LSTM层中的各个存储单元在不同时间点的联合输出传递给自注意力层进行计算，得到长时间尺度上的输出X
(5)
，再通过Softmax函数计算得到X
(5)
中各个时间点的权重α，通过X
(5)
与α计算得到每个时间点在注意力得分S；
[0019]第八步，输出层处理，将第七步中自注意力层的输出结果X
(6)
通过Softmax函数计算得到X
(7)
，再将Softmax函数的输出结果X
(7)
进行交叉熵损失计算来评估当前训练概率分布和真实分布之间的差异。
[0020]所述第三步特征提取步骤中，活动数据X
(j,1)
在卷积子网络内按照式(1)进行特征提取得到张量集合X：
[0021]X＝{X
(j,1)
,X
(j,1)
＝b
j
×
r
j
×
c
j
×
d
j
}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(1)
[0022]式(1)中b
j
为训练集样本数量，r
j
为一个窗口内的数据点数数量，c
j
为位置传感器的维数，r
j
×
c
j
为输入的矩阵大小，d
j
为通道数量。
...

【技术保护点】

【技术特征摘要】
1.一种基于多位置传感器的人体活动识别方法，其特征在于：所述人体活动识别方法包括以下步骤：第一步，构建深度神经网络模型，所述深度神经网络模型包含j个卷积子网络、深度级联层、LSTM层、自注意力层及输出层；第二步，数据获取，将N个位置传感器设置于待测人员人体上j个位置来收集活动数据，在数据处理阶段引入零填充的方法来隔离不同模态的传感器数据，所述人体佩戴传感器位置的数量J与卷积子网络的数量J相等，每个位置的传感器数据均与一个卷积子网络对应,所述位置传感器输出的活动数据为X
(j,1)
；第三步，特征提取，将第二步中各个位置传感器收集到的活动数据X
(j,1)
分别发送给与其对应的卷积子网络进行特征提取，卷积层采用3
×
3大小的卷积核，所述卷积核即为卷积子网络输出的张量集合X；卷积子网络的输出张量集合为X
(j,2)
，其中1≤j≤J,j表示第j个位置的卷积子网络；第四步，合并卷积子网运算，将第三步特征提取中各个卷积子网络的输出结果发送给一层卷积，用于调整特征映射的维数，该层输出为张量X
(j,3)
；第五步，深度级联运算，将第四步中各个卷积子网络输出的张量X
(j,3)
中的通道数进行合并，得到张量X
(4)
；第六步，LSTM层处理，将第五步中深度级联层的输出结果X
(4)
进行相应的维度删除以适应LSTM层的输入形状，将X
(4)
的每个时间步分别发送给LSTM层中的各个存储单元进行计算，得到LSTM层中每个存储单元在t时刻的输出第七步，自注意力层处理，将第六步中LSTM层中的各个存储单元在不同时间点的联合输出传递给自注意力层进行计算，得到长时间尺度上的输出X
(5)
，再通过Softmax函数计算得到X
(5)
中各个时间点的权重α，通过X
(5)
与α计算得到每个时间点在注意力得分S；第八步，输出层处理，将第七步中自注意力层的输出结果X
(6)
通过Softmax函数计算得到X
(7)
，再将Softmax函数的输出结果X
(7)
进行交叉熵损失计算来评估当前训练概率分布和真实分布之间的差异。2.根据权利要求1所述的一种基于多位置传感器的人体活动识别方法，其特征在于：所述第三步特征提取步骤中，活动数据X
(j,1)
在卷积子网络内按照式(1)进行特征提取得到张量集合X：X＝{X
(j,1)
,X
(j,1)
＝b
j
×
r
j
×
c
j
×
d
j
}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(1)式(1)中b
j
为训练集样本数量，r
j
为一个窗口内的数据点数数量，c
j
为位置传感器的维数，r
j
×
c
j
为输入的矩阵大小，d
j
为通道数量。3.根据权利要求2所述的一种基于多位置传感器的人体活动识别方法，其特征在于：所述第四步合并卷积子网运算步骤中，将各个卷积子网络的输出结果发送给合并卷积子网，并按照式(2)计算得到张量X
(j,3)
：X
(j,3)
＝b
j
×
α
j
×
β
j
×
γ j
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(2)式(2)中α
j
×
β
j
为卷积之后的特征图大小，γ
j
为卷积之后的通道数量。
式(2)中α
j
×
β
j
为卷积之后的特征图大小，γ
j
为卷积之后的通道数量。式(3)中c
j
表示输入张量的宽度，f
h
表示卷积核的长度，p表示...

【专利技术属性】
技术研发人员：徐旭，黄珍珍，肖硕，夏辉，刘子寒，
申请(专利权)人：徐州市第一人民医院，
类型：发明
国别省市：