一种基于注意力机制GRU深度学习的人体行为识别方法技术

本发明专利技术公开一种基于注意力机制GRU深度学习的人体行为识别方法。本发明专利技术设计了改进Inception卷积构造人体行为数据预处理模块，改进Inception卷积提升了对多尺度数据的分析能力，以更好地筛选出主要关键信息，忽略异常信息，提升了本方法的鲁棒性。本发明专利技术设计了添加注意力机制的GRU深度学习网络构造人体行为识别模块，能够更好地记忆并处理时序信息，避免传统行为识别方法仅考虑空间信息，而难以对数据之间的时间关联属性进行有效分析的问题，从而极大提升了本方法对于持续性动作的预测与识别能力。

【技术实现步骤摘要】
一种基于注意力机制GRU深度学习的人体行为识别方法
本专利技术涉及计算机科学和人体行为识别
，具体涉及一种基于注意力机制GRU深度学习的人体行为识别方法。
技术介绍
随着便携式设备得到了快速发展，人体行为识别技术可以利用嵌入式传感器收集的大数据，对用户进行动作识别和行为分析，从而检测出用户的活动状态。目前该技术已经广泛应用于医疗卫生、智能家居、体育竞赛等诸多领域，而为了使得分析结果更加精确，合理的学习分类算法已经成为了人体行为识别领域发展的迫切需要。常用的人体行为识别方法包括数理统计、模式识别、数据挖掘和人工神经网络等，近年来，决策树、支持向量机等机器学习算法与卷积神经网络、循环神经网络等深度学习算法经常被使用来提升行为识别的准确性。然而机器学习高度依赖人们的经验和领域知识以进行人工特征提取，很难在大规模行为活动数据库中训练出强大的模型，并且无法对输入数据样本的时间特征进行分析，无法进行更准确的结果预测。深度学习也同时存在着对训练数据要求过高、对时间特征关注度不高等缺点，会综合导致对于连续性动作的预测结果远远不如预期，最终无法进行准确的行为识别。此外，注意力机制也有着因为是对序列的所有元素并行处理，所以无法考虑输入序列的元素顺序的缺点。因此，本专利技术针对上述问题，为人体行为识别提供新的深度学习方法，改进现有技术方案中的不足。
技术实现思路
为了克服现有的人体行为识别方法存在的缺陷，本专利技术公开了一种基于注意力机制GRU深度学习的人体行为识别方法。本专利技术的目的在于，针对当前人体行为识别方法中缺乏对时间属性关注导致识别准确率较低，缺乏数据预处理导致受异常信息影响较大的两个问题，提供一种精度高、鲁棒性强、效率快的人体行为识别方法，克服现有的人体行为识别中存在的缺陷。为了实现上述目的，本专利技术提出了一种基于注意力机制GRU深度学习的人体行为识别方法，命名为A-GRU(注意力机制GRU)。特别的，注意力机制很少用于人体行为识别的原因在于，其通过在神经元外部建立注意力模块的方式对序列的所有元素并行处理，这将会使得网络无法考虑输入序列的元素顺序，而持续性动作的关键属性之一就是人体行为数据的输入顺序。因此，本专利技术方法在神经元内部，即GRU单元的构建中加入了元素注意门以模拟注意力机制，既保留了注意力机制能有效避免长期依赖问题出现的优点，又使得网络能够获取到人体行为数据的输入顺序，避免了丧失时序信息的缺点。针对识别率较低问题，本专利技术设计了添加注意力机制的GRU深度学习网络构造人体行为识别模块，能够更好地记忆并处理时序信息，避免传统行为识别方法仅考虑空间信息，而难以对数据之间的时间关联属性进行有效分析的问题，从而极大提升了本方法对于持续性动作的预测与识别能力。针对异常信息影响较大的问题，本专利技术设计了改进Inception卷积构造人体行为数据预处理模块，改进Inception卷积提升了对多尺度数据的分析能力，以更好地筛选出主要关键信息，忽略异常信息，提升了本方法的鲁棒性。为了解决现有技术的问题，本专利技术的技术方案如下：包括以下步骤：步骤(1)：获取带时序信息的不同人体行为数据，并标注标签信息；所述的人体行为数据包括人体各关节部位的加速度数据、陀螺仪数据和磁力计数据，以及对应空间位置信息；使用智能传感设备对不同场景下的行为进行采集，并将传感器信号转化为数据信息，给对应行为贴上标签，生成数据集，包括以下子步骤：步骤(1.1)：使用phyphox物理工坊程序，设定实验采集参数。步骤(1.2)：将多个传感器设备绑定至待测定人体，对多种不同行为动作进行数据采集。步骤(1.3)：在不同行为场景下采集生成多组带标签的PHAD数据集(aij，gij，rij，k)。其中a、g、r分别表示传感器获取的加速度数据、陀螺仪数据和磁力计数据，k表示行为状态，i、j分别表示数据集(a，g，r)对应x、y、z三轴和对应传感器装置安装位置的空间信息标签，同时多组数据是依据行为顺序采集的，即数据集的数据顺序记录了行为的时序信息。步骤(2)：将人体行为数据集分配为训练样本和测试样本；为每个行为动作进行切分，总计生成多组信号样本，在生成的样本中进行随机抽取，切分出带标签的训练集与测试集作为网络输入。步骤(3)：采用由改进Inception卷积结构构成的深度学习网络对训练样本进行数据预处理；改进Inception卷积结构包括输入层、第一至四卷积层、最大池化层、特征拼接层；第一层的输出接第一卷积层的输入、第二卷积层的输入、第三卷积层的输入、最大池化层的输入；最大池化层的输出接第三卷积层的输入；第一至四卷积层的输出接特征拼接层的输入；第一卷积层从输入至输出由串联的1×1卷积、2×2卷积构成；第二卷积层从输入至输出由串联的1×1卷积、2×2卷积、3×3卷积构成；第三卷积层为3×3卷积；第四卷积层为1×1卷积；最大池化层采用2×2最大池化层联通；改进Inception卷积结构构成的深度学习网络利用卷积池化方法对数据集的样本数据进行特征提取与数据处理，降低异常信息影响力，压缩了数据量，得到特征更明显且异常信息更少的人体行为数据序列，包括以下步骤：步骤(3.1)：构造改进Inception卷积结构，公式如下：其中是第l层第j个神经元的输出，bl是偏置值，σ是非线性激活函数，是卷积核的F×P权重矩阵，F代表第l层的特征图数量，P代表第l层的卷积核的长度。步骤(3.2)：构建数据预处理网络。利用Inception卷积结构所具有良好的BatchNormalization数据归一化特点，使用卷积神经网络中的卷积和池化操作，建立可以精准提取出待分类数据的重要信息特征的数据预处理网络。步骤(3.3)：使用Flatten层扁平化处理的输出数据结果，生成序列数据l。步骤(4)：利用A-GRU网络对步骤(3)预处理后的样本进行行为分析。A-GRU包括更新门、重置门、元素注意门；a)元素注意门用于赋予GRU神经元注意能力其中at表示元素注意门的输出，即响应矢量；代表Sigmoid的激活函数；Wxa表示由xt到at的关系矩阵,Wha表示由ht-1到at的关系矩阵,εa代表at对应的偏置向量；xt表示t状态的输入，即步骤(3)深度学习网络的输出；ht-1表示t-1状态的隐藏层输出；b)重置门用于控制忽略ht-1信息的程度rt＝σ(Wr⊙[ht-1,at⊙xt]+εr)其中Wr代表rt的权重矩阵，εr代表rt对应的偏置向量。c)更新门zt用于控制ht-1被带入到当前状态中的程度zt＝σ(Wz⊙[ht-1,at⊙xt]+εz)其中zt是隐藏状态的输出向量，W是代表zt的权重矩阵，εz是zt对应的偏置向量。d)整合元素注意门、重置门和更新门，计算公式如下：式中，ht是当前状态的输出向量，at作为当前状态的响应本文档来自技高网...

【技术保护点】
1.一种基于注意力机制GRU深度学习的人体行为识别方法，其特征在于包括以下步骤：/n步骤(1)：获取带时序信息的不同人体行为数据，并标注标签信息；/n步骤(2)：将人体行为数据集分配为训练样本和测试样本；/n步骤(3)：采用由改进Inception卷积结构构成的深度学习网络对训练样本进行数据预处理；/n改进Inception卷积结构包括输入层、第一至四卷积层、最大池化层、特征拼接层；第一层的输出接第一卷积层的输入、第二卷积层的输入、第三卷积层的输入、最大池化层的输入；最大池化层的输出接第三卷积层的输入；第一至四卷积层的输出接特征拼接层的输入；/n步骤(4)：利用A-GRU网络对步骤(3)预处理后的样本进行行为分析；/nA-GRU包括更新门、重置门、元素注意门；/na)元素注意门用于赋予GRU神经元注意能力/n

【技术特征摘要】
1.一种基于注意力机制GRU深度学习的人体行为识别方法，其特征在于包括以下步骤：
步骤(1)：获取带时序信息的不同人体行为数据，并标注标签信息；
步骤(2)：将人体行为数据集分配为训练样本和测试样本；
步骤(3)：采用由改进Inception卷积结构构成的深度学习网络对训练样本进行数据预处理；
改进Inception卷积结构包括输入层、第一至四卷积层、最大池化层、特征拼接层；第一层的输出接第一卷积层的输入、第二卷积层的输入、第三卷积层的输入、最大池化层的输入；最大池化层的输出接第三卷积层的输入；第一至四卷积层的输出接特征拼接层的输入；
步骤(4)：利用A-GRU网络对步骤(3)预处理后的样本进行行为分析；
A-GRU包括更新门、重置门、元素注意门；
a)元素注意门用于赋予GRU神经元注意能力



其中at表示元素注意门的输出，即响应矢量；代表Sigmoid的激活函数；Wxa表示由xt到at的关系矩阵,Wha表示由ht-1到at的关系矩阵,εa代表at对应的偏置向量；xt表示t状态的输入，即步骤(3)深度学习网络的输出；ht-1表示t-1状态的隐藏层输出；
b)重置门用于控制忽略ht-1信息的程度
rt＝σ(Wr⊙[ht-1,at⊙xt]+εr)
其中Wr代表rt的权重矩阵，εr代表rt对应的偏置向量；
c)更新门zt用于控制ht-1被带入到当前状态中的程度
zt＝σ(Wz⊙[ht-1,at⊙xt]+εz)
其中zt是隐藏状态的输出向量，W是代表zt的权重矩阵，εz是zt对应的偏置向量；
d)整合元素注意门、重置门和更新门，计算公式如下：






式中，ht是当前状态的输出向量，at作为当...

【专利技术属性】
技术研发人员：袁友伟，彭瀚，赵奇，鄢腊梅，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33