一种基于时间和通道双注意力的人体姿态识别方法技术

本发明专利技术公开了一种基于时间和通道双注意力的人体姿态识别方法，包括：利用移动设备的内置传感器采集各类人体动作的原始数据，并附上动作的属性标签、利用滑窗和归一化处理并切分为训练样本集和测试样本集、建立基于时间和通道双注意力的深度卷积神经网络模型，导入训练样本和测试样本进行训练和最优化调节，得到人体动作的识别结果。本发明专利技术由于通道注意力和时序注意力的叠加作用，可以在经过大量粗粒度的训练数据训练后准确定位到目标动作发生的类别和发生时间，大大降低了人工标注训练数据的繁琐性，在体育，互动游戏，医疗保健和通用监视系统等方面具有十分重要的作用。

【技术实现步骤摘要】
一种基于时间和通道双注意力的人体姿态识别方法
本专利技术属于穿戴式设备智能监控领域，尤其涉及一种基于时间和通道双注意力的人体姿态识别方法。
技术介绍
近年来，随着计算机技术的发展和智能科技的普及，当前已经进入了新一轮的全球科技变革，大规模云计算、物联网、大数据和人工智能等技术也在飞速发展。其中，人体姿态识别技术也在计算机视觉相关领域的一个重要研究趋势。其应用范围十分广泛，可用于健康监视，运动检测，人机交互、影视制作、游戏娱乐等各种领域。人们可以利用人体随身佩戴的传感器来收集人体关节点运动轨迹数据来实现姿态识别，还可以实现3D动画模拟人体运动来制作电影电视剧等。随着智能可穿戴设备研究的不断发展，基于可穿戴传感器的人体姿态识别已经成为了重要的研究领域，他是通过分析能够反映人体运动行为的相关信息来判断人体运动行为状态的技术。在健康监护、室内定位与导航、用户社交行为分析，体感游戏等。但是目前的人体姿态识别系统大都存在识别精度低，推断速度慢等问题，所以如何建立一个高精度的网络模型同时保持推断速度便成为了亟待解决的问题。人体姿态识别目前最为广泛的应用是在于智能监控中。智能监控与一般普通监控的区别主要在于将人体姿态识别技术嵌入视频服务器中,运用算法,识别、判断监控画面场景中的动态物体——行人、车辆的行为,提取其中关键信息,当出现异常行为时,及时向用户发出警报。同样,固定场景下的人体姿态识别技术可以应用于家庭监控,如为了预防独居老人摔倒情况的发生,可以通过在家中安装识别摔倒姿态的智能监控设备,对独居老年人摔倒情况的识别,当出现紧急情况时及时做出响应。人类社会的不断发展与生活质量的不断提升,视频监控已经被非常广泛地应用到各个领域,人们生活空间的不断扩大和延展,公共及私人场所的领域也在随之发展,遇到各种突发情况的概率在不断增加,尤其是在公共场所,由于其监控难度较大,人口密集。通过简单的监控,已经无法满足当今社会发展的要求,简单地依靠值班人员的坚守,想要真正做到人体姿态预测还有较大难度,对于社会资源也是一种潜在的浪费。因此,选用独立于个体的智能监控系统已经成为当前社会解决这一根本问题的必由之路,在社交的过程中,人类除了语言以外其肢体动作也能传递一定的信息,通过较为科学合理的预测能够实现动作的含义解读,并且更好帮助人们的实现社交。深度学习在模式识别上有着很好的发展前景。其中以浅层卷积神经网络为代表的模型架构更是占据了主流地位。卷积神经网络在计算机视觉领域受到极大关注，它不仅可以处理多维数据，而且在大数据量的前提下比传统方法效果更加显。对比传统的机器学习方法，例如逻辑回归，决策树，马尔科夫模型等，虽然这些浅层深度学习方法在精度上有着显著的提高，但却因为卷积层数较少导致特征图信息并不丰富。同时普适的卷积计算并不能准确定位目标动作发生的时间及在一串长数据中准确定位目标动作的类型。因此如何在保证模型识别精度的同时又能准确定位目标动作发生的时间和类别成了当前研究人员首要解决的问题。
技术实现思路
专利技术目的：针对上述问题，本专利技术的目的是提供一种基于时间和通道双注意力的人体姿态识别方法，在更深的卷积神经网络中不仅能提高模型的精度，同时还能准确定位通道轴发挥作用的传感器类型和时间轴目标动作的发生时段。技术方案：本专利技术提出一种基于时间和通道双注意力的人体姿态识别方法，该方法包括如下步骤：Step1，通过移动传感器采集各活动类别人体姿态动作信号数据(例如躺下，站起，行走，跑步，跌倒等)，并对这些动作信号数据附上相应的动作属性标签；Step2，对上述采集到的动作信号数据进行数据预处理，并将处理后的数据划分为训练样本集和测试样本集；所述处理包括：数据进行固定步长的滑窗处理，减少滑动步长可以获取更多数据，将上述处理得到的数据信号进行数据去噪、去空操作和归一化处理，再将其按比例缩放，使之落入特定的(0,1)区间；Step3，对上述处理后的数据作为输入样本送进多注意力深度卷积神经网络训练，设置好学习率、优化器、固定batch大小以后，利用梯度下降不断减小深度卷积神经网络模型的损失值同时更新各权重参数，直到损失值小于预设值时得到训练模型；Step4，利用训练好的模型对待识别的人体姿态数据进行分类识别。进一步的，所述Step1中，在采集传感器数据信号时将传感器降采样频率设定为20Hz-40Hz。进一步的，所述Step2中，包括对数据剔除异常值和空值，并重新整理各个活动类别的数量，使数据集服从于均匀分布，并按照70％和30％分别作为训练样本和测试样本。进一步的，所述Step3具体包括如下内容：3.1，建立6层卷积注意力神经网络模型。整个模型共建立三个卷积block，其中每个block包含两层卷积提取层和一个跳接卷积层；A：使用6层深度卷积构建卷积神经网络：使用6层卷积层来构建卷积神经网络，其中每两层卷积层搭建为一个卷积block。在每个block的两层卷积上增加一个跳接卷积层，用来保持输入数据的维度RC×H×W(C为数据通道数，H为数据高度，W为数据宽度)与输出数据RC’×H×W(C’为数据通道数，H为数据高度，W为数据宽度)可以进行线性加权。其中C→C’是由卷积层中通道维数决定。6层卷积层搭建完成后，输出数据送入注意力网络，进行注意力权重的线性加权。然后最后送入全连接层，进行人体动作分类计算B：建立通道注意力网络：在模型3个block的每一个block的两层卷积层后面顺序添加通道注意力网络和时序注意力网络，首先为了确定卷积特征在通道维的传感器特征重要程度，在特征图通道维加上通道注意力网络；首先使用平均池化和最大池化来压缩特征时间维信息，产生平均时序特征和最大时序特征然后将两个特征送到多层感知机中使用逐点求和得到最终输出特征，具体表示为：MC(F)＝σ(MLP(Avgpool(F))+MLP(MaxPool(F)))其中，σ表示sigmod激活函数。MLP为代表一个标准的多层感知机，AvgPool、Maxpool表示平均池化、最大池化操作；通过注意力网络生成的特征加到传感器元数据的通道维，可以进一步生成通道维的对应权重，精确定位到人体姿态动作对应的传感器轴。C：建立时序注意力网络：在每一个卷积block添加完通道注意力网络后，顺序建立时序注意力网络，为了确定传感器数据在时间轴上目标动作的准确位置，在特征图时间维加上时序注意力。首先使用平均池化和最大池化来压缩通道维信息，产生平均通道特征和最大通道特征其中，表示沿着时间轴的通道平均池化特征，表示沿着时间轴的通道最大池化特征，H、W分别为这些特征的高度和宽度，这些特征的通道数都为1。然后将两个特征线性叠加起来送入一个卷积层中进行卷积得到最终卷积特征，具体表示为：MT(F)＝σ(conv7×1([AvgPool(F)；MaxPool(F)]))其中，σ表示sigmod激活函数，conv7×1表示卷积核大小为7×1的卷积层，AvgPool、MaxPool分别表示本文档来自技高网...

【技术保护点】
1.一种基于时间和通道双注意力的人体姿态识别方法，其特征在于，该方法包括如下步骤：/nStep1，通过移动传感器采集各活动类别人体姿态动作信号数据，并对这些动作信号数据附上相应的动作属性标签；/nStep2，对上述采集到的动作信号数据进行数据预处理，并将处理后的数据划分为训练样本集和测试样本集；所述处理包括：将数据进行固定步长的滑窗处理，以此将原始的长段传感器数据切成固定尺寸的数据，将上述处理得到的数据信号进行数据去噪、去空操作和归一化处理，再将其按比例缩放，使之落入特定的(0，1)区间；/nStep3，对上述处理后的数据作为输入样本输入多注意力深度卷积神经网络中训练，设置好学习率、优化器、固定batch大小以后，利用梯度下降不断减小深度卷积神经网络模型的损失值，同时更新各权重参数，直到损失值小于预设值时得到训练模型；/nStep4，利用训练好的模型对待识别的人体姿态数据进行分类识别。/n

【技术特征摘要】
1.一种基于时间和通道双注意力的人体姿态识别方法，其特征在于，该方法包括如下步骤：
Step1，通过移动传感器采集各活动类别人体姿态动作信号数据，并对这些动作信号数据附上相应的动作属性标签；
Step2，对上述采集到的动作信号数据进行数据预处理，并将处理后的数据划分为训练样本集和测试样本集；所述处理包括：将数据进行固定步长的滑窗处理，以此将原始的长段传感器数据切成固定尺寸的数据，将上述处理得到的数据信号进行数据去噪、去空操作和归一化处理，再将其按比例缩放，使之落入特定的(0，1)区间；
Step3，对上述处理后的数据作为输入样本输入多注意力深度卷积神经网络中训练，设置好学习率、优化器、固定batch大小以后，利用梯度下降不断减小深度卷积神经网络模型的损失值，同时更新各权重参数，直到损失值小于预设值时得到训练模型；
Step4，利用训练好的模型对待识别的人体姿态数据进行分类识别。


2.根据权利要求1所述的一种基于时间和通道双注意力的人体姿态识别方法，其特征在于，所述Step1中，在采集传感器数据信号时将传感器降采样频率设定为20Hz-40Hz。


3.根据权利要求1所述的一种基于时间和通道双注意力的人体姿态识别方法，其特征在于：所述Step2中，数据处理包括对数据剔除异常值和空值，并重新整理各个活动类别的数量，使数据集服从于均匀分布，并按照70％和30％分别作为训练样本和测试样本。


4.根据权利要求1所述的一种基于时间和通道双注意力的人体姿态识别方法，其特征在于，所述Step3具体包括如下内容：
3.1，建立6层卷积注意力神经网络模型，整个模型共建立三个卷积block，其中，每个block包含两层卷积提取层和一个跳接卷积层；
A：使用6层深度卷积构建卷积神经网络：
使用6层卷积层来构建卷积神经网络，其中每两层卷积层搭建为一个卷积block，在每个block的两层卷积上增加一个跳接卷积层，用来保持输入数据的维度RC×H×W，与输出数...

【专利技术属性】
技术研发人员：张雷，高文彬，刘悦，
申请(专利权)人：南京师范大学，
类型：发明
国别省市：江苏;32