一种手势识别和位置分类联合深度学习方法技术

本发明专利技术为一种手势识别和位置分类联合深度学习方法，包括步骤：S1、将CSI样本输入到多任务收缩残差网络模块中的一维卷积进行降采样，并进行标准化处理；S2、将处理的CSI样本输入残差结构，进行特征矩阵相加和软阈值化操作；S3、将提取的共同特征信息输入手势和位置输出层；S4、进行手势空间特征提取；S5、进行reshape操作；S6、将手势空间特征信息输入LSTM网络中提取时间特征；S7、位置输出层直接输出分类结果；S8、将特征抽取辅助模块提取的手势时空特征与其共享特征向量融合，输出手势分类结果。本发明专利技术通过特征抽取辅助模块和多任务收缩残差网络模块手势识别分支任务的输出层进行特征参数的融合，提高了手势识别的评价指标，提升了其网络模型的泛化能力。提升了其网络模型的泛化能力。提升了其网络模型的泛化能力。

【技术实现步骤摘要】
一种手势识别和位置分类联合深度学习方法


[0001]本专利技术涉及特征提取与识别的
，尤其涉及一种手势识别和位置分类联合深度学习方法。

技术介绍

[0002]现如今，基于WiFi设备信道状态信息(CSI)的不同子载波幅度已被广泛应用于人员特征提取任务，如人员识别、轨迹预测、手势识别和位置分类。不同于摄像头识别人员技术，WiFi设备无需考虑人员隐私安全、人员脸部遮挡、光照不足、计算复杂度高等问题，得益于此，WiFi技术成为人员特征提取研究领域热点之一。
[0003]目前，基于WiFi的人员特征提取方式主要有CNN、RNN、GAN等网络结构。CNN主要包括卷积层、激活层、归一层和池化层，该网络通过多层卷积层和池化处理，提取特征向量后输入到全连接层中，输出分类结果。RNN主要包括输入层、隐藏层和输出层，该网络通过记忆之前的信息，并利用之前的信息影响后面结点的输出。GAN网络主要包括生成、判别和对抗模块，该网络通过生成器与判别器进行博弈学习后输出相应的结果。
[0004]这些算法通过采用不同的深度学习网络提取CSI时间维度上、空间维度上的特征信息，然后在解码层输出相对应的分类结果。但由于WiFi数据采集过程中易受到环境的干扰，容易产生多径效应噪声，影响特征信息的提取，对其分类结果产生不良影响。而且，WiFi采集的CSI小样本数据集容易因为模型复杂度过高容易出现过拟合现象。除此之外，目前针对WiFi特征信息提取研究主要集中在单一分类任务中：位置分类和手势识别，较少将WiFi特征信息提取工作应用于多任务网络中。在现实工作、生活环境中人们往往需要多个应用功能来解决他们的实际需求，单一任务网络则不能满足该实际需求。基于多任务网络的CSI数据集标签CSI一般包括两个或以上的标签，所有标签特征会相互叠加，影响识别标签特征的提取，进行单一或多标签分类时往往因该CSI标签特征包含其他标签特征信息而导致分类准确率受到影响。

技术实现思路

[0005]为解决现有技术所存在的技术问题，本专利技术提供一种手势识别和位置分类联合深度学习方法，通过特征抽取辅助模块MFCs
‑
LSTM和多任务收缩残差网络模块手势识别分支任务的输出层进行特征参数的融合，提高了手势识别的评价指标，提升了其网络模型的泛化能力。
[0006]本专利技术采用以下技术方案来实现：一种手势识别和位置分类联合深度学习方法，包括以下步骤：
[0007]S1、将CSI样本输入到多任务收缩残差网络模块中的一维卷积对CSI样本进行降采样操作，然后对其进行标准化处理；
[0008]S2、将处理后的CSI样本输入到若干个带有收缩子网络的残差结构中，进行特征矩阵相加和软阈值化操作；
[0009]S3、将提取的共同特征信息同时输入手势输出层和位置输出层；
[0010]S4、将CSI样本并行输入到特征抽取辅助模块中带有SE模块的两个不同尺度的FCN中，进行手势空间特征提取；
[0011]S5、对输出的手势空间特征进行reshape操作；
[0012]S6、将reshape操作后的手势空间特征信息输入到LSTM网络中提取其时间特征；
[0013]S7、位置输出层直接输出其分类结果；
[0014]S8、手势输出层通过特征增强的方式将特征抽取辅助模块提取的手势时空特征与其共享特征向量融合，最后输出增强后的手势分类结果。
[0015]本专利技术与现有技术相比，具有如下优点和有益效果：
[0016]1、本专利技术通过将软阈值化插入到残差模块中，使用梯度下降算法自动识别和消除多径噪声特征，减小环境噪声对于人员特征提取的干扰，此外，还通过减少网络层数来解决样本数量少而导致训练结果过拟合的情况。
[0017]2、本专利技术通过特征抽取辅助模块MFCs
‑
LSTM和多任务收缩残差网络模块手势识别分支任务的输出层进行特征参数的融合，提高了手势识别的评价指标，提升了其网络模型的泛化能力。
附图说明
[0018]图1是本专利技术的AFERSM
‑
Net模型架构图；
[0019]图2是位置和手势采集场景示意图；
[0020]图3(a)是手势类别及样本数示意图；
[0021]图3(b)是位置类别及样本数示意图；
[0022]图4是特征抽取辅助模块MFCs
‑
LSTM架构图；
[0023]图5是本专利技术的方法流程图；
[0024]图6(a)是手势混淆矩阵示意图；
[0025]图6(b)是位置混淆矩阵示意图。
具体实施方式
[0026]下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。
[0027]实施例
[0028]如图1所示，本实施例一种手势识别和位置分类联合深度学习方法，提供了AFERSM
‑
Net模型(Auxiliary Feature Extraction based Residual Shrinkage Multi
‑
tasking Network)，用于一维多变量时间序列的手势识别和位置分类。
[0029]具体地，本实施例中，采用带有手势和位置标签的CSI数据集，其实验场景如图2所示；CSI数据集涉及6种手部动作，即一个用户在16个位置进行的手势向上、向下、向左、向右、画圈、打交叉动作；在每个位置，每个活动重复15次，除去不良样本，一共采集了1394个样本数据，具体如图3(a)、图3(b)所示；每个样本数据包含52个子载波信号，将1116个样本作为训练集数据，然后从所有样本中均匀选取与训练集条件相同的278个样本作为测试集数据。
[0030]具体地，本实施例中，AFERSM
‑
Net模型包括：特征抽取辅助模块MFCs
‑
LSTM(Multiscale Fully Convolutional SE
‑
LSTM)和多任务收缩残差网络模块(Residual Shrinkage Multi
‑
tasking Network)；其中，特征抽取辅助模块MFCs
‑
LSTM用于训练特有的手势权重参数来增强手势的特征信息，其网络结构如图4所示；多任务收缩残差网络模块则是通过共享权重参数来实现两个分支任务。
[0031]如图5所示，本实施例中一种手势识别和位置分类联合深度学习方法，包括以下步骤：
[0032]S1、将CSI样本输入到多任务收缩残差网络模块(Residual Shrinkage Multi
‑
tasking Network)中大小为7的一维卷积对CSI样本进行降采样操作，然后对其进行标准化处理；
[0033]S2、将处理后的CSI样本输入到三个带有收缩子网络的残差模块中，进行特征矩阵相加和软阈值化操作；
[0034]S3、将提取的共同特征信息同时输入手势输出层和位置输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势识别和位置分类联合深度学习方法，其特征在于，包括以下步骤：S1、将CSI样本输入到多任务收缩残差网络模块中的一维卷积对CSI样本进行降采样操作，然后对其进行标准化处理；S2、将处理后的CSI样本输入到若干个收缩子网络的残差结构中，进行特征矩阵相加和软阈值化操作；S3、将提取的共同特征信息同时输入手势输出层和位置输出层；S4、将CSI样本并行输入到特征抽取辅助模块中带有SE模块的两个不同尺度的FCN中，进行手势空间特征提取；S5、对输出的手势空间特征进行reshape操作；S6、将reshape操作后的手势空间特征信息输入到LSTM网络中提取其时间特征；S7、位置输出层直接输出其分类结果；S8、手势输出层通过特征增强的方式将特征抽取辅助模块提取的手势时空特征与其共享特征向量融合，最后输出增强后的手势分类结果。2.根据权利要求1所述的一种手势识别和位置分类联合深度学习方法，其特征在于，CSI样本的获取过程为：采用带有手势和位置标签的CSI数据集，CSI数据集涉及若干种手部动作，一个用户在多个位置进行的手势向上、向下、向左、向右、画圈、打交叉动作；在每个位置，每个活动重复若干次，采集若干个样本数据；每个样本数据包含若干个子载波信号，将若干个样本作为训练集数据，然后从所有样本中均匀选取与训练集条件相同的若干个样本作为测试集数据。3.根据权利要求2所述的一种手势识别和位置分类联合深度学习方法，其特征在于，步骤S2中的具体过程如下：S21、利用收缩子网络将每一个子载波信号进行小波分解，变换到一个近零数字的区域，然后应用软阈值将近零特征转换为零，最后再小波重构，该软阈值化表示为：其中，x为输入特征，y为输出特征，τ为阈值，即为正参数；S22、将该软阈值通过若干个神经网络层集合为训练模块，使用梯度下降算法自动学习获得；S23、自动确定的软阈值作为非线性转换层插入到1DResNet[1,1,1]的残差模块中；软阈值模块作为残差网络的子网络，通过绝对化输入特征，使用GAP进行全局池化操作，获得一维向量；S24、将一维向量输入到FC网络中，再通过BN，RELU操作，最后输入FC网络，得到一个缩放参数，将缩放参数通过Sigmoid函数缩放到(0，1)的范围，表示为：其中，z为残差模块中第二层FC网络的输出，α为对应的缩放参数；S25、将缩放参数α乘以|x|的平均值得到阈值，该阈值表示为：
τ＝α
·
average|x
i,j,c
|其中，τ为阈值...

【专利技术属性】
技术研发人员：卢旭，黄雄伟，刘军，肖志伟，吴少辉，
申请(专利权)人：广东技术师范大学，
类型：发明
国别省市：