一种手势识别方法、设备及存储介质技术

本申请涉及一种手势识别方法、设备及存储介质。本申请公开了一种手势识别方法，包括：获取来自第一环境的第一CSI手势数据；利用所述第一CSI手势数据，训练经改进的对抗判别领域自适应ADDA模型，其中，所述ADDA模型是通过将卷积神经网络CNN

【技术实现步骤摘要】
一种手势识别方法、设备及存储介质


[0001]本专利技术涉及通信
，具体涉及一种基于WIFI系统的信道状态信息(Channels State Information，CSI)进行手势识别的方法。

技术介绍

[0002]随着物联网技术的不断发展，应用于智能家居和医疗健康场景中的人机交互技术也变得越来越重要。手势因其便利、易懂和含义丰富等特点成为了人机交互中的重要方式，同时无线感知技术也不断得到突破，WIFI设备在生活环境中被广泛部署，因此基于WIFI系统的信道状态信息进行手势识别的研究成了热点方向。利用WIFI系统的CSI进行手势识别具有不受光照影响、不需要佩戴专门的设备等优点。
[0003]然而，目前基于WIFI系统的CSI进行的手势识别的方法主要面临以下两个方面的问题：
[0004]1)易受环境干扰
[0005]现有的基于WIFI的手势识别技术虽然在单一环境下的识别率很高，但是随着WIFI环境的变化，比如室内物件摆放的位置不同，甚至是实验人员的变化，WIFI信道的多径效应也会受到影响，随之收集到手势数据的特征分布也就会不同，最终导致手势识别的准确率大大下降。即，利用一个环境中的手势数据进行模型的训练，然后把该模型直接应用到其他不同的环境中，手势识别的准确率会大幅度下降。
[0006]2)手势数据中手势动作单一
[0007]现有的基于WIFI的手势识别方法在针对WIFI CSI活动进行数据收集时，其人体活动CSI每种样本都比较单一，即实验数据较为理想，且没有考虑到WIFI CSI数据的时序特征，这会导致实验结果存在过拟合现象。
[0008]现有的基于WIFI系统CSI的手势识别技术方案主要解决手势特征的分类和识别问题。专利CN109766951A提供了一种基于时频统计特性的WIFI手势识别方法。该方法利用网卡接收到的手势数据进行CSI幅值数据提取，对CSI幅值数据通过低通滤波预处理以降低环境噪声，再通过奇异值分解(Singular Value Decomposition，SVD)算法对CSI幅值数据进行降维处理，然后通过短时傅里叶变换(Short
‑
Time Fourier Transform，STFT)提取信号的时频特征，将时频特征经过统计特征提取与特征标准化的处理得到可用于分类的统计特性，最后利用k
‑
邻近(k
‑
Nearest Neighbor，kNN)分类算法对手势进行分类判决。该方法能够有效的分类并识别手势特征，解决了在室内单一复杂环境下对手势的识别问题，并没有解决普适性差的问题。
[0009]随着物联网技术的发展，WIFI手势识别技术被广泛的应用于智能家居和医疗健康场景中，现有的WIFI手势识别方法存在的易受环境干扰、普适性差的问题不利于WIFI手势识别技术大范围的应用。

技术实现思路

[0010]有鉴于此，本专利技术实施例提供了一种基于领域自适用的WIFI手势识别方法及装置，以解决现有的WIFI手势识别方法易受环境干扰、普适性差的问题。
[0011]根据第一方面，本专利技术实施例提供了一种手势识别方法，包括：获取来自第一环境的第一CSI手势数据；利用所述第一CSI手势数据，训练经改进的对抗判别领域自适应ADDA(Adversarial Discriminative Domain Adaptation)模型，其中，所述ADDA模型是通过将卷积神经网络CNN
‑
双向长短期记忆BiLSTM网络模型用作特征提取器来改进的，该CNN
‑
BiLSTM网络模型是CNN与基于注意力机制的BiLSTM相结合的网络模型；所述ADDA模型用于基于来自第二环境的第二CSI手势数据进行手势识别，其中，所述第一环境和所述第二环境不同。
[0012]现有的WIFI CSI手势识别技术是在单一环境下进行模型训练的，如果直接将其运用在其他环境下，手势识别的精度将会下降，就需要收集带标签的数据重新进行训练。
[0013]本申请将对抗域自适用模型应用到CSI手势识别领域，将对抗判别领域自适应ADDA模型中的特征提取网络修改成了CNN
‑
BiLSTM，解决了在不同环境中需要重新收集数据训练的问题，此外，使用这种经改进的ADDA模型能够提高手势识别模型的普适性，减少了环境因素的影响。
[0014]结合第一方面，在第一方面第一实施方式中，该方法还包括：获取所述第二CSI手势数据；利用训练好的经改进的ADDA模型对所述第二CSI手势数据进行分类，以得到对应的手势类别。
[0015]本申请对ADDA模型的训练可以仅利用来自第一环境的第一CSI手势数据进行，然后训练好的ADDA模型就可用于对来自另一不同环境的CSI手势数据进行手势分类，而不需要从该另一不同环境收集带标签的数据重新进行训练。
[0016]结合第一方面，在第一方面第二实施方式中，所述ADDA模型是通过将基于Wassertein距离的损失函数用作生成对抗的损失函数来进行进一步改进的。
[0017]本申请对ADDA模型做了进一步的改进，将生成对抗的损失函数换成了基于Wasserstein距离的损失函数。使用基于Wassertein距离的损失函数作为ADDA模型中的损失函数能够让通过某一环境数据训练出的模型在应用到其它不同环境下时仍然有较高的准确度，从而进一步解决手势识别方法的普适性差的问题。
[0018]结合第一方面，在第一方面第三实施方式中，所述CNN
‑
BiLSTM网络模型是利用来自所述第一环境或所述第二环境的第三CSI手势数据来训练的。
[0019]也就是说，所述CNN
‑
BiLSTM网络模型可以使用单一环境下的手势数据来训练。并且该第三CSI手势数据与第一CSI手势数据或第二CSI手势数据可以相同，也可以不同。具体地，可以分别使用来自不同环境的数据训练CNN
‑
BiLSTM网络模型，最后通过某一指标来确定使用用来自哪一环境的数据训练出的CNN
‑
BiLSTM网络模型，从而使模式效果到达最优。
[0020]结合第一方面，在第一方面第四实施方式中，所述利用所述第一CSI手势数据，训练经改进的对抗判别领域自适应ADDA模型包括：将所述第一CSI手势数据划分为源域数据和目标域数据；利用所述CNN
‑
BiLSTM网络模型对所述源域数据进行特征提取和手势分类，以得到手势类别及提取的特征；以及利用所述手势类别及提取的特征以及所述目标域数据，训练所述经改进的ADDA模型。
[0021]其中，利用所述CNN
‑
BiLSTM网络模型对所述源域数据进行特征提取和手势分类是对源域数据的预处理，目的是为了提高数据的质量。
[0022]结合第一方面，在第一方面第五实施方式中，所述第一CSI手势数据和/或所述第二CSI手势数据包括与朝多个不同方向进行的手势动作相关联的CSI手本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势识别方法，其特征在于，包括：获取来自第一环境的第一CSI手势数据；利用所述第一CSI手势数据，训练经改进的对抗判别领域自适应ADDA模型，其中，所述ADDA模型是通过将卷积神经网络CNN
‑
双向长短期记忆BiLSTM网络模型用作特征提取器来改进的，该CNN
‑
BiLSTM网络模型是CNN与基于注意力机制的BiLSTM相结合的网络模型；所述ADDA模型用于基于来自第二环境的第二CSI手势数据进行手势识别，其中，所述第一环境和所述第二环境不同。2.如权利要求1所述的手势识别方法，其特征在于，所述方法还包括：获取所述第二CSI手势数据；利用训练好的经改进的ADDA模型对所述第二CSI手势数据进行分类，以得到对应的手势类别。3.如权利要求1或2所述的手势识别方法，其特征在于，所述ADDA模型是通过将基于Wassertein距离的损失函数用作生成对抗的损失函数来进行进一步改进的。4.如权利要求1所述的手势识别方法，其特征在于，所述CNN
‑
BiLSTM网络模型是利用来自所述第一环境或所述第二环境的第三CSI手势数据来训练的。5.如权利要求1所述的手势识别方法，其特征在于，所述利用所述第一CSI手势数据，训练经改进的对抗判别领域自适应ADDA模型，包括：将所述第一CSI手势数据划分为源域数据和目标域数据；利用所述CNN
‑
BiLSTM网...

【专利技术属性】
技术研发人员：单元元，周济，王小乾，李伟泽，赵素雅，朱帅，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：