一种利用WiFi基于BVP和WiTransformer的手势识别方法及系统技术方案

本发明专利技术涉及一种利用WiFi基于BVP和WiTransformer的手势识别方法及系统，方法包括：接收并记录识别对象运动引起的CSI模式，基于CSI推导出BVP序列，BVP序列为三维数据，是一组沿时间维度T排列的BVP，BVP序列的长度由BVP的帧数确定，BVP中沿x轴和y轴速度分量可能值的数量记为N；对不同长度的BVP序列进行序列填充和归一化处理，得到处理好的BVP序列；将BVP序列输入训练好的WiTransformer模型，得到手势识别结果，WiTransformer模型是通过改装Transformer模型框架得到的。与现有技术相比，本发明专利技术改装Transformer模型，在编码器前增加了时序信息堆叠融合与帧位置编码模块，对编码器结构进行了调整，在编码器后增加了分类器，在面对高复杂度的识别任务时，也能够稳定、准确地识别。确地识别。确地识别。

【技术实现步骤摘要】
一种利用WiFi基于BVP和WiTransformer的手势识别方法及系统


[0001]本专利技术涉及基于无线信号人类感知
，尤其是涉及一种利用WiFi基于BVP和WiTransformer的手势识别方法及系统。

技术介绍

[0002]无线信号人类感知即利用相机、Wi
‑
Fi等无线电磁信号对感知区域中人类行为活动进行识别。基于无线感知的人类活动识别和监测是智慧医疗、人机交互以及智慧城市等现代智能技术发展的重要组成。最初，人们直观地采用计算机视觉和可穿戴设备的方法来实现。这两种方法都能够有效的识别人类活动。然而，基于视觉的方法存在隐私泄漏、光照条件等限制；可穿戴设备缺乏易用和便捷性。为了保护隐私、降低使用条件、增加便捷性，基于Wi
‑
Fi信号的感知识别系统应运而生。基于Wi
‑
Fi信号遇到障碍后发生反射这一事实(如图1所示)，从文献[1]开始，由于不需要额外成本、不存在隐私泄漏、泛在部署环境以及被动式感知等特点，使用商业Wi
‑
Fi进行人类活动识别逐渐成为热点技术。...

【技术保护点】

【技术特征摘要】
1.一种利用WiFi基于BVP和WiTransformer的手势识别方法，其特征在于，包括以下步骤：获取数据：接收并记录识别对象运动引起的CSI模式，基于CSI推导出BVP序列，所述BVP序列为三维数据，是一组沿时间维度T排列的BVP，BVP序列的长度由BVP的帧数确定，BVP中沿x轴和y轴速度分量可能值的数量记为N；数据处理：对不同长度的BVP序列进行序列填充和归一化处理，得到处理好的BVP序列；识别：将BVP序列输入训练好的WiTransformer模型，得到手势识别结果，所述WiTransformer模型是通过改装Transformer模型框架得到的。2.根据权利要求1所述的一种利用WiFi基于BVP和WiTransformer的手势识别方法，其特征在于，获取数据包括以下步骤：T1、布置Wi
‑
Fi信号发射器和接收器，接收并记录识别对象运动引起的CSI模式；CSI幅值表达式采用信道频率响应CFR复值所对应的t时刻测量载波频率f来表示：其中，a
k
(f,t)是第k条路径的初始相位偏移和分量衰减的幅值表示；是传播延迟为τ
k
(t)的第k条路径的相位偏移；e
j∈(f,t)
是由时间对准偏差、采样频率偏差和载波频率偏差引起的相位误差；T2、使用对应的DFS表示多径信号相位，从CSI中分离由人类活动引起的CFR，CSI的表达式转化为：其中，常量H
s
是所有具有零DFS的稳态信号之和，项是所有非零DFS动态信号之和；对应着身体运动引起的信号频率偏移；T3、计算接收器上不同天线的CSI的共轭乘法，消除高频噪声和随机偏差，仅保留具有明显的DFS多径分量的测量值，即有感知目标所反射的信号测量值；T4、通过主成分分析从相关的CSI子载波过滤出主成分，通过短时傅里叶变换，从主成分中生成时域和频域中的功率分布，时频功率分布频谱快照即为多普勒频移谱DFSP；T5、构建矩阵V
bvp
，其维度为N
×
N，N为沿着身体坐标系每个轴的速度分量可能值的数量；T6、将手势运动的任一速度分量投影在DFSP上某个频率分量上，引入压缩感知的思想，将BVP估计作为l0优化问题求解得到与手势运动直接映射的BVP矩阵V
bvp
，得到BVP序列。3.根据权利要求2所述的一种利用WiFi基于BVP和WiTransformer的手势识别方法，其特征在于，对BVP序列进行序列填充和归一化处理如下：沿着时间维度T将所有的BVP序列用零矩阵O∈0
N
×
N
填充至等长，BVP序列的整体权重受发射器的功率影响，据此对每一帧BVP的二维数值矩阵进行归一化处理。
4.根据权利要求1所述的一种利用WiFi基于BVP和WiTransformer的手势识别方法，其特征在于，改装Transformer模型框架包括：在Transformer模型框架的编码器之前增加时序信息堆叠融合与帧位置编码模块，BVP序列在时序信息堆叠融合与帧位置编码模块中执行以下步骤：S1、将BVP序列堆叠起来视为一张多通道图像数据B
bvp
∈R
H
×
W
×
C
，BVP序列中的每一帧BVP被排列进图像通道中，H和W本质为BVP中沿x轴和y轴速度分量可能值的数量，即H＝W＝N，C本质为BVP序列中BVP的帧数，即C＝T；S2、建立三维的One
‑
hot矩阵I
H
×
W
×
C
来保存BVP序列BVP之间的相对位置信息，并将位置信息嵌入B
bvp
中，如下：其中，为嵌入位置信息后的多通道图像数据；S3、将分割为N
tb
个三维矩阵管道Tube：其中，N
tb
为分割的管道数量，T
tb
表示三维矩阵管道的尺寸；S4、分别对每个三维矩阵管道进行拉平操作，将拉平得到的向量通过线性投射E映射到高位特征空间Token序列，如下：其中，表示三维矩阵管道拉平得到的向量，E...

【专利技术属性】
技术研发人员：杨明泽，吴飞，朱海，朱润哲，杨运成，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：