一种基于Performer-Unet的WiFi人体姿态估计算法制造技术

本发明专利技术的基于Performer

【技术实现步骤摘要】
一种基于Performer
‑
Unet的WiFi人体姿态估计算法


[0001]本专利技术涉及一种基于Performer
‑
Unet的WiFi人体姿态估计算法，属于基于WiFi信号的人体姿态估计领域。

技术介绍

[0002]随着深度学习的发展，人体姿态估计被广泛应用于人机交互、运动分析、虚拟现实以及安防等领域，逐渐成为计算机视觉领域的研究热点。传统的人体姿态估计方法主要分为RGB图像估计以及多媒体传感器估计。然而出于个人隐私及安全考虑，在卧室、洗手间等隐私区域无法安装摄像头等图像获取设备，因此基于RGB图像的姿态估计方法存在大量盲点区域。此外，摄像头的工作状况极易受到眩光、遮挡等光线因素的影响，存在较大的不稳定性。基于多媒体传感器的姿态估计方法大多数依赖于可穿戴式传感器、红外传感器以及雷达设备，这些方法都存在需要安装专业设备、灵活性差、成本高等问题。

技术实现思路

[0003]本专利技术的目的是针对传统的RGB图像人体姿态识别算法应用场景受限，传统的卷积神经网络在人体姿态估计算法中性能受限等问题，提出一种基于Performer
‑
Unet的WiFi人体姿态估计算法。本专利技术在人体姿态识别算法中引入跨模态技术，通过高性能的图像人体姿态识别算法来训练基于WiFi的姿态识别算法。此外，本专利技术设计了独特的U形多头注意力算法结构，为人体姿态估计的准确率和鲁棒性提供保证。
[0004]本专利技术的技术方案是：
[0005]一种基于Performer
‑
Unet的WiFi人体姿态估计算法，该算法包括以下步骤：
[0006]S1、采集人体活动视频，拆解为各种人体姿态的样本图像帧，提取包含人体骨架点坐标的真实姿态标注信息；按时间戳获取前述样本图像帧的CSI数据包即信道状态信息序列；
[0007]S2、将包含真实姿态标注信息的样本图像帧和按时间戳获取的对应样本图像帧的信道状态信息序列输入人工神经网络中进行训练；
[0008]根据信道状态信息序列获得人体姿态估计输出，与对应样本图像帧的真实姿态标注信息进行损失标注，并采用梯度下降法优化人工神经网络，直至神经网络收敛，完成训练，获得Performer
‑
Unet人体姿态估计模型；
[0009]S3、采用WiFi接收天线实时采集待测的人体姿态CSI数据流，输入Performer
‑
Unet人体姿态估计模型，根据CSI数据流获取人体姿态。
[0010]进一步地，所述的人体姿态包括：站、立、行、走、蹲、跑、跳；所述的真实姿态标注信息为18个人体骨架点坐标。
[0011]进一步地，步骤S1具体为：在人体的两侧布置WiFi发送天线和WiFi接收天线，在WiFi发送天线的一侧布置监控摄像头，且所述监控摄像头与WiFi发送天线对齐设置，用于拍摄人体的活动视频，将视频拆解为包含人体姿态的样本图像帧；采用WiFi接收天线实时
采集人体姿态的CSI数据流。
[0012]进一步地，步骤S1中，真实姿态标注信息的获取方式为：
[0013]采用人体姿态识别算法Alphapose对所述人体姿态的样本图像帧进行处理，获取包含人体骨架点坐标的真实姿态标注信息P
A
；
[0014]P
A
＝Alpha(I
k
)
[0015]其中：k表示样本图像帧的帧序号，Ik表示摄像机所捕捉的第k帧样本图像帧；Alpha()表示人体姿态识别算法；
[0016]根据真实姿态标注信息P
A
生成姿态标注坐标及其置信度C：
[0017][0018]其中：j表示骨架节点的编号；代表第j个骨架点的坐标，C
j
为该骨架点识别坐标的置信度。
[0019]进一步地，步骤S1中，信道状态信息即CSI数据流的获取方式为：采用Matlab将信道状态信息CSI的数据流拆分为按时间戳与每帧图像对应的CSI数据包。
[0020]进一步地，步骤S2中训练过程具体包括：
[0021]步骤21、构建教师网络T(
·
)和学生网络S(
·
)，所述的教师网络用于存储样本图像帧的真实姿态标注信息，所述的学生网络用于存储样本图像帧的CSI数据包；
[0022]步骤22、学生网络S(
·
)将该第k帧样本图像所对应的信道状态信息序列X
k
输入到人工神经网络Performer
‑
Unet中，并生成与姿态标注坐标大小一致的姿态估计矩阵
[0023][0024][0025]其中：j表示骨架节点的编号；PU()代表使用模型Performer
‑
Unet对信道状态信息序列数据X
k
进行处理；代表姿态估计矩阵中第j个骨架点的坐标；
[0026]步骤23、在学生网络S(
·
)中计算姿态标注坐标与姿态估计矩阵的误差损失，该处采用L2损失计算学生网络的误差L
S(
·
)
：
[0027][0028]其中：j表示骨架节点的编号；C
j
表示第j个骨架节点的置信度；分别表示
真实姿态标注和姿态估计矩阵；分别代表第j个骨架点位置的坐标(x
j
，y
j
)；
[0029]步骤24、学生网络S(
·
)将计算的误差进行梯度回传，通过梯度下降法优化网络Performer
‑
Unet，直到网络收敛，完成训练。
[0030]进一步地，所述的PU()表示Performer
‑
Unet人体姿态估计模型，采用U形结构，并在最底层的融合层加入N层Performer层，该模型的处理步骤如下：
[0031]步骤22.1、U形结构模型将输入的信道状态信息序列X
k
进行三次下采样进行背景语义提取，下采样包括一次卷积Conv()操作和一次池化Pool( )操作，获得三次下采样的输出
[0032][0033]步骤22.2、将三次下采样后的序列信息输入到N层Performer层中，通过多头注意力机制MulAttn()提取出姿态特征序列
[0034][0035]步骤22.3、将提取出的姿态特征序列进行上采样以放大特征信息，得到特征放大序列上采样操作包含一次卷积操作Conv()和一次插值操作Int()：
[0036][0037]步骤22.4、依次将上采样后的特征放大序列与跨层连接前的语义序列即对应的下采样输出进行三次融合，得到兼顾上下文语义和特征信息的姿态预测序列
[0038][0039]步骤22.5、将Performer
‑
Unet最终输出的姿态预测序列通过二重卷积与姿态标注坐标进行尺度匹配得到姿态估计矩阵
[0040][0041]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Performer
‑
Unet的WiFi人体姿态估计算法，其特征在于，该算法包括以下步骤：S1、采集人体活动视频，拆解为各种人体姿态的样本图像帧，提取包含人体骨架点坐标的真实姿态标注信息；按时间戳获取前述样本图像帧的CSI数据包即信道状态信息序列；S2、将包含真实姿态标注信息的样本图像帧和按时间戳获取的对应样本图像帧的信道状态信息序列输入人工神经网络中进行训练；根据信道状态信息序列获得人体姿态估计输出，与对应样本图像帧的真实姿态标注信息进行损失标注，并采用梯度下降法优化人工神经网络，直至神经网络收敛，完成训练，获得Performer
‑
Unet人体姿态估计模型；S3、采用WiFi接收天线实时采集待测的人体姿态CSI数据流，输入Performer
‑
Unet人体姿态估计模型，根据CSI数据流获取人体姿态。2.根据权利要求1所述的基于Performer
‑
Unet的WiFi人体姿态估计算法，其特征在于所述的人体姿态包括：站、立、行、走、蹲、跑、跳；所述的真实姿态标注信息为18个人体骨架点坐标。3.根据权利要求1所述的基于Performer
‑
Unet的WiFi人体姿态估计算法，其特征在于步骤S1具体为：在人体的两侧布置WiFi发送天线和WiFi接收天线，在WiFi发送天线的一侧布置监控摄像头，且所述监控摄像头与WiFi发送天线对齐设置，用于拍摄人体的活动视频，将视频拆解为包含人体姿态的样本图像帧；采用WiFi接收天线实时采集人体姿态的CSI数据流。4.根据权利要求1所述的基于Performer
‑
Unet的WiFi人体姿态估计算法，其特征在于步骤S1中，真实姿态标注信息的获取方式为：采用人体姿态识别算法Alphapose对所述人体姿态的样本图像帧进行处理，获取包含人体骨架点坐标的真实姿态标注信息P
A
；P
A
＝Alpha(I
k
)其中：k表示样本图像帧的帧序号，I
k
表示摄像机所捕捉的第k帧样本图像帧；Alpha()表示人体姿态识别算法；根据真实姿态标注信息P
A
生成姿态标注坐标及其置信度C：其中：j表示骨架节点的编号；代表第j个骨架点的坐标，C
j
为该骨架点识别坐标的置信度。5.根据权利要求4所述的基于Performer
‑
Unet的WiFi人体姿态估计算法，其特征在于步骤S1中，信道状态信息即CSI数据流的获取方式为：采用Matlab将信道状态信息CSI的数据流拆分为按时间戳与每帧图像对应的CSI数据包。
6.根据权利要求5所述的基于Performer
‑
Unet的WiFi人体姿态估计算法，其特征在于，步骤S2中训练过程具体包括：步骤21、构建教师网络T(
·
)和学生...

【专利技术属性】
技术研发人员：朱艾春，周跃，徐曹洁，张帆，李义丰，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：