一种基于无线信号的多人三维姿态估计方法技术

一种基于无线信号的多人三维姿态估计方法，包括以下步骤：步骤一，使用WiFi设备采集信道状态信息CSI信号，使用相机拍摄对应的视频进行监督；步骤二，将视频经过AlphaPose进行处理，输出人体目标框和人体关键点处理生成热力图和目标框图；步骤三，对CSI信号进行预处理；步骤四，将预处理完的CSI信号与视频帧进行对应，将五个CSI数据为一段数据输入CSI

【技术实现步骤摘要】
一种基于无线信号的多人三维姿态估计方法


[0001]本专利技术属于无线通信
，涉及一种基于无线信道状态信息进行多人三维姿态估计的方法。

技术介绍

[0002]在人体姿态估计上，基于相机的姿态估计的方法包括二维甚至三维姿态估计已经相当成熟，但是通过相机这种传统的传感器技术受光照、遮挡以及背景限制明显，而且存在隐私问题。
[0003]基于无线信号对人体进行感知有着很大的潜力，近几年，无线感知在人类感知方面的研究也有了一些成果，包括行为识别、呼吸检测、目标定位、人群计数等。基于无线信号人类传感的两种基本方法是：一种是基于设备，要求人佩戴或携带设备/传感器；另一种无设备，该设备使用位于环境中的传感元件来监测人类的行动，而不要求人类携带任何设备或传感器。基于设备的方法虽然通常是准确的，但在许多重要的现实生活场景中并不实用或方便，例如要求老年人或痴呆症患者在任何时候都携带设备。无设备的人类传感为这些场景提供了明显的优势。
[0004]很多研究结果证明无线信号在视频模型的监督下可以很好的完成二维以及三维姿态估计任务。Zhao等人提出了RF
‑
Pose，这是一种基于编解码器的人体姿态估计深度学习体系结构。其输入信号是发射连续调制频率波(FMCW)的天线阵列，这种信号相比商用WiFi虽然能获取到物体离信号所在的距离，但是成本高，无法进行普及。Wang等人第一次将商用WiFi收集的CSI信号进行人体姿态估计，获得人体掩膜，二维关节点和关节有效区域部分(PAFs)。Guo等人同样使用深度学习从使用多方向接收CSI信号获取人体骨架。前面几种方法仅仅获取二维姿态，Jiang等人提出了一种从CSI信号获取三维姿态的方法，通过使用VICON系统(一种姿态捕获摄像机)来当做标记对CSI进行模型训练，直接端到端学习三维姿态模型学习压力大，学习准确度并不高，仍然局限于原地的姿态运动。
[0005]综上所述，目前现有技术存在的问题如下：基于CSI的人体姿态估计大多停留在二维上，在三维姿态估计也仅仅是原地不动情况下进行三维姿态估计并且仅限单人的情况下，而且并不能实现很好的精度。另外CSI信号对环境的干扰影响比较大，如果解决环境问题也是一个难点。解决上述问题的难度：如何从CSI数据训练出细粒度的三维人体姿态模型；如何实现多人情况下的姿态估计；如何消除环境噪声的影响。

技术实现思路

[0006]为了克服已有技术的不足，本专利技术提供了一种成本较低、精度较高的基于无线信号的多人三维姿态估计方法。
[0007]本专利技术解决其技术问题所采用的技术方案是：
[0008]一种基于无线信号的多人三维姿态估计方法，包括以下步骤：
[0009]步骤一，使用WiFi设备采集信道状态信息CSI信号，同时使用相机拍摄对应的视频
进行监督；
[0010]步骤二，将视频经过AlphaPose进行处理，输出人体目标框和人体关键点处理生成热力图和目标框图，作为无线信号训练的标注；
[0011]步骤三，对收集到的信号进行预处理，包括消除两个天线之间的相位偏移、去除CSI信号的异常点和环境噪声，去除静态直流分量；
[0012]步骤四，将预处理完的CSI信号与视频帧进行对应，将五个CSI数据为一段数据输入CSI
‑
2D网络进行训练；
[0013]步骤五，将CSI信号在CSI
‑
2D模型输出的热力图和目标框图进行处理，回归出每个人体的二维姿态；
[0014]步骤六，每个人体二维姿态组成视频帧输入到2D
‑
3D模型并结合二维坐标，生成多人三维姿态。
[0015]进一步，所述步骤一的过程如下：
[0016]1.1在会议室环境中布置收发设备和摄像头，使用两台装有Intel5300网卡的笔记本进行数据收发实验，使用了6根定向天线，将天线3个分成一组，同组天线之间的天线距离为20cm，组成一个类似WiFi路由器设备，一组作为发射器(T)，另一组作为接收器(R)；使用WiFi设备发射频率为100Hz，30个不同频率的子载波信号可以获取不同频率信号的信号衰减和相位变化以了解传播路径的不同尺度的信息，接收端接收到经过目标反射穿透的3
×3×
30的信道状态信息CSI信号。；
[0017]1.2使用相机拍摄对应的视频，过程为：使用单目RGB摄像头记录20FPS视频帧，四个志愿者参与数据采集，分别有多人、单人的数据进行采集，动作做出包括挥手、拍手、走路、踢腿、下蹲、跳、打拳和握手动作，保存时间戳以便与CSI信号部分进行对应。
[0018]再进一步，所述步骤二中，将AlphaPose输出生成热力图和目标框图的过程为：将视频帧输入AlphaPose模型中生成17个人体关键点和人体目标框位置坐标，生成的关键点坐标经过高斯模糊处理生成热力图张量；生成的目标框坐标经过多尺度变换，使用4个尺度目标框，将这些多尺度变换的目标框坐标分别放在多个图上生成张量。两个张量将作为CSI
‑
2D模型的标注来监督其学习。
[0019]更进一步，所述步骤三中，对采集数据进行数据预处理过程如下；
[0020]3.1消除两个天线之间的相位偏移，使用了共轭相乘法来消除相偏：
[0021][0022]其中，H1(f,t)是天线1的信道状态信息，是天线2的信道状态信息的共轭，H
1,S
(f)和H
2,S
(f)分别是其静态路径部分，K和L为多径数，α
l
(f,t)为l路径上的幅度衰减函数，为多普勒频移函数；
[0023]3.2消除环境的噪声；
[0024]首先使用Hample异常值滤波器去除原始信号最明显的离群点，异常值去除以后使用高性能的滤波器对高频噪声进行滤除，使用基于非线性小波变换软阈值法，
[0025][0026]其中，当小波系数w的绝对值大于等于给定阈值thr的时候，小波系数w的绝对值减去阈值并乘以sgn函数，而当小波系数w小于给定阈值thr的时候，小波系数置为0。
[0027]阈值选择标准使用的是启发式阈值原则，即当信噪比很小时，使用无偏似然估计原则进行去噪，当信噪比很大时，使用固定阈值的方法进行去噪；
[0028]3.3去除静态直流分量；
[0029]静态直流分量直很大，但是并不包含所需要的人体运动信息，减去信号均值来消除静态变量。
[0030]所述步骤四中，将预处理完的CSI信号与视频帧进行对应，过程为：视频的帧为20FPS，CSI信号发射频率为100Hz，在采集视频和CSI信号记录下时间戳，将视频和CSI信号进行对应。
[0031]所述步骤五中，CSI
‑
2D模型训练过程如下：
[0032]使用学习率为0.06，训练40轮，将数据集划分为训练集：验证集＝2:8，优化器采用Adam优化器，偏移设置为0.9；
[0033]CSI
‑
2D模型的训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无线信号的多人三维姿态估计方法，其特征在于，所述方法包括以下步骤：步骤一，使用WiFi设备采集信道状态信息CSI信号，同时使用相机拍摄对应的视频进行监督；步骤二，将视频经过AlphaPose进行处理，输出人体目标框和人体关键点处理生成热力图和目标框图，作为无线信号训练的标注；步骤三，对收集到的信号进行预处理，包括消除两个天线之间的相位偏移、去除CSI信号的异常点和环境噪声，去除静态直流分量；步骤四，将预处理完的CSI信号与视频帧进行对应，将五个CSI数据为一段数据输入CSI
‑
2D网络进行训练；步骤五，将CSI信号在CSI
‑
2D模型输出的热力图和目标框图进行处理，回归出每个人体的二维姿态；步骤六，每个人体二维姿态组成视频帧输入到2D
‑
3D模型并结合二维坐标，生成多人三维姿态。2.如权利要求1所述的一种基于无线信号的多人三维姿态估计方法，其特征在于，所述步骤一的过程如下：1.1在会议室环境中布置收发设备和摄像头，使用两台装有Intel5300网卡的笔记本进行数据收发实验，使用了6根定向天线，将天线3个分成一组，同组天线之间的天线距离为20cm，组成一个类似WiFi路由器设备，一组作为发射器(T)，另一组作为接收器(R)；使用WiFi设备发射频率为100Hz，30个不同频率的子载波信号可以获取不同频率信号的信号衰减和相位变化以了解传播路径的不同尺度的信息，接收端接收到经过目标反射穿透的3
×3×
30的信道状态信息CSI信号；1.2使用相机拍摄对应的视频，过程为：使用单目RGB摄像头记录20FPS视频帧，四个志愿者参与数据采集，分别有多人、单人的数据进行采集，动作做出包括挥手、拍手、走路、踢腿、下蹲、跳、打拳和握手动作，保存时间戳以便与CSI信号部分进行对应。3.如权利要求1或2所述的一种基于无线信号的多人三维姿态估计方法，其特征在于，所述步骤二中，将AlphaPose输出生成热力图和目标框图的过程为：将视频帧输入AlphaPose模型中生成17个人体关键点和人体目标框位置坐标，生成的关键点坐标经过高斯模糊处理生成热力图张量；生成的目标框坐标经过多尺度变换，使用4个尺度目标框，将这些多尺度变换的目标框坐标分别放在多个图上生成张量，两个张量将作为CSI
‑
2D模型的标注来监督其学习。4.如权利要求1或2所述的一种基于无线信号的多人三维姿态估计方法，其特征在于，所述步骤三中，对采集数据进行数据预处理过程如下；3.1消除两个天线之间的相位偏移，使用了共轭相乘法来消除相偏：其中，H1(f,t)是天线1的信道状态信息，是天线2的信道状态信息的共轭，H
1,S
(f)和H
2,S
(f)分别是其静态路径部分，K和L为多径数，α
l
(f,t)为l路径上的幅度衰减函数，
为多普勒频移函数；3.2消除环境的噪声；首先使用Hample异常值滤波器去除原始信号最明显的离群点，异常值去除以后使用高性能的基于非线性小波变...

【专利技术属性】
技术研发人员：于水瀛，应建新，
申请(专利权)人：杭州昌泽信息技术有限公司，
类型：发明
国别省市：