【技术实现步骤摘要】
本专利技术属于无线智能感知，具体涉及一种基于射频信号的细粒度多尺度人体姿态估计方法。
技术介绍
1、人体姿态估计在医疗保健、安全监控、虚拟现实和增强现实、自动驾驶和交通安全、人机交互等领域有着重要的应用价值。相较于目前主流的光学相机方法，毫米波雷达不依赖可见光或红外线，因此可以在低光照、夜晚或恶劣天气条件下工作。此外相较于传统光学方法所带来的隐私问题，毫米波雷达不生成可识别的图像，因此对被监测者有一定的隐私保护，这在需要保护个人隐私的应用场景中很有价值，如安全检查或医疗保健。毫米波信号对于许多大气和天气条件具有较好的抗干扰性，因此在室外环境中的性能相对稳定。毫米波能够穿透一些材料，如衣物和非金属物体，因此可以在一定程度上检测到被遮挡的部分，这对于在现实世界应用是具有优势的，因为人体姿态可能会被物体或衣物部分遮挡。
2、基于毫米波点云的人体姿态估计中面临挑战：受限于天线数量和芯片处理能力，毫米波雷达产生的点云数据极其稀疏，难以直接看出物体的详细结构。目前多采用深度神经网络模型直接对毫米波雷达感知到的全局点云数据进行特征提取并估计出姿态，缺乏对多尺度信息的感知和利用，特别是有针对性的多尺度目标点云增强和多尺度人体姿态估计神经网络结构设计。
技术实现思路
1、针对现有技术的不足，本专利技术提出一种基于射频信号的细粒度多尺度人体姿态估计方法。
2、具体技术方案如下：
3、一种基于射频信号的细粒度多尺度人体姿态估计方法，包括以下步骤：
4、步骤
5、步骤s2：对接收到的回波信号进行信号处理，得到距离-水平角图、距离-俯仰角图和距离-多普勒图；
6、步骤s3：构建并训练基于卷积神经网络和多层感知机的三维多尺度目标检测网络，将距离-水平角图、距离-俯仰角图和距离-多普勒图输入该网络，得到目标在三维雷达空间中的边界框坐标；
7、步骤s4：基于s3得到的目标三维边界框坐标，使用增强点云生成算法生成目标的增强型点云；
8、步骤s5：构建并训练基于点云网络、分组注意力机制和循环神经网络的多尺度人体骨架估计网络，将目标的增强型点云输入多尺度人体骨架估计网络，得到目标的精准姿态骨架。
9、进一步地，所述步骤s2通过以下子步骤实现：
10、s21：对于由模数转换器(analog to digital converter,adc)采样的每一帧雷达数据data，其形状为(nc,na,ne,ns)，其中nc代表啁啾(chirp)个数，na代表水平方向虚拟天线个数，ne代表垂直方向虚拟天线个数，ns代表adc采样点的个数。首先在data的adc采样维度ns上使用快速傅里叶变换(fast fourier transform,fft)得到data′；
11、s22：在data′的水平方向虚拟天线维度上使用快速傅里叶变换得到距离-水平角图；
12、s23：在data′的垂直方向虚拟天线维度上使用快速傅里叶变换得到距离-俯仰角图；
13、s24：在data′的chirp维度上使用快速傅里叶变换得到距离-多普勒图；
14、s25：根据实验场地范围的大小分别裁剪距离-水平角图、距离-俯仰角图和距离-多普勒图，具体裁剪方式为：设定实验场地为l×w×h的立体空间，其中l为长度，w为宽度，h为高度；则距离维度裁切后长度为水平角维度裁切后长度为俯仰角维度裁剪后长度为其中rres为距离分辨率，ares为水平角分辨率，eres为俯仰角分辨率。
15、进一步地，所述步骤s3通过以下子步骤实现：
16、s31：构建基于卷积神经网络(cnn)和多层感知机(mlp)的三维多尺度目标检测网络；该网络的输入为距离-水平角图(ramap)、距离-俯仰角图(remap)和距离-多普勒图(rdmap)，将上述三张图分别输入各自的卷积神经网络cnn中，得到各自特征yi1，i1∈{ramap,remap,rdmap}；
17、将yi1进行拼接得到特征z，再将z输入多层感知机mlp中得到目标三维边界框坐标o。
18、s32：训练基于卷积神经网络和多层感知机的三维多尺度目标检测网络，提出优化的三维目标检测损失函数lb，可以准确检测目标在雷达三维空间位置，同时使得预测边界框中尽可能包裹目标边界框，避免目标部分丢失导致点云生成质量下降，lb的定义为：
19、
20、其中，α，β，γ为超参数；表示目标三维边界矩形框的三个维度：距离r、水平角a、俯仰角e，均使用平滑损失smooth l1损失；表示在距离r和水平角a使用lwarp损失函数；表示在距离r和俯仰角e使用lwarp损失函数，其中lwarp定义为：
21、
22、其中slabel为真实目标框的面积，slabel∩pred为真实目标边界框与预测目标边界框面积的交集。使用adam优化器最小化估计目标三维边界框与真实目标三维边界框之间的损失lb。
23、进一步，所述步骤s31中，具体的cnn模块和mlp模块结构如下：其中cnnii∈{ramap,remap,rdmap}均由8个卷积层组成，且每个卷积层后均使用批量归一化和relu激活函数，分别将ramap输入cnnramap；remap输入cnnremap；rdmap输入cnnrdmap，得到三个长度均为512的中间特征yi1，i1∈{ramap,remap,rdmap}。拼接yi1，i1∈{ramap,remap,ramap}后输入由9个线性层组成的mlp得到目标三维边界框坐标其中包括目标在距离维度中的范围，水平角维度中的范围和俯仰角维度中的范围。
24、进一步地，所述步骤s4通过以下子步骤实现：
25、s41：根据预测的目标三维边界框中的距离维度范围对s24得到的距离-多普勒图进行距离维度裁切；
26、s42：将裁切后的距离-多普勒图的像素值按从大到小进行排序，并依次进入队列q；
27、s43：从队列q的队首取出一个点，分别使用fft计算出该点的水平角θ1和俯仰角
28、s44：判断该点的水平角θ1和俯仰角是否在预测的目标三维边界框内；
29、s45：如果该点在预测的目标三维边界框内，则将其标记为有效点并进行空间转换；
30、s46：如果该点不在预测的目标三维边界框内，则丢弃，并重复s43直到有效点个数达到n或队列为空；
31、s47：如果队列为空，判断有效点个数是否大于0，如果大于零则随机复制已有的有效点，使有效点的总数达到n；如果等于0则使用零填充n个点，保证点数的一致性；
32、s48：输出包含n个点的点云数据，即目标的增强型点云。
33、进一步地，所述步骤s45中，每个有效点包含其在雷达空间的距离r，水平角θ1，俯仰角多普勒d；空间转换公式为：...
【技术保护点】
1.一种基于射频信号的细粒度多尺度人体姿态估计方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于射频信号的细粒度多尺度人体姿态估计方法，其特征在于，所述步骤S2具体实现过程如下：
3.根据权利要求2所述的基于射频信号的细粒度多尺度人体姿态估计方法，其特征在于，步骤S25所述裁剪具体为：设定实验场地为l×w×h的立体空间，其中l为长度，w为宽度，h为高度；则距离维度裁切后长度为水平角维度裁切后长度为俯仰角维度裁剪后长度为其中Rres为距离分辨率，Ares为水平角分辨率，Eres为俯仰角分辨率。
4.根据权利要求3所述的基于射频信号的细粒度多尺度人体姿态估计方法，其特征在于，所述步骤S3具体过程如下：
5.根据权利要求4所述的基于射频信号的细粒度多尺度人体姿态估计方法，其特征在于，所述步骤S4具体过程如下：
6.根据权利要求5所述的基于射频信号的细粒度多尺度人体姿态估计方法，其特征在于，所述所述步骤S45中，每个有效点包含其在雷达空间的距离r，水平角θ1，俯仰角多普勒d；空间转换公式为：
7.根据权利
8.根据权利要求7所述的基于射频信号的细粒度多尺度人体姿态估计方法，其特征在于，所述步骤S51通过以下过程实现：
9.根据权利要求8所述的基于射频信号的细粒度多尺度人体姿态估计方法，其特征在于，所述步骤S511中SharedMLPc模块与步骤S512中SharedMLPf，i4 i4∈{1，2，...，Njoint}结构相同，均以卷积核为1的多层卷积实现；
...【技术特征摘要】
1.一种基于射频信号的细粒度多尺度人体姿态估计方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于射频信号的细粒度多尺度人体姿态估计方法，其特征在于，所述步骤s2具体实现过程如下：
3.根据权利要求2所述的基于射频信号的细粒度多尺度人体姿态估计方法，其特征在于，步骤s25所述裁剪具体为：设定实验场地为l×w×h的立体空间，其中l为长度，w为宽度，h为高度；则距离维度裁切后长度为水平角维度裁切后长度为俯仰角维度裁剪后长度为其中rres为距离分辨率，ares为水平角分辨率，eres为俯仰角分辨率。
4.根据权利要求3所述的基于射频信号的细粒度多尺度人体姿态估计方法，其特征在于，所述步骤s3具体过程如下：
5.根据权利要求4所述的基于射频信号的细粒度多尺度人体姿态估计方法，其...
【专利技术属性】
技术研发人员：吴迎笑，蒋忠敏，倪浩铖，韩建平，周致远，王温翔，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。