基于毫米波雷达实现人体姿态估计的多谱图融合方法及装置制造方法及图纸

本发明专利技术公开了基于毫米波雷达实现人体姿态估计的多谱图融合方法及装置，方法包括：获取距离

【技术实现步骤摘要】
基于毫米波雷达实现人体姿态估计的多谱图融合方法及装置


[0001]本专利技术属于人体姿态估计的
，具体涉及一种基于毫米波雷达实现人体姿态估计的多谱图融合方法及装置。

技术介绍

[0002]人体姿态估计是计算机视觉中的一个重要任务，旨在将传感器获取的数据映射为人体骨架，其被广泛应用于人机交互、活动识别、监控、智慧家居等。当前用于人体姿态估计的非穿戴式传感器主要分为两类：光学传感器和射频传感器。光学传感器面临对环境敏感、视觉阻挡、隐私泄露等问题。与之相反，射频传感器在对环境不敏感的同时还拥有强穿透力、隐私保护等优点。更进一步，属于射频传感器的毫米波雷达还有体型小、能耗低、易携带等优点，使得使用毫米波雷达进行人体姿态估计成为当前热门研究方向。
[0003]距离
‑
多普勒谱图和距离
‑
角度谱图是用毫米波雷达进行姿态估计的两种主要数据形式，距离
‑
多普勒谱图描述了目标相对雷达的距离和速度，距离
‑
角度谱图描述了目标相对雷达的距离和角度。单独使用其中一种谱图进行姿态估计常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于毫米波雷达实现人体姿态估计的多谱图融合方法，其特征在于，包括下述步骤：获取距离
‑
多普勒谱图和距离
‑
角度谱图，对所获取的两种谱图通过预设的Transformer结构进行注意力矩阵计算，并将注意力矩阵与距离
‑
多普勒谱图进行相乘，得到两种谱图的融合特征；使用距离
‑
多普勒谱图特征对融合特征进行修补，得到完整的融合特征；在得到多个连续帧的完整融合特征后，使用双向长短期记忆网络获取连续帧的时序特征，并进行时序上的特征补偿，得到粗略的补偿特征；对每一帧的粗略补偿特征，通过计算同一帧内人体关节间的关联性并依据关联性进行空间特征补偿，得到每一帧的精细补偿特征；对每一帧的精细补偿特征，将其映射为人体骨架，完成毫米波雷达的人体姿态估计。2.根据权利要求1所述基于毫米波雷达实现人体姿态估计的多谱图融合方法，其特征在于，所述Transformer结构中的Q与K分别设置为距离
‑
多普勒谱图和距离
‑
角度谱图，V设置为距离
‑
多普勒谱图，计算注意力矩阵时进行缩放，得到融合特征后首先通过残差网络进行一次高维特征提取，最后进行标准化。3.根据权利要求2所述基于毫米波雷达实现人体姿态估计的多谱图融合方法，其特征在于，所述得到两种谱图的融合特征，具体为：对两种谱图分别通过卷积神经网络得到高维特征，具体如下：F
RDM
＝f
bn
(σ(f
mp
(W
c1
*RDM+b
c1
)))F
RAM
＝f
bn
(σ(f
mp
(W
c2
*RAM+b
c2
)))其中，F
RDM
和F
RAM
是距离
‑
多普勒谱图和距离
‑
角度谱图的区域特征，f
mp
是最大池化操作，W
ci
和b
ci
分别是卷积核以及偏置参数，*表示卷积操作，σ是线性整流激活函数，f
bn
代表批标准化处理，RDM和RAM分别表示距离
‑
多普勒谱图和距离
‑
角度谱图；将两种谱图的高维特征分别作为Q与K值进行矩阵乘法，得到乘积；对上述乘积按行进行Softmax操作，得到注意力矩阵，所述注意力矩阵表示如下：其中，dim表示F
RDM
和F
RAM
的维度大小，W
attention
代表注意力矩阵；对注意力矩阵依据谱图特征维度进行缩放；将距离
‑
多普勒谱图特征作为V值，与注意力矩阵相乘，得到融合特征，所述融合特征表示如下：Ffused＝WattentionFRDM使融合特征通过残差网络，得到最终的融合特征，具体为：Fassigned＝σ
′
(fFC(Ffused))其中，f
FC
代表全连接层，F
assigned
是最终的融合特征，f
FC
代表全连接层，σ
′
是带泄露线性整流激活函数，表示矩阵和运算。4.根据权利要求3所述基于毫米波雷达实现人体姿态估计的多谱图融合方法，其特征在于，所述使用距离
‑
多普勒谱图特征对融合特征进行修补，得到完整的融合特征，具体为：
使用卷积神经网络对距离
‑
多普勒谱图进行特征提取，具体如下：F
RDM
＝f
bn
(σ(f
mp
(W
c1
*RDM+b
c1
)))F
r
＝σ
′
(f
FC
...

【专利技术属性】
技术研发人员：王国利，郭雪梅，张剑雄，
申请(专利权)人：中山大学，
类型：发明
国别省市：