【技术实现步骤摘要】
基于UWB雷达的手势骨架检测方法及系统
[0001]本专利技术涉及手部姿势骨架检测
，尤其涉及一种基于UWB雷达的手部姿势骨架检测方法及系统。
技术介绍
[0002]手部姿势骨架识别(HPE)是需要识别出手部骨架姿势，例如将手置于雷达前方，当手指在动态变化时，将雷达接收到的反射信号映射成关键点，从而恢复手部骨架姿势。不同于传统手势识别(HGR)仅是利用射频信号来简单区分典型的几个手势，手部姿势骨架识别(HPE)是属于回归任务，其识别包含了手部姿态更加细粒度的特征。
[0003]现有技术中手部姿势跟踪主要有基于视觉和基于可穿戴设备两种方法，其中基于可穿戴设备的手势跟踪方法是通过可穿戴设备获得手部关节运动特征，从而识别手部姿势和运动，但是这种方式成本高、机器制作繁琐复杂，且穿戴设备往往不能满足当前人机交互的需求。
[0004]基于视觉的手势跟踪方法通常都是利用RGB
‑
D相机结合计算机视觉神经网络用来捕捉和跟踪手部动作，且通常是利用计算机视觉神经网络模型对手势分类，或是估计稀疏的手关节位置...
【技术保护点】
【技术特征摘要】
1.一种基于UWB雷达的手势骨架检测方法，其特征在于，步骤包括：在训练阶段，分别将摄像头与IR
‑
UWB雷达在同一视角下采集的手部信号输入至一个跨模态监督训练系统进行训练，所述跨模态监督训练系统中包括一个学生网络以及一个用于提供监督训练的教师网络，所述教师网络接收摄像头采集到的手部图像进行识别，识别出图像中手部骨架点并生成热图以作为训练所述学生网络的标签数据，所述学生网络接收IR
‑
UWB雷达采集的RF信号并映射成手部姿势骨架点，所述学生网络中使用复数值神经网络提取手部姿势骨架点特征，所述复数值神经网络的输入信号为复数值形式的信号，网络中每一个卷积操作采用复数卷积核进行复数卷积；在实时检测阶段，获取被测手部的RF信号，输入至训练好的所述复数值神经网络中，得到检测出的手部姿势骨架点输出。2.根据权利要求1所述的基于UWB雷达的手势骨架检测方法，其特征在于，所述复数值神经网络采用编码器
‑
解码器网络实现，所述编码器
‑
解码器网络包括多个编码器、解码器块，在编码阶段执行复数池化层运算，在解码器阶段执行复数上采样，在每一个编码器或者解码器块后面，添加有BN层以进行批量样本归一化，归一化后结果再输入至激活函数。3.根据权利要求1所述的基于UWB雷达的手势骨架检测方法，其特征在于，所述复数值神经网络输入为复数值矩阵，其中的行列值为z＝x+jy，x和y分别对应为对I R
‑
UWB雷达采集的RF信号进行I Q采样得到的I,Q信道数据，复数值卷积核为其中W
I
和W
Q
均为实值矩阵，以及采用的复数值非线性激活函数为：其中，real(
·
),imag(
·
)，分表代表连接、实部运算和虚部运算，符号*代表卷积运算，σ(.)是非线性激活函数。4.根据权利要求1所述的基于UWB雷达的手势骨架检测方法，其特征在于，所述学生网络中将所述复数值神经网络提取出的手部姿势骨架点特征再经过深度对抗网络进行对抗学习，最终映射得到的所需的手部姿势骨架点，所述深度对抗网络包括源回归器f和对抗回归器f'，所述源回归器f和对抗回归器f'分别接收所述复数值神经网络的输出数据进行对抗学习。5.根据权利要求4所述的基于UWB雷达的手势骨架检测方法，其特征在于，所述源回归器f和对抗回归器f'具有相同的网络结构，均具有两层卷积层，其中第一层卷积层采用64通道3x3 kernel size的卷积核，输出连接BN批量样本归一化和leaky ReLU激活函数；第二层采用21通道1x1kernel size的卷积核，并在输出后使用l...
【专利技术属性】
技术研发人员：许嘉，杨彪，陈哲，吕品，刘汉平，
申请(专利权)人：广州爱闻思人工智能技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。