一种基于跨域增强的毫米波雷达手势识别方法及系统技术方案

本发明专利技术公开了一种基于跨域增强的毫米波雷达手势识别方法，包括：获取目标人体的毫米波雷达手势信号；对毫米波雷达手势信号进行处理，获得动态距离角度图；利用数据增强模型，对动态距离角度图进行处理，获得第一动态距离角度图，其中，第一动态距离角度图包括多个帧矩阵；利用手势分割模型处理第一动态距离角度图，获得第二动态距离角度图，其中第二动态距离角度图表示连续的DRAI帧序列；利用手势识别神经网络模型处理第二动态距离角度图，获得手势识别结果，其中，手势识别神经网络模型包括帧模型和序列模型。本发明专利技术同时还公开了一种基于跨域增强的毫米波雷达手势识别系统以及电子设备。子设备。子设备。

【技术实现步骤摘要】
一种基于跨域增强的毫米波雷达手势识别方法及系统


[0001]本专利技术属于信号处理领域，具体涉及一种基于跨域增强的毫米波雷达手势识别方法、系统及电子设备。

技术介绍

[0002]传统的手势识别主要分为两种：基于可穿戴设备的手势识别和基于计算机视觉的手势识别。前者借助用户穿戴的传感器提取运动特征数据实现手势分类，但可穿戴设备价格昂贵，使用不便，因此难以推广。后者利用RGB相机或RGB
‑
D相机采集手势图像或视频，再使用图像处理算法进行识别。但其主要缺点为识别准确率十分依赖光线条件，而且部署摄像头可能会侵犯用户隐私，从而限制了其应用场景。
[0003]基于毫米波雷达的手势识别算法可以基于神经网络模型，且取得了一定的进展。然而现有算法仍主要存在两方面问题：(1)算法的鲁棒性依赖于大规模的训练数据，然而收集数据通常是一项费时费力的工作；(2)在某个域(例如特定的用户、环境或位置)下训练完成的模型，迁移至另外一个新的域后，算法的准确率会大大降低。这是因为不同用户以及同一用户在不同环境，或不同位置执行手势时，都将对雷达信号的传播造成不同的影响，导致对于同种手势提取的运动特征存在差异。因此，在迁移至新的域后模型往往需要重新训练。
[0004]综上，研究如何在真实训练数据有限的情况下，分析雷达手势数据的特性，设计数据增强方案，以克服不同域之间数据特征的不一致性问题，对于提升基于毫米波雷达的手势识别算法在不同域之间的泛化能力具有重要意义。

技术实现思路

[0005]有鉴于此，本专利技术的主要目的是提供一种基于跨域增强的毫米波雷达手势识别方法、系统及电子设备，以期至少部分地解决上述提及的技术问题中的至少之一。
[0006]根据本专利技术第一方面，提供了一种基于跨域增强的毫米波雷达手势识别方法，包括：
[0007]获取目标人体的毫米波雷达手势信号；
[0008]对毫米波雷达手势信号进行处理，获得动态距离角度图；
[0009]利用数据增强模型，对动态距离角度图进行处理，获得第一动态距离角度图，其中，第一动态距离角度图包括多个帧矩阵；
[0010]利用手势分割模型处理第一动态距离角度图，获得第二动态距离角度图，其中第二动态距离角度图表示连续的DRAI帧序列；
[0011]利用手势识别神经网络模型处理第二动态距离角度图，获得手势识别结果，其中，手势识别神经网络模型包括帧模型和序列模型。
[0012]根据本专利技术的实施例，对毫米波雷达手势信号进行处理，获得动态距离角度图包括：
[0013]利用混频器将毫米波雷达手势信号转换为中频信号，其中，中频信号包括目标人
体手势的距离信息、速度信息和角度信息；
[0014]通过二维快速傅里叶变换将中频信号从时域转换为频域，获得距离多普勒图，其中，距离多普勒图包括距离维度和多普勒维度，距离维度表示目标人体手势的距离信息，多普勒维度表示目标人体手势的速度信息；
[0015]将通过毫米波雷达的多个接收天线接收到的多个距离多普勒图拼接成三维矩阵，其中第三维度表示天线维度；
[0016]沿天线维度进行快速傅里叶变换，获得距离
‑
多普勒
‑
角度三维矩阵，其中，角度维度表示目标人体手势的角度信息；
[0017]将距离
‑
多普勒
‑
角度三维矩阵沿多普勒维度累加并进行噪音消除，获得二维的动态距离角度图。
[0018]根据本专利技术的实施例，上述将距离
‑
多普勒
‑
角度三维矩阵沿多普勒维度累加并进行噪音消除包括：
[0019]对多个距离
‑
多普勒
‑
角度三维矩阵求平均，获得平均距离多普勒矩阵；
[0020]将距离
‑
多普勒
‑
角度三维矩阵中多普勒频率低于第一预设阈值的值置为0；
[0021]将平均距离多普勒矩阵沿距离维度累加，得到多普勒单元的信号强度并设置第二预设阈值；
[0022]将距离
‑
多普勒
‑
角度矩阵沿多普勒维度累加，将高于第二预设阈值的多普勒单元进行计算，获得噪音消除的距离
‑
多普勒
‑
角度矩阵。
[0023]根据本专利技术的实施例，上述距离信息由式(1)表示：
[0024][0025]其中f表示中频信号的频率，c表示光速，S表示毫米波雷达发射的线性调频信号的斜率；
[0026]上述速度信息由式(2)表示：
[0027][0028]其中，λ表示信号波长，Δφ表示两个线性调频信号的相位差，T表示两个线性调频信号的时间间隔；
[0029]上述角度信息由式(3)表示：
[0030][0031]其中，l表示毫米波雷达两个接收天线之间的距离。
[0032]根据本专利技术的实施例，上述利用数据增强模型，对动态距离角度图进行处理，获得第一动态距离角度图包括：
[0033]对动态距离角度图进行平移变换，获得不同位置的第一动态距离角度序列；
[0034]利用插帧方法和下采样方法，对第一动态距离角度序列进行处理，获得不同速度的第二动态距离角度序列；
[0035]根据对称性，对第二动态距离角度序列进行取逆操作，获得与第二动态距离角度序列对称的第三动态距离角度序列，其中第二动态距离角度序列和第三动态距离角度序列
构成第一动态距离角度图。
[0036]根据本专利技术的实施例，上述利用手势分割模型处理第一动态距离角度图，获得第二动态距离角度图包括：
[0037]获取帧矩阵的最大幅值所在位置；
[0038]排除最大幅值所在位置预设范围内的值，计算帧矩阵剩余值的平均值；
[0039]获取平均值与最大幅值的比值；
[0040]根据比值，获得手势开始的时间和手势结束的时间；
[0041]根据手势开始的时间和手势结束的时间，获得第二动态距离角度图。
[0042]根据本专利技术的实施例，上述利用手势识别神经网络模型处理第二动态距离角度图，获得手势识别结果包括：
[0043]利用帧模型处理第二动态距离角度图，获得手势特征向量，其中，帧模型包括卷积层、批归一化层和全连接层；
[0044]利用序列模型处理手势特征向量，获得手势识别结果，其中，序列模型包括长短期记忆单元和全连接层。
[0045]根据本专利技术的实施例，上述利用帧模型处理第二动态距离角度图，获得手势特征向量包括：
[0046]利用卷积层提取第二动态距离角度图的空间特征，获取手势特征图；
[0047]通过批归一化层加快手势识别神经网络模型处理速度；
[0048]利用全连接层将手势特征图映射为手势特征向量；
[0049]其中，利用序列模型处理手势特征向量，获得手势识别结果包括：
[0050]利用长短期记忆单元提取手势特征向量的时序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨域增强的毫米波雷达手势识别方法，包括：获取目标人体的毫米波雷达手势信号；对所述毫米波雷达手势信号进行处理，获得动态距离角度图；利用数据增强模型，对所述动态距离角度图进行处理，获得第一动态距离角度图，其中，所述第一动态距离角度图包括多个帧矩阵；利用手势分割模型处理所述第一动态距离角度图，获得第二动态距离角度图，其中所述第二动态距离角度图表示连续的DRAI帧序列；利用手势识别神经网络模型处理所述第二动态距离角度图，获得手势识别结果，其中，所述手势识别神经网络模型包括帧模型和序列模型。2.根据权利要求1所述的方法，其中，所述对所述毫米波雷达手势信号进行处理，获得动态距离角度图包括：利用混频器将所述毫米波雷达手势信号转换为中频信号，其中，所述中频信号包括所述目标人体手势的距离信息、速度信息和角度信息；通过二维快速傅里叶变换将所述中频信号从时域转换为频域，获得距离多普勒图，其中，距离多普勒图包括距离维度和多普勒维度，所述距离维度表示所述目标人体手势的距离信息，所述多普勒维度表示所述目标人体手势的速度信息；将通过所述毫米波雷达的多个接收天线接收到的多个所述距离多普勒图拼接成三维矩阵，其中第三维度表示天线维度；沿所述天线维度进行快速傅里叶变换，获得距离
‑
多普勒
‑
角度三维矩阵，其中，所述角度维度表示所述目标人体手势的角度信息；将所述距离
‑
多普勒
‑
角度三维矩阵沿所述多普勒维度累加并进行噪音消除，获得二维的所述动态距离角度图。3.根据权利要求2所述的方法，其中，所述将所述距离
‑
多普勒
‑
角度三维矩阵沿所述多普勒维度累加并进行噪音消除包括：对多个所述距离
‑
多普勒
‑
角度三维矩阵求平均，获得平均距离多普勒矩阵；将所述距离
‑
多普勒
‑
角度三维矩阵中多普勒频率低于第一预设阈值的值置为0；将所述平均距离多普勒矩阵沿所述距离维度累加，得到多普勒单元的信号强度并设置第二预设阈值；将所述距离
‑
多普勒
‑
角度矩阵沿多普勒维度累加，将高于第二预设阈值的所述多普勒单元进行计算，获得噪音消除的距离
‑
多普勒
‑
角度矩阵。4.根据权利要求2所述的方法，其中，所述距离信息由式(1)表示：其中f表示所述中频信号的频率，c表示光速，S表示所述毫米波雷达发射的线性调频信号的斜率；所述速度信息由式(2)表示：其中，λ表示信号波长，Δφ表示两个线性调频信号的相位差，T表示两个线性调频信号
的时间间隔；所述角度信息由式(3)表示：其中，l表示所述毫米波雷达两个接收天线之间的距离。5.根...

【专利技术属性】
技术研发人员：陈彦，李亚东，张东恒，张冬，孙启彬，吴曼青，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：