基于多头自注意力机制的毫米波雷达手势识别方法及识别系统技术方案

基于多头自注意力机制的毫米波雷达手势识别方法及识别系统，本发明专利技术涉及基于毫米波雷达的快速、轻量化手势识别方法及识别系统。本发明专利技术的目的是为了解决现有的基于雷达的手势识别技术大多利用特征谱图和卷积神经网络进行手势的分类识别，训练时间长，占用的储存空间大，没有考虑注意力机制的问题。过程为：一、采用毫米波雷达进行手势数据采集，形成手势数据训练集；二、获得距离多普勒图；三、对距离

【技术实现步骤摘要】
基于多头自注意力机制的毫米波雷达手势识别方法及识别系统


[0001]本专利技术涉及基于毫米波雷达的快速、轻量化手势识别方法及识别系统。

技术介绍

[0002]非接触的手势识别作为一种新型人机交互方式，符合人们肢体语言习惯，有着广阔的应用前景。在医疗方面，医生可以通过手势对医疗设备进行控制，进而实现无接触的医疗操作；在汽车领域，驾驶员和乘客可以通过手势向汽车中控台发出指令；在智能家居领域，人们能够利用手势动作对空调、电视等常用电器进行控制；在AR/VR领域，玩家可以利用手势对游戏中物体进行控制，增强代入感。由于具有非接触、对微动目标感知能力强、能够全天时、全天候工作、不受光线影响、不泄露隐私等优势，基于毫米波雷达的手势识别方法已经成为一种重要的人机交互方式。目前，用于手势识别的毫米波雷达大多采用调频连续波技术和多发多收天线，这是本专利技术的前提，手势识别的评价指标主要是能识别手势的种类和识别精度。
[0003]通常，毫米波雷达手势识别可分为3大步骤：首先，利用毫米雷达传感器检测并采集用户的动态手势信息；然后，对回波信号进行预处理操作，最大限度的对动态手势特征进行提取，同时滤除干扰杂波；最后，根据手势特征预处理的结果，选择恰当的算法对手势进行分类和识别。现有的基于雷达的手势识别技术大多利用特征谱图和卷积神经网络进行手势的分类识别，训练时间长，占用的储存空间大，没有考虑注意力机制。

技术实现思路

[0004]本专利技术的目的是为了解决现有的基于雷达的手势识别技术大多利用特征谱图和卷积神经网络进行手势的分类识别，训练时间长，占用的储存空间大，没有考虑注意力机制的问题，而提出基于多头自注意力机制的毫米波雷达手势识别方法及识别系统。
[0005]基于多头自注意力机制的毫米波雷达手势识别方法具体过程为：
[0006]步骤一、采用信号形式为调频连续波的毫米波雷达进行手势数据采集，形成手势数据训练集；
[0007]步骤二、对采集到的手势数据进行预处理，获得距离多普勒RD图；
[0008]步骤三、基于步骤二获得的距离多普勒RD图，得到距离
‑
时间谱RTM、速度
‑
时间谱DTM、方位谱ATM和俯仰谱ETM，对距离
‑
时间谱RTM、速度
‑
时间谱DTM、方位谱ATM和俯仰谱ETM进行简化，最终得到28
×
4维的混和特征向量；
[0009]步骤四、构建手势识别网络8HBi
‑
GRU，将混合特征向量输入到手势识别网络Bi
‑
GRU中，得到训练好的手势识别网络Bi
‑
GRU；
[0010]步骤五、将毫米波雷达采集的待测手势数据进行预处理，获得距离多普勒RD图；基于获得的距离多普勒RD图，得到距离
‑
时间谱RTM、速度
‑
时间谱DTM、方位谱ATM和俯仰谱ETM，对距离
‑
时间谱RTM、速度
‑
时间谱DTM、方位谱ATM和俯仰谱ETM进行简化，最终得到28
×
4维的混和特征向量；将得到的28
×
4维的混和特征向量输入训练好的手势识别网络Bi
‑
GRU，获得待测手势数据识别结果。
[0011]基于多头自注意力机制的毫米波雷达手势识别系统用于执行基于多头自注意力机制的毫米波雷达手势识别方法。
[0012]本专利技术的有益效果为：
[0013]本专利技术采用信号形式为调频连续波的毫米波雷达进行手势数据采集，并对数据集进行目标检测和特征提取，最后借助神经网络，从轻量化角度出发进行12种手势的手势识别。
[0014]本专利技术为实现手势识别，不仅提取了常用的距离、速度特征，还提取了方位角和俯仰角。目前基于雷达的手势识别方法有的是将原始雷达数据直接放入神经网络，有的是提取距离、多普勒和到达角信息后放入神经网络，大多未用到俯仰角特征，相比之下，本专利技术对数据做了充分的处理，特征提取更加全面和充分，能够表征多种微动手势。
[0015]本专利技术用加权平均的方法对RTM、DTM、ATM和ETM进行数据压缩，尽可能准确地提取出特征值，从而得到28
×
4维的混和特征向量，该混和特征向量共28帧，每帧包含距离、速度、方位角和俯仰角4个特征值，大大减小了数据量。采用混合特征向量和提出的手势识别网络8HBi
‑
GRU进行分类，该网络能充分融合4种特征并提取手势数据的时间相关性，实验结果表明，对于12种微动手势，可以达到98.24％的识别正确率，并且模型训练和识别的速度很快，实现了快速、轻量化的手势识别。
附图说明
[0016]图1为本专利技术流程图
[0017]图2a为RTM数据压缩成特征向量的示例图；
[0018]图2b为DTM数据压缩成特征向量的示例图；
[0019]图2c为ATM数据压缩成特征向量的示例图；
[0020]图2d为ETM数据压缩成特征向量的示例图；
[0021]图3为本专利技术提出的8HBi
‑
GRU网络的结构图；
[0022]图4为GRU模型原理示意图；
[0023]图5为Bi
‑
GRU模型原理示意图；
[0024]图6为自注意力机制模型示意图；
[0025]图7a为8HBi
‑
GRU网络训练过程中准确率(Accuracy)的变化曲线图；
[0026]图7b为8HBi
‑
GRU网络训练过程中损失(Loss)的变化曲线图；
[0027]图8为对8HBi
‑
GRU网络测试得到的混淆矩阵图。
具体实施方式
[0028]具体实施方式一：本实施方式基于多头自注意力机制的毫米波雷达手势识别方法具体过程为：
[0029]步骤一、采用信号形式为调频连续波(FMCW)的毫米波雷达进行手势数据采集，形成手势数据训练集；
[0030]步骤二、对采集到的手势数据进行预处理，获得距离多普勒RD图；
[0031]步骤三、基于步骤二获得的距离多普勒RD图，得到距离
‑
时间谱RTM、速度
‑
时间谱DTM、方位谱ATM和俯仰谱ETM，对距离
‑
时间谱RTM、速度
‑
时间谱DTM、方位谱ATM和俯仰谱ETM进行简化，最终得到28
×
4维的混和特征向量；
[0032]步骤四、从轻量化的角度出发，构建手势识别网络8HBi
‑
GRU，将混合特征向量输入到手势识别网络Bi
‑
GRU中，得到训练好的手势识别网络Bi
‑
GRU，得到的轻量化模型最终可以达到98.24％的识别正确率，有着训练时间短，训练速度快，数据量小的优势；
[0033]步骤五、将毫米波雷达采集的待测手势数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多头自注意力机制的毫米波雷达手势识别方法，其特征在于：所述方法具体过程为：步骤一、采用信号形式为调频连续波的毫米波雷达进行手势数据采集，形成手势数据训练集；步骤二、对采集到的手势数据进行预处理，获得距离多普勒RD图；步骤三、基于步骤二获得的距离多普勒RD图，得到距离
‑
时间谱RTM、速度
‑
时间谱DTM、方位谱ATM和俯仰谱ETM，对距离
‑
时间谱RTM、速度
‑
时间谱DTM、方位谱ATM和俯仰谱ETM进行简化，最终得到28
×
4维的混和特征向量；步骤四、构建手势识别网络8HBi
‑
GRU，将混合特征向量输入到手势识别网络Bi
‑
GRU中，得到训练好的手势识别网络Bi
‑
GRU；步骤五、将毫米波雷达采集的待测手势数据进行预处理，获得距离多普勒RD图；基于获得的距离多普勒RD图，得到距离
‑
时间谱RTM、速度
‑
时间谱DTM、方位谱ATM和俯仰谱ETM，对距离
‑
时间谱RTM、速度
‑
时间谱DTM、方位谱ATM和俯仰谱ETM进行简化，最终得到28
×
4维的混和特征向量；将得到的28
×
4维的混和特征向量输入训练好的手势识别网络Bi
‑
GRU，获得待测手势数据识别结果。2.根据权利要求1所述的基于多头自注意力机制的毫米波雷达手势识别方法，其特征在于：所述步骤二中对采集到的手势数据进行预处理，获得距离多普勒RD图；具体过程为：借助MTI动目标显示技术滤除毫米波雷达采集的手势数据中的静止物体成分，得到滤除静止物体成分后的手势数据；对滤除静止物体成分后的手势数据在距离维和速度维做2D
‑
FFT，得到距离多普勒RD图；采用恒虚警检测器CFAR对得到的距离多普勒RD图中的干扰目标进行滤除，获得滤除干扰目标后的只包含人手目标的距离多普勒RD图。3.根据权利要求2所述的基于多头自注意力机制的毫米波雷达手势识别方法，其特征在于：所述对滤除静止物体成分后的手势数据在距离维和速度维做2D
‑
FFT，得到距离多普勒RD图；具体过程为：对滤除静止物体成分后的手势数据在距离维和速度维做2D
‑
FFT得到距离多普勒RD图，表达式为：其中，s
IF
(m,n)为调频连续波(FMCW)雷达采集的手势数据，N
c
为脉冲信号chirp数，N
adc
为调频连续波(FMCW)雷达原始采集的手势数据个数；j为虚数单位，j2＝
‑
1；m为原始脉冲信号chirp索引，n为原始采样点的索引。4.根据权利要求3所述的基于多头自注意力机制的毫米波雷达手势识别方法，其特征在于：所述步骤三中基于步骤二获得的距离多普勒RD图，得到距离
‑
时间谱RTM、速度
‑
时间谱DTM、方位谱ATM和俯仰谱ETM，对距离
‑
时间谱RTM、速度
‑
时间谱DTM、方位谱ATM和俯仰谱
ETM进行简化，最终得到28
×
4维的混和特征向量；具体过程为：步骤三一、对只包含人手目标的距离多普勒RD图在纵轴进行投影，并且逐帧拼接，得到距离
‑
时间谱RTM图；步骤三二、对只包含人手目标的距离多普勒RD图在横轴进行投影，并且逐帧拼接，得到速度
‑
时间谱DTM图；步骤三三、对只包含人手目标的距离多普勒RD图中检测到的人手目标点进行波达方向DOA估计，即在水平的通道维度做角度FFT，并且逐帧拼接，得到方位谱ATM；在竖直的通道维做角度FFT，并且逐帧拼接，得到俯仰谱ETM；步骤三四、对距离
‑
时间谱RTM、速度
‑
时间谱DTM、方位谱ATM和俯仰谱ETM进行简化，得到28
×
4维的混和特征向量。5.根据权利要求4所述的基于多头自注意力机制的毫米波雷达手势识别方法，其特征在于：所述步骤三四中对距离
‑
时间谱RTM、速度
‑
时间谱DTM、方位谱...

【专利技术属性】
技术研发人员：赵雅琴，宋雨晴，吴龙文，刘璞秋，何胜阳，左伊芮，周仕扬，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：