一种基于77GHz毫米波雷达信号的手势识别方法技术

本发明专利技术提供了一种基于77GHz毫米波雷达信号的手势识别方法，包括首先通过雷达获取不同手势动作的中频信号，并创新性地利用一种改进的小波阈值函数对其低频系数进行预处理，解决了由于天线耦合现象造成的近距离手势无法识别的问题，其次，对预处理后的中频信号提取时间‑距离谱图、时间‑速度谱图以及时间‑角度谱图，创新地将三种特征谱图进行拼接得到多元化特征图，并输入到卷积神经网络进行训练，优化了传统识别算法信息表达不完备的问题，同时也有利于网络结构的简化，且最终取得较好的识别效果。

A gesture recognition method based on 77GHz millimeter wave radar signal

【技术实现步骤摘要】
一种基于77GHz毫米波雷达信号的手势识别方法
本专利技术涉及雷达信号处理识别
，特别涉及一种基于77GHz毫米波雷达信号的手势识别方法。
技术介绍
自二十一世纪以来，随着计算机技术突飞猛进的发展，人机交互技术已成为当今重大学科技术之一。目前，常用的人机交互方法是以鼠标和键盘作为机械式输入设备，然而，这些方法没有办法实现简单、高效、高度自由的人与计算机的信息互动。在计算机与信号处理领域发展过程中，手势识别技术以其生动、形象、直观、高效的表达特点拥有着越来越多的应用场景，例如智能家居系统、手语实时教学系统、手势操控游戏系统等等。伴随着人机交互技术的飞速发展，手势识别技术目前已经成为了国内外各学者的研究热点。传统的手势识别技术绝大多数都是基于视频和图像的，例如微软公司的体感设备Kinect，就是利用3D体感摄像头和光编码技术形成有深度的场景图，通过评估景深图像的像素级，进行图像深度识别，再结合人体骨骼追踪技术来捕捉人体的各个部位或者手势动作。然而，传统的基于图像或视频的手势识别方法存在一定的局限性。首先，传统的基于图像的手势识别技术的识别正确率极易受到光照、天气以及工作环境等因素的影响。其次，传统的基于图像或视频的手势识别方法也容易受到遮挡的影响，如墙壁、书柜等等，当手势执行者位于墙后或者房间中某处被部分或者完全遮挡的位置时，这种方法就会完全行不通。此外，传统的基于图像或视频的手势识别方法也存在用户隐私泄露的风险。在个人信息高度敏感的时代，这种方法造成的隐私泄露问题可能会产生很严重的后果。最后，传统的基于图像或视频的手势识别方法对计算资源与能耗的要求相对都比较高，一般情况下都需要独立的外界供电系统，这使得其应用场景与规模都受到很大的限制。相比于传统基于视频或图像的手势识别方法而言，基于雷达信号的手势识别方法通常具有非接触，不受光照、天气以及工作环境影响等特点，能够有效解决光照不足等条件影响识别正确率的问题。同时雷达也具有一定的穿透遮挡传播的功能，能够有效地避免墙、书柜等遮挡物的影响，使得手势执行者在被完全遮挡或部分遮挡的情况下实现手势控制与交互成为可能。并且基于雷达信号的手势识别方法能够有效地消除由于拍摄视频或图像引起的用户隐私泄露问题，这一优点在保护用户隐私的同时也保障了用户的安全性。此外，雷达传感器大多都能集成在能耗比较低的高质量芯片上，能够大大降低识别的成本并减少计算复杂性，大大增加手势识别技术的应用场景与规模。77GHz毫米波雷达以其质量轻、体积小的特点，得到越来越广泛的应用。同时，77GHz毫米波雷达很容易就能达到更高的空间分辨率，使得测距、测角、测速的精度更高。结合目前77GHz毫米波雷达在智能驾驶、智能家居等方面的应用，基于77GHz毫米波雷达的手势识别技术拥有着非常广泛的应用前景。现有的基于雷达信号的手势识别方法中存在以下问题。首先，针对由于发射天线和接收天线耦合产生的能量较大的低频信号而言，目前的方法都是从距离域进行截取，丢掉近距离信息。事实上，对于动态的手势动作而言，当手势距离雷达较近时，这种做法会将有用的手势信号一起去除掉，是不科学的。其次，目前对雷达角度信息的利用较少，没有充分利用雷达所能提供的有用信息，且在构建卷积神经网络的输入数据集时缺乏对特征谱图的信息融合，增加了后期的卷积神经网络的设计难度。
技术实现思路
本专利技术的目的是提供一种去除由于发射天线和接收天线耦合产生的能量较大的低频信号的方法，并提供一种雷达手势信号多元化特征图谱的构建方法。与传统手势识别技术相比，一方面可以对近距离手势信号进行识别，进一步增大了手势识别技术的应用场景；另一方面使得手势信号特征表达更加完备，解决了以往手势信息量描述较低的问题，并有利于简化后期卷积神经网络的设计，便于实现多种手势的精确分类。本专利技术所述的一种基于77GHz毫米波雷达信号的手势识别方法，包括以下步骤：步骤一、设计N个手势动作，以N＝4为例，设计打钩、径向挥手、顺时针旋转和逆时针旋转四种手势动作，并由不同的志愿者在微波暗室环境下进行相应手势的数据采集，总共得到4*ClassNum组数据；步骤二、将发射信号ST(t)和接收信号SR(t)通过混频器，得到混频信号SMIX(t)，SMIX(t)通过低通滤波器，解析出中频信号x(t)，并从中频信号中提取相应的接收天线对应的信号SNI\Q(t)；步骤三、由于发射天线和接收天线的耦合现象，手势中频信号x(t)中存在着一个能量很大的低频信号，利用小波阈值方法对上述中频信号SNI\Q(t)进行预处理，选用一种改进的阈值函数，并只对低频系数做处理后，重构得到新的中频信号步骤四、对中频信号进行处理，估计出手势动作的时间-距离谱图、时间-速度谱图和时间-角度谱图，并对三种谱图分别进行数值归一化处理；步骤五、将步骤四中归一化后的时间-距离谱图、时间-速度谱图和时间-角度谱图进行拼接，构造多元化特征谱图A；步骤六、对采集到的4*ClassNum组手势回波数据分别进行步骤二-步骤六的操作，得到4*ClassNum组原始手势信号多元化特征谱图集步骤七、将步骤六得到的多元化特征谱图集中的每一个样本均进行灰度化处理，得到原始多元化特征图集B；步骤八、对原始多元化特征图集B内的所有样本进行去均值并进行尺度归一化，得到多元化特征图集并对每一幅特征图贴标签；步骤九、将多元化特征图集按照一定的比例分成训练集Strain、验证集Sval和测试集Stest，例如训练集占70％、验证集占20％、测试集占10％；步骤十、将Strain、Sval和其对应的标签一起作为卷积神经网络的输入数据集Cinput，并初始化网络权重，其中Strain用来对网络系数进行训练，Sval在训练一段时间后进行网络验证，并通过误差对网络的权值进行调整；步骤十一、将输入数据集Cinput进行一次卷积池化操作，设置卷积核的尺度kernel_size1、卷积步长kernel_stride1以及池化尺寸pool_size1、池化步长pool_stride1，得到特征图集feature1；步骤十二、对特征图集feature1进一步进行卷积池化，提取深层特征，设置卷积核的尺寸kernel_size2、卷积步长kernel_stride2以及池化尺寸pool_size2、池化步长pool_stride2，得到特征图集feature2；步骤十三、对特征图集feature2再进行一次卷积池化操作，提取更深层次特征，设置卷积核的尺寸kernel_size3、卷积步长kernel_stride3以及池化尺寸pool_size3、池化步长pool_stride3，得到特征图集feature3；步骤十四、将feature3依次通过全连接层fc4、fc5、fc6，并分别设置fc4、fc5、fc6的尺寸大小为size4、size5、size6，将特征图集转换成1×size6的列向量v1；步骤十五、将列向量v1通过softmax分类器，其输出为不同的手势类别，通过多次迭代，网络准确率和损失函数趋于稳定，得到训练好的卷积神经网络模型Netmodel。步骤十六、将测试数据集Stest加载到Netmodel中，得到手势分类结果y。所述步骤三包括以下步骤：3.1选取合适的小波基函数，对手势本文档来自技高网...

【技术保护点】
1.一种基于77GHz毫米波雷达信号的手势识别方法，其特征在于，包括以下步骤：步骤一、设计N个手势动作，并由不同的志愿者在微波暗室环境下进行相应手势的数据采集，总共得到N*ClassNum组数据；步骤二、对雷达原始数据进行解析，获得中频信号x(t)，并从中频信号中提取相应的接收天线对应的中频信号SNI\Q(t)；步骤三、由于发射天线和接收天线的耦合现象，手势中频信号x(t)中存在着一个能量很大的低频信号，利用小波阈值方法对上述中频信号SNI\Q(t)进行预处理，选用一种改进的阈值函数，并只对低频系数做处理后，重构得到新的中频信号

【技术特征摘要】
1.一种基于77GHz毫米波雷达信号的手势识别方法，其特征在于，包括以下步骤：步骤一、设计N个手势动作，并由不同的志愿者在微波暗室环境下进行相应手势的数据采集，总共得到N*ClassNum组数据；步骤二、对雷达原始数据进行解析，获得中频信号x(t)，并从中频信号中提取相应的接收天线对应的中频信号SNI\Q(t)；步骤三、由于发射天线和接收天线的耦合现象，手势中频信号x(t)中存在着一个能量很大的低频信号，利用小波阈值方法对上述中频信号SNI\Q(t)进行预处理，选用一种改进的阈值函数，并只对低频系数做处理后，重构得到新的中频信号步骤四、对中频信号进行处理，估计出手势动作的时间-距离谱图、时间-速度谱图和时间-角度谱图，并对三种谱图分别进行数值归一化处理；步骤五、将步骤四中归一化后的时间-距离谱图、时间-速度谱图和时间-角度谱图进行拼接，构造多元化特征谱图A；步骤六、对采集到的N*ClassNum组手势回波数据分别进行步骤二-步骤六的操作，得到N*ClassNum组原始手势信号多元化特征谱图集步骤七、将步骤六得到的多元化特征谱图集中的每一个样本均进行灰度化处理，得到原始多元化特征图集B；步骤八、对原始多元化特征图集B内的所有样本进行去均值并进行尺度归一化，得到多元化特征图集并对每一幅特征图贴标签；步骤九、将多元化特征图集按照一定的比例分成训练集Strain、验证集Sval和测试集Stest，例如训练集占70％、验证集占20％、测试集占10％；步骤十、将Strain、Sval和其对应的标签一起作为卷积神经网络的输入数据集Cinput，并初始化网络权重，其中Strain用来对网络系数进行训练，Sval在训练一段时间后进行网络验证，并通过误差反向传播对网络的权值进行调整；步骤十一、将输入数据集Cinput进行一次卷积池化操作，设置卷积核的尺度kernel_size1、卷积步长kernel_stride1以及池化尺寸pool_size1、池化步长pool_stride1，得到特征图集feature1；步骤十二、对特征图集feature1进一步进行卷积池化，提取深层特征，设置卷积核的尺寸kernel_size2、卷积步长kernel_stride2以及池化尺寸pool_size2、池化步长pool_stride2，得到特征图集feature2；步骤十三、对特征图集feature2再进行一次卷积池化操作，提取更深层次特征，设置卷积核的尺寸kernel_size3、卷积步长kernel_stride3以及池化尺寸pool_size3、池化步长pool_stride3，得到特征图集feature3；步骤十四、将feature3依次通过全连接层fc...

【专利技术属性】
技术研发人员：赵占锋，刘多，周志权，赵宜楠，冯翔，陈雄兰，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：山东,37