基于FMCW雷达信号的深度学习手势识别方法技术

本发明专利技术公布了一种基于雷达信号的深度学习手势识别方法，首先通过雷达获取每一种手势的中频信号，并从中提取每一根发射天线和接收天线下的中频信号矩阵；其次，利用傅里叶变换对信号频率进行提取，得到信号中的距离和速度信息并且将数据进行预处理；然后，建立三维卷积神经网络和长短记忆网络，将处理后的雷达信号输入到网络进行训练；最后，根据深度学习网络提取的特征进行手势识别。本发明专利技术方法解决了传统识别算法使用条件受限以及鲁棒性差的问题，且能实现多种手势的精确分类。

Depth learning gesture recognition method based on FMCW radar signal

The invention discloses a depth learning gesture recognition method based on radar signal. Firstly, the IF signal of each gesture is obtained by radar, and the IF signal matrix under each transmitting antenna and receiving antenna is extracted. Secondly, the signal frequency is extracted by Fourier transform to obtain the distance in the signal. Then, a three-dimensional convolution neural network and a long-short memory network are established to input the processed radar signals into the network for training. Finally, gesture recognition is carried out according to the features extracted by the depth learning network. The method solves the problems of limited use conditions and poor robustness of traditional recognition algorithms, and can realize accurate classification of multiple gestures.

【技术实现步骤摘要】
基于FMCW雷达信号的深度学习手势识别方法
本专利技术属于手势识别技术，具体涉及一种基于雷达信号的深度学习手势识别方法。
技术介绍
在人机交互迅猛发展的时代，手势识别作为其极其重要的研究领域，已经引起了世界各国的高度重视。在手势识别初期，人们主要着重于基于传感器(Sensor)，特别是基于数据手套(DataGlove)的手势识别研究。当时，研究人员佩戴一个集成了各种功能传感器的“手套”。该设备另一端连接到计算机，计算机可以获取到手的位置信息、手指的伸展信息等，从而进行手势的识别。后来随着计算机视觉的发展，基于视觉的人体手势识别研究成为实现新一代人机交互的一项关键技术，该技术主要是利用摄像头去采集人体手势动作的图像或视频，通过图像处理技术和计算机视觉的方法识别人体手势。但以上手势识别技术一般都有很大的使用限制，首先，传统手势识别方法需要对特定的手势设计相应的特征，当更换手势动作时，相应的特征和权重也需要随之调整，而且上述方法的学习能力有限且算法鲁棒性较差；第二，摄像头在昏暗的光下很难捕捉到清晰图像，这样导致识别应用场景受到了很大的限制。为了解决上述问题且为了对手势实现精确的分类，本专利技术提出了一种新的基于雷达信号的手势识别方法。
技术实现思路
本专利技术的目的是提供一种基于雷达信号和深度学习的手势分类方法，它能有效的解决传统识别使用环境受限以及算法鲁棒性差的问题，且能实现多种手势的精确分类。本专利技术所述的基于雷达信号和深度学习的手势分类方法，包括以下步骤：步骤一、设计手掌前推、后拉、左摆、右摆、前后推拉和左右挥动六个手势动作，并且利用调频连续波(FrequencyModulatedContinuousWave，FMCW)雷达采集训练和测试手势数据集的雷达源数据文件生成原始的中频信号矩阵A，从原始中频信号矩阵A中提取某一发射天线和接收天线对应的帧信号矩阵Fk。步骤二、构造汉明窗Whanming，并将其与帧信号矩阵Fk进行旁瓣抑制处理得到帧信号矩阵Fk′。步骤三、将帧信号矩阵Fk′的每一列信号Fk′c进行傅里叶变换生成距离信号矩阵Sk。步骤四、根据距离信号矩阵Sk中的频率分量计算信号所表示的实际距离，得到信号幅值矩阵Rk。步骤五、将帧信号矩阵Sk的每一行行矩阵信号Skr进行傅里叶变换，生成速度信号矩阵S′k。步骤六、根据速度信号矩阵S′k中频率分量计算信号所表示的实际速度，得到信号幅值矩阵R′k。步骤七、计算信号序列B中各帧信号{B1...Bi...Bf}(1≤i≤f)包含手势速度和距离信息的幅值矩阵(R1R2...Rf)。步骤八、将生成的幅值矩阵(R1R2...Rf)预处理为深度学习网络的输入数据Xinput，并初始化网络权重。步骤九、将输入信号矩阵Xinput进行卷积池化操作获取初步的浅层特征结果，得到池化矩阵Pool1。步骤十、将池化矩阵Pool1重复步骤九中的卷积核池化操作，设置卷积核个数nkernel2，得到表示特征图的池化结果Pool2。步骤十一、对池化结果Pool2进行进一步的卷积池化，提取深度特征结果，得到池化矩阵Pool3。步骤十二、将Pool3按照步骤十一重复两次进行卷积核池化操作，得到nkernel5个f′×m′×n′维的特征映射图Pool5。步骤十三、将nkernel5个f′×m′×n′维的特征映射图Feat5维度转置得到s1×s2维的特征向量Xfeature。步骤十四、设置长短期记忆网络(LongShort-TermMemory，LSTM)的输入层为上一步骤中时间步长为s1输入维数为s2的特征向量Xfeature，令X＝Xfeature，其中X的步长为s1，长短期记忆网络结构图如图9。步骤十五、根据长短记忆网络的输入X，计算网络中输入门I、忘记门F、输出门O和候选隐藏状态G。步骤十六、同过LSTM各个门计算网络隐层中最后一步的h×1维隐藏状态并作为特征结果X′feature。步骤十七、将最终形如X′feature＝[x1x2...xh]T的特征结果送入归一化指数函数进行计算结果矩阵Xres，得到结果矩阵中值最大的角标y′＝max(Xres)，结果矩阵Xres的K个标量中第j个值表示中频信号矩阵A被三维卷积神经网络模型判别为第j类手势的概率，y′表示中频信号矩阵A被判别为某一类手势的结果。步骤十八、根据网络判断的结果分类y′，计算分类结果的损失函数J(θ)，并根据此分类函数对网络中的权重进行更新。步骤十九、将测试手势数据集输入到步骤十八得到的深度学习网络中分类，得到手势分类结果y′。所述步骤六包括以下步骤：6.1提取在速度信号矩阵S′k的每个行矩阵信号S′kr中的相同频率分量组成列矩阵信号S′kc，具体形式如下：S′kc＝[c′k+c+d′k+cic′k+n+c+d′k+n+ci...c′k+(m-1)n+c+d′k+(m-1)n+ci]T(c＝1,2,3,…,n)6.2计算列矩阵信号S′kc在采样率R下的各个频率分量6.3计算列信号矩阵S′ks下频率分量为fs时手势相对雷达的径向速度其中λ为波长，Tc为雷达产生信号矩阵B的时间。6.4将上一步骤计算出的n个速度vs(s＝1,2,3,…,n)按照步骤十八中n个的频率分量fc比例生成速度矩阵Y，具体为：Y＝[v1v2...vn]T6.5对速度信号矩阵S′k的每个元素求幅值，得到结果幅值矩阵R′k，具体如下：所述步骤九包括以下步骤：9.1将输入矩阵信号Xinput中每个kernel×kernel区域矩阵与nkernel1个卷积核矩阵K1进行卷积相乘，生成表示从矩阵信号Xinput中提取到的浅层特征的特征映射图Feat1，具体卷积操作如图7。9.2将特征映射图Feat1矩阵在每个kpool×kpool区域矩阵内，用该区域中的最大值代表原来的kpool×kpool区域矩阵，生成表示将特征映射图Feat1信息压缩后的池化矩阵Pool1，具体操作如图8。所述步骤十五包括以下步骤：15.1随机初始化步长为s1的X中第一步X1的状态变量为Sstate，设置网络中隐层LSTM单元节点数为h。15.2计算X总步长为s1中每一步的输入门I、忘记门F和输出门O并求其隐层状态S，其中X的第t步计算结果具体形式如下：其中St-1为第t-1步的状态变量，Ui、Wi、Uf、Wf、Uo和Wo为随机初始化的权重矩阵。15.3计算候选隐藏状态G＝tanh(XtUg+St-1Wg)，内部存储器的细胞状态Ct＝Ct-1×F+G×I，以及第t步的输出隐层状态为St＝tanh(Ct)×O，其中Ug和Wg为随机初始化的权重参数。本专利技术具有以下优点：本专利技术首先通过雷达获取各种手势的信号，并从中提取每种手势的运动参数，并按照时间顺序生成一个序列；然后，利用深度学习网络对采集的序列数据进行特征提取，得到特征向量；其次，为了更好的利用原序列数据中的连续性信息，根据特征向量的时间维度，将其送入长短记忆网络进行训练；最后，将最终的特征向量送入分类函数，得到分类结果。本专利技术方法采用雷达信号作为数据来源，适用场景广泛，无需考虑光照等外界因素。本专利技术利用深度学习网络针对源数据的特点进行特征提取，以达到更好地手势分类效果。附图说明图1为本专利技术的整体流程图；图2为本专利技术中设计识别的具体手势；图3为步骤十一本文档来自技高网...

【技术保护点】
1.基于雷达信号的深度学习手势识别方法，其特征在于，包括以下步骤：步骤一、设计手掌前推、后拉、左摆、右摆、前后推拉和左右挥动六个手势动作，并且利用调频连续波(Frequency Modulated Continuous Wave，FMCW)雷达采集训练和测试手势数据集的雷达源数据文件生成原始的中频信号矩阵A；从原始中频信号矩阵A中提取某一发射天线和接收天线对应的帧信号矩阵Fk；步骤二、构造汉明窗Whanming，并将其与帧信号矩阵Fk进行旁瓣抑制处理得到帧信号矩阵Fk′；步骤三、将帧信号矩阵Fk′的每一列信号Fk′c进行傅里叶变换生成距离信号矩阵Sk；步骤四、根据距离信号矩阵Sk中的频率分量计算信号所表示的实际距离，得到信号幅值矩阵Rk；步骤五、将帧信号矩阵Sk的每一行行矩阵信号Skr进行傅里叶变换，生成速度信号矩阵S′k；步骤六、根据速度信号矩阵S′k中频率分量计算信号所表示的实际速度，得到信号幅值矩阵R′k；步骤七、计算信号序列B中各帧信号{B1 ... Bi ... Bf}(1≤i≤f)包含手势速度和距离信息的幅值矩阵(R1 R2 ... Rf)；步骤八、将生成的幅值矩阵(R1 R2 ... Rf)预处理为深度学习网络的输入数据Xinput，并初始化网络权重；步骤九、将输入信号矩阵Xinput进行卷积池化操作获取初步的浅层特征结果，得到池化矩阵Pool1；步骤十、将池化矩阵Pool1重复步骤九中的卷积核池化操作，设置卷积核个数nkernel2，得到表示特征图的池化结果Pool2；步骤十一、对池化结果Pool2进行进一步的卷积池化，提取深度特征结果，得到池化矩阵Pool3；步骤十二、将Pool3按照步骤十一重复两次进行卷积核池化操作，得到nkernel5个f′×m′×n′维的特征映射图Pool5；步骤十三、将nkernel5个f′×m′×n′维的特征映射图Feat5维度转置得到s1×s2维的特征向量Xfeature；步骤十四、设置长短期记忆网络(Long Short‑Term Memory，LSTM)的输入层为上一步骤中时间步长为s1输入维数为s2的特征向量Xfeature，令X＝Xfeature，其中X的步长为s1，长短期记忆网络结构图如图9；步骤十五、根据长短记忆网络的输入X，计算网络中输入门I、忘记门F、输出门O和候选隐藏状态G；步骤十六、同过LSTM各个门计算网络隐层中最后一步的h×1维隐藏状态Ss1，并作为特征结果X′feature；步骤十七、将最终形如X′feature＝[x1 x2 ... xh]T的特征结果送入归一化指数函数进行计算结果矩阵Xres，得到结果矩阵中值最大的角标y′＝max(Xres)，结果矩阵Xres的K个标量中第j个值表示中频信号矩阵A被三维卷积神经网络模型判别为第j类手势的概率，y′表示中频信号矩阵A被判别为某一类手势的结果；步骤十八、根据网络判断的结果分类y′，计算分类结果的损失函数J(θ)，并根据此分类函数对网络中的权重进行更新；步骤十九、将测试手势数据集输入到步骤十八得到的深度学习网络中分类，得到手势分类结果y′。...

【技术特征摘要】
1.基于雷达信号的深度学习手势识别方法，其特征在于，包括以下步骤：步骤一、设计手掌前推、后拉、左摆、右摆、前后推拉和左右挥动六个手势动作，并且利用调频连续波(FrequencyModulatedContinuousWave，FMCW)雷达采集训练和测试手势数据集的雷达源数据文件生成原始的中频信号矩阵A；从原始中频信号矩阵A中提取某一发射天线和接收天线对应的帧信号矩阵Fk；步骤二、构造汉明窗Whanming，并将其与帧信号矩阵Fk进行旁瓣抑制处理得到帧信号矩阵Fk′；步骤三、将帧信号矩阵Fk′的每一列信号Fk′c进行傅里叶变换生成距离信号矩阵Sk；步骤四、根据距离信号矩阵Sk中的频率分量计算信号所表示的实际距离，得到信号幅值矩阵Rk；步骤五、将帧信号矩阵Sk的每一行行矩阵信号Skr进行傅里叶变换，生成速度信号矩阵S′k；步骤六、根据速度信号矩阵S′k中频率分量计算信号所表示的实际速度，得到信号幅值矩阵R′k；步骤七、计算信号序列B中各帧信号{B1...Bi...Bf}(1≤i≤f)包含手势速度和距离信息的幅值矩阵(R1R2...Rf)；步骤八、将生成的幅值矩阵(R1R2...Rf)预处理为深度学习网络的输入数据Xinput，并初始化网络权重；步骤九、将输入信号矩阵Xinput进行卷积池化操作获取初步的浅层特征结果，得到池化矩阵Pool1；步骤十、将池化矩阵Pool1重复步骤九中的卷积核池化操作，设置卷积核个数nkernel2，得到表示特征图的池化结果Pool2；步骤十一、对池化结果Pool2进行进一步的卷积池化，提取深度特征结果，得到池化矩阵Pool3；步骤十二、将Pool3按照步骤十一重复两次进行卷积核池化操作，得到nkernel5个f′×m′×n′维的特征映射图Pool5；步骤十三、将nkernel5个f′×m′×n′维的特征映射图Feat5维度转置得到s1×s2维的特征向量Xfeature；步骤十四、设置长短期记忆网络(LongShort-TermMemory，LSTM)的输入层为上一步骤中...

【专利技术属性】
技术研发人员：田增山，王沙沙，吴金君，王勇，赵泽东，贾秀倩，李艳春，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50