基于多域融合深度学习的毫米波雷达头部动作识别方法技术

本发明专利技术公开了一种基于多域融合深度学习的毫米波雷达头部动作识别方法，包括以下步骤：步骤1、采集人的头部动作数据；步骤2、预处理，得到时间

【技术实现步骤摘要】
基于多域融合深度学习的毫米波雷达头部动作识别方法


[0001]本专利技术属于毫米波雷达人体行为识别领域，特别涉及一种基于多域融合深度学习的毫米波雷达头部动作识别方法。

技术介绍

[0002]卷积神经网络(Convolutional Neural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，仿造生物的视知觉(visual perception)机制构建，可以进行监督学习和非监督学习。利用卷积神经网络对人体行为或者手势进行识别已经展开了广泛的研究。传统的人体行为识别或手势识别是采用光学传感器捕捉动作信息，将捕捉到的画面送入卷积神经网络进行动作识别。而基于雷达的人体行为识别或手势识别是通过对雷达回波信号进行处理，得到距离、角度和多普勒等信息，将这些信息输入卷积神经网络中进行分类。相比于光学传感器，雷达具有不受光照影响的优点。然而雷达捕捉的信息并没有光学传感器丰富直接，因此对于一些相似动作或者幅度较小的微动，区分较为困难。
[0003]文献“Inattentive Driving Behavior Detection Based on Portable FMCW Radar”中公开了一种基于便携式FMCW雷达的驾驶员无意驾驶行为的检测，针对七种导致注意力降低的典型驾驶行为进行了识别分类，这七种行为也主要集中在头部动作。通过对不同行为的时间多普勒频谱图以及距离多普勒轨迹提取特征，提取的特征包括：时间多普勒图的包络、频率极值、有效面积的功率密度以及距离多普勒图的轨迹、动态多普勒频率等。之后采用机器学习的方式对特征进行识别，对比了四种不同的机器学习方法，分别是“决策树、支持向量机、KNN、集成学习(袋装树、增强树、子空间KNN)。并且研究了基于时频图的分类、基于距离多普勒轨迹的分类以及时频图和距离多普勒轨迹在分类中的融合特征。但是只对头部动作进行粗略的区分点头还是摇头，机器学习手动提取特征的过程也较为麻烦，时间成本耗费较多。
[0004]文献“3D Head Motion Detection Using Millimeter
‑
Wave Doppler Radar”公开了一种利用毫米波多普勒雷达进行三维头部跟踪的技术。在这项技术中，为了识别天线的双基地和单基地几何结构以检测旋转和平移运动，他们提出了双散射角。通过数据简化和联合时频分析，标记运动边界，以创建简化、不相关和高度可分离的特征集。分类方法用的机器学习中的SVM，最终总体准确率在88％以上。该文献对头部运动进行了较为细致的划分，但是最终准确率还是不高且双基地雷达较为占空间。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的不足，提供一种利用卷积神经网络，结合多域和多种时频图对毫米波雷达采集的头部动作数据进行分类，同时采用通道注意力机制和空间注意力机制模块，有效地提升了头部动作识别的准确率的基于多域融合深度学习的毫米波雷达头部动作识别方法。
[0006]本专利技术的目的是通过以下技术方案来实现的：基于多域融合深度学习的毫米波雷
达头部动作识别方法，包括以下步骤：
[0007]步骤1、数据集建立：采用三发四收面阵天线的毫米波雷达采集人的头部动作数据，一共七个基本动作，分别是点头、低头、仰头、右转、左转、右偏、左偏；
[0008]步骤2、对雷达回波数据进行预处理：在快时间维度上对数据进行一维快速傅里叶变换得到时间
‑
距离图；然后取目标所在的距离单元，进行时频分析得到时间
‑
多普勒图；
[0009]步骤3、将时间
‑
距离图和时间
‑
多普勒图的图像大小统一调整为224
×
224
×
3的张量，然后对时间
‑
距离图进行特征提取；
[0010]步骤4、将时间
‑
多普勒图按堆叠成一个立方体，采用卷积核大小为3
×3×
3的三维卷积对多通道时间
‑
多普勒图进行特征提取；
[0011]步骤5、将提取到的距离特征和时频特征混合后，再次进行二维卷积，得到多域特征；
[0012]步骤6、对步骤5得到的多域特征采用空间注意力机制和通道注意力机制进行权重分配；
[0013]步骤7、将多域特征、空间注意力权重和通道注意力权重输入全连接层，得到动作识别结果。
[0014]进一步地，步骤1中，将雷达放置在人的头部右侧，头部在雷达30
°
方位角以内，雷达与头部距离在0.5米
‑
1米之间。
[0015]进一步地，所述步骤2具体实现方法为：根据时间
‑
距离图计算雷达测距：
[0016][0017]其中，c表示电磁波的传播速度，f0是发射信号与回波信号的频率之差，T为信号周期，B为信号带宽；距离R最大的位置即为目标位置；
[0018]时频分析采用小波变换、短时傅里叶变换和伪平滑魏格纳
‑
维利分布。
[0019]进一步地，所述步骤3中，采用VGG16的前六层结构，并加载VGG16的预训练权重，进行特征提取；二维卷积的公式如下所示：
[0020][0021]其中x
i,j
表示图像第i行第j列的像素；对卷积核的每个权重进行编号，用w
m,n
表示第m行第n列的权重，w
b
是卷积核的偏置项；f表示激活函数，选择ReLu激活函数，函数如下所示：
[0022]ReLU(x)＝max(0,x)
[0023]通过VGG16的第六层结构输出时间
‑
距离图特征。
[0024]进一步地，所述步骤4中，将小波变换、短时傅里叶变换、伪平滑魏格纳
‑
维利分布得到的三种时间
‑
多普勒图按顺序堆叠成一个立方体，采取卷积核大小为3
×3×
3的三维卷积层、BN层以及ReLu激活函数提取多通道时间
‑
多普勒图的特征，三维卷积的计算公式为：
[0025][0026]其中D是深度，F是卷积核的高度或者宽度，w
d,m,n
表示卷积核的权重，x
d,i+m,j+n
表示
图像的像素；f表示激活函数，选择ReLu激活函数；
[0027]采用BN层使每一层神经网络的输入保持相同分布，BN层采取下列式子进行计算：
[0028][0029][0030][0031][0032]其中x
i
是样本，m是样本数，μ
B
为样本均值，为样本方差，为归一化结果，y
i
和BN
γ,β
(x
i
)BN层的处理结果；ε为接近零的常数，防止分母为0；γ和β是两个可学习重构参数。
[0033]所述步骤6中，通道注意力模块的具体计算为：
[0034][003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多域融合深度学习的毫米波雷达头部动作识别方法，其特征在于，包括以下步骤：步骤1、数据集建立：采用三发四收面阵天线的毫米波雷达采集人的头部动作数据，一共七个基本动作，分别是点头、低头、仰头、右转、左转、右偏、左偏；步骤2、对雷达回波数据进行预处理：在快时间维度上对数据进行一维快速傅里叶变换得到时间
‑
距离图；然后取目标所在的距离单元，进行时频分析得到时间
‑
多普勒图；步骤3、将时间
‑
距离图和时间
‑
多普勒图的图像大小统一调整为224
×
224
×
3的张量，然后对时间
‑
距离图进行特征提取；步骤4、将时间
‑
多普勒图按堆叠成一个立方体，采用卷积核大小为3
×3×
3的三维卷积对多通道时间
‑
多普勒图进行特征提取；步骤5、将提取到的距离特征和时频特征混合后，再次进行二维卷积，得到多域特征；步骤6、对步骤5得到的多域特征采用空间注意力机制和通道注意力机制进行权重分配；步骤7、将多域特征、空间注意力权重和通道注意力权重输入全连接层，得到动作识别结果。2.根据权利要求书1所述的基于多域融合深度学习的毫米波雷达头部动作识别方法，其特征在于，步骤1中，将雷达放置在人的头部右侧，头部在雷达30
°
方位角以内，雷达与头部距离在0.5米
‑
1米之间。3.根据权利要求书1所述的基于多域融合深度学习的毫米波雷达头部动作识别方法，其特征在于，所述步骤2具体实现方法为：根据时间
‑
距离图计算雷达测距：其中，c表示电磁波的传播速度，f0是发射信号与回波信号的频率之差，T为信号周期，B为信号带宽；距离R最大的位置即为目标位置；时频分析采用小波变换、短时傅里叶变换和伪平滑魏格纳
‑
维利分布。4.根据权利要求书1所述的基于多域融合深度学习的毫米波雷达头部动作识别方法，其特征在于，所述步骤3中，采用VGG16的前六层结构，并加载VGG16的预训练权重，进行特征提取；二维卷积的公式如下所示：其中x
i,j
表示图像第i行第j列的像素；对卷积核的每个权重进行编号，用w
m,n
表示第m行第n列的权重，w

【专利技术属性】
技术研发人员：崔国龙，步雨晴，汪翔，张博，郭世盛，孔令讲，杨晓波，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：