一种基于动态轻量级网络的毫米波雷达行为感知方法技术

本发明专利技术属于毫米波雷达信号行为感知技术领域，公开了一种基于动态轻量级网络的毫米波雷达行为感知方法，其将雷达微多普勒数据进行去噪处理后，将每一帧的三个二维矩阵连接为一个三维矩阵，将一个样本中所有帧的三维矩阵沿时间维度连接，生成类视频数据，克服了传统热图只能包含单一信息的弊端；同时，设计基于注意力机制和通道打乱的动态轻量级模块，提出了动态轻量级Slowfast网络，提高模型感知精度及工作效率，降低计算复杂度。降低计算复杂度。降低计算复杂度。

【技术实现步骤摘要】
一种基于动态轻量级网络的毫米波雷达行为感知方法


[0001]本专利技术属于毫米波雷达信号行为感知
，具体涉及一种基于动态轻量级网络的毫米波雷达行为感知方法。

技术介绍

[0002]毫米波雷达有着较高的距离分辨率和速度分辨率，随着毫米波雷达集成度的提高，小体积的毫米波雷达足以集成到智能手机、智能扬声器等消费设备中，利用毫米波雷达信号进行人体活动识别成为了一个研究的热门方向。
[0003]目前，基于毫米波雷达微多普勒数据的感知方法，将热图直接输入深度学习算法进行人体活动识别；然而，生成的热图图像数据往往只能包含其中部分的信息，不能同时从距离、速度和角度（包括水平角和俯仰角）全面刻画被测目标；若希望得到较全的目标热图信息，现有技术往往将不同的信息分别输入到不同网络中，利用网络进行信息融合，造成操作的复杂性；且现有模型往往仅关注精度，忽略模型的复杂度和计算成本。

技术实现思路

[0004]为解决上述技术问题，本专利技术提供了一种基于动态轻量级网络的毫米波雷达行为感知方法，其将雷达微多普勒数据每一帧的三视图信号转换成三维序列数据，将每个样本的多个帧数据连接，生成类视频数据；Slowfast结构在视频感知中有较好的效果，它能够充分挖掘数据的时空特征，提高特征的表示能力，本专利技术同时设计基于注意力机制和通道打乱的动态轻量级模块，提出了动态轻量级Slowfast网络，提高模型感知精度及工作效率，降低计算复杂度。
[0005]本专利技术所述的一种基于动态轻量级网络的毫米波雷达行为感知方法，步骤为：步骤1、在不同场景对不同的志愿者采集不同动作的雷达微多普勒数据，同时划分训练集和测试集；步骤2、对采集到的雷达微多普勒数据做去噪处理；步骤3、对去噪后的数据进一步处理，生成距离
‑
速度、距离
‑
仰角和距离
‑
方位角的矩阵数据；步骤4、对三个维度的矩阵进一步处理，生成类视频的三视图数据；步骤5、构建动态轻量级Slowfast网络，并将训练集的数据输入到该网络中，训练网络模型；步骤6、将测试样本输入到训练好的模型中，输出测试样本的动作类别，实现人体活动识别。
[0006]进一步的，步骤2中，估计来自静止目标的干扰，并消除该频域的平均频率响应，生成去噪后的数据。
[0007]进一步的，步骤3中，对原始IQ信号进行距离、多普勒、天线维度的快速傅里叶FFT变换，得到目标的距离
‑
速度矩阵、距离
‑
方位角矩阵和距离
‑
俯仰角矩阵。
[0008]进一步的，步骤4中，将每一帧的距离
‑
速度矩阵、距离
‑
方位角矩阵、距离
‑
俯仰角矩阵连接成一个三维矩阵，再将一个样本中所有帧的三维矩阵沿时间维度连接，生成类视频数据。
[0009]进一步的，将基于动态卷积的注意力机制和通道打乱集成到Slowfast网络中，构建动态轻量级Slowfast结构模型；所述动态轻量级Slowfast网络包括快分支和慢分支，快分支和慢支结构相同，均包括五个阶段；第一个阶段包括依次设置的深度可分离卷积层、激活层、最大池化层；第二个阶段包括动态轻量级模块Block A；第三个阶段和第四个阶段均包括依次设置的动态轻量级模块Block B和动态轻量级模块Block C；第五个阶段包括依次设置的动态轻量级模块BlockB、激活层和全局平均池化层；每个阶段结束后，快分支和慢分支的数据进行融合，其中前四个阶段融合均为快分支数据经过深度可分离层后和慢分支数据做连接操作，第五阶段融合为快分支数据和慢分支数据直接做连接操作。
[0010]进一步的，所述动态轻量级模块Block A和动态轻量级模块Block B结构相同，分别包括左分支和右分支，数据分别输入至左、右两分支；其中左分支包括依次设置的动态深度卷积层、归一化层、动态点卷积层、归一化层、激活层；右分支包括依次设置的动态点卷积层、归一化层、激活层、动态深度卷积层、归一化层、动态点卷积层、归一化层、激活层；动态轻量级模块BlockA和Block B的左右两分支得到的特征数据进行连接并打乱通道作为下一层的输入。
[0011]进一步的，所述动态轻量级模块Block C包括两个分支，其两个分支平分上一层的数据，其中一半数据输入Block C的右分支，依次经过动态点卷积层、归一化层、激活层、动态深度卷积层、归一化层、动态点卷积层、归一化层、激活层；另一半数据不做任何处理并与右分支得到的特征数据进行连接，并打乱通道作为下一层的输入。
[0012]本专利技术所述的有益效果为：本专利技术根据毫米波雷达信号的特点，创新性地提出了基于雷达微多普勒数据的三视图信号处理方式，将每一帧的距离
‑
速度、距离
‑
仰角和距离
‑
方位角的二维矩阵数据直接拼接，生成三维数据信息，所有帧构成4维类视频样本，该类型数据能够在初始数据生成阶段融合多视图信息，克服了传统热图只能包含单一信息的弊端。此外，本专利技术还根据类视频数据的特点，在Slowfast模型架构上，通过将注意力机制和通道打乱的设计嵌入到Slowfast网络中，设计了三个动态轻量级别的模块，该模块利用深度可分离卷积结合通道打乱机制实现网络参数轻量化，同时利用动态卷积，对不同的卷积核求权重，提升感知精度；在此基础上提出了动态轻量级Slowfast网络，利用动态深度卷积层（将动态卷积和深度卷积结合）、动态点卷积层（将动态卷积和点卷积结合）融合到三个模块中，进一步降低网络参数和复杂度，同时实现网络轻量化和模型精度的提升，该网络能以较小的参数量和计算开销实现人体活动识别任务。
附图说明
[0013]图1为本专利技术实施例中基于动态轻量级网络的毫米波雷达的人体活动识别方法基本框架图；图2为本专利技术实施例中基于动态轻量级网络的毫米波雷达的人体活动识别方法的流程图；图3为本专利技术实施例中类视频数据生成示意图；
图4为本专利技术实施例中动态轻量级模块结构图；图5为本专利技术实施例中动态轻量级Slowfast网络的模型结构图；图6为本专利技术实施例中不同场景识别效果的混淆矩阵的说明示意图。
具体实施方式
[0014]为了使本专利技术的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本专利技术作进一步详细的说明。
[0015]本专利技术所述的一种基于动态轻量级网络的毫米波雷达行为感知方法，包括如下步骤：步骤1、在不同场景对不同的志愿者采集不同动作的雷达微多普勒数据，同时划分训练集和测试集；步骤2、对采集到的雷达微多普勒数据做去噪处理；步骤3、对去噪后的数据进一步处理，生成距离
‑
速度、距离
‑
仰角和距离
‑
方位角的矩阵数据；步骤4、对三个维度的矩阵进一步处理，生成类视频的三视图数据；步骤5、构建动态轻量级Slowfast网络，并将训练集的数据输入到该网络中，训练网络模型；步骤6、将测试样本输入到训练好的模型中，输出测试样本的动作类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态轻量级网络的毫米波雷达行为感知方法，其特征在于，所述方法步骤为：步骤1、在不同场景对不同的志愿者采集不同动作的雷达微多普勒数据，同时划分训练集和测试集；步骤2、对采集到的雷达微多普勒数据做去噪处理；步骤3、对去噪后的数据进一步处理，生成距离
‑
速度、距离
‑
仰角和距离
‑
方位角的矩阵数据；步骤4、对三个维度的矩阵进一步处理，生成类视频的三视图数据；步骤5、构建动态轻量级Slowfast网络，并将训练集的数据输入到该网络中，训练网络模型；步骤6、将测试样本输入到训练好的模型中，输出测试样本的动作类别，实现人体活动识别。2.根据权利要求1所述的一种基于动态轻量级网络的毫米波雷达行为感知方法，其特征在于，步骤2中，估计来自静止目标的干扰，并消除该频域的平均频率响应，生成去噪后的数据。3.根据权利要求1所述的一种基于动态轻量级网络的毫米波雷达行为感知方法，其特征在于，步骤3中，对原始IQ信号进行距离、多普勒、天线维度的快速傅里叶FFT变换，得到目标的距离
‑
速度矩阵、距离
‑
方位角矩阵和距离
‑
俯仰角矩阵。4.根据权利要求1所述的一种基于动态轻量级网络的毫米波雷达行为感知方法，其特征在于，步骤4中，将每一帧的距离
‑
速度矩阵、距离
‑
方位角矩阵、距离
‑
俯仰角矩阵连接成一个三维矩阵，再将一个样本中所有帧的三维矩阵沿时间维度连接，生成类视频数据。5.根据权利要求1所述的一种基于动态轻量级网络的毫米波雷达行为感...

【专利技术属性】
技术研发人员：盛碧云，包燕，肖甫，桂林卿，蔡惠，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：