面向雷达信号热图的人体目标检测方法技术

面向雷达信号热图的人体目标检测方法，该方法基于残差网络ResNet，并采用雷达信号热图作为网络输入。与视频图像相比，热图可从水平、垂直双向视角展示目标信息，并有效去除了冗余背景，更加直观。为简化训练过程，该方法对热图输入进行了预处理，在整合网络输入参数、重组热图图像数据的同时，也有助于提升训练效率、减少训练时间。在训练模型中，该方法提取残差网络输出的特征，并依靠网络末端的特征矩阵重构操作，对水平、垂直热图特征进行融合，以进一步提高特征提取效果。步提高特征提取效果。步提高特征提取效果。

【技术实现步骤摘要】
面向雷达信号热图的人体目标检测方法


[0001]本专利技术属于目标图像识别领域，具体涉及一种面向雷达信号热图的人体目标检测方法。

技术介绍

[0002]雷达信号热图，即通过雷达等射频收发装置获取的射频热图，由于其距离分辨率高，获取难度低，因此被多种检测系统采用，并广泛用于军事、交通、地质工程等领域。从雷达信号热图中提取和识别各类目标，特别是人体目标，也就成为各种检测系统的基本需求和重要任务之一。
[0003]人体目标检测一直是计算机视觉领域的研究热点。在早期研究中，目标检测方法通常需要提取图像特征，使用DPM(Deformable PartsModel)模型，用滑动窗口的方式来预测具有较高分数的目标框 (Bounding Box)。这种方式十分耗时，而且精度不高。之后研究人员将深度学习引入目标检测领域，大幅提升了目标检测的性能。这类方法可分为两类。一类是将物体识别和物体定位分为两个步骤分别完成，即Two
‑
stage，如R
‑
CNN、Fast R
‑
CNN、FasterR
‑
CNN等，其识别错误率较低，但速度较慢，因而对于实时检测场景不太适合。另一类是One
‑
stage，它舍弃了区域提议方法(RegionProposal)，转而直接生成目标坐标值和分类概率，典型方法包括Yolo、SSD、YoloV2等。其识别速度有所提升，然而在多尺度预测和基础分类网络等方面仍然有一定缺陷，在复杂检测场景下的整体准确率也不够理想。上述这些研究主要面向传统的视频检测，还不能直接应用于雷达信号热图中的人体目标检测。近年来，以麻省理工学院(Massachusetts Institute ofTechnology，MIT)为代表的高校对此领域进行了积极的探索。2017 年，Adib等研发了一款基于射频信号的RF
‑
Capture系统，其可以透过墙壁捕获墙后人体目标。2018年，Zhao等以RF
‑
Capture为基础，开发出一款利用WiFi无线信号进行人体目标检测、关键点定位工作的 RF
‑
Pose系统。这些开创性研究，对雷达信号热图中的人体目标检测进行了很好的尝试，但也存在不少局限，如RF
‑
Capture仅限于单人执行单一的动作(即朝设备走去)，RF
‑
Pose也只能适用于少数人群的场景。总体来看，这类方法在复杂的环境还无法获得较高的准确率。

技术实现思路

[0004]针对上述问题，本专利技术提出了一种面向雷达信号热图的人体目标检测方法，同时使用了水平、垂直热图输入，并引入残差网络ResNet (ResidualNetwork)以提升识别性能。该方法基于残差网络ResNet，并采用雷达信号热图作为网络输入。与视频图像相比，热图可从水平、垂直双向视角展示目标信息，并有效去除了冗余背景，更加直观。为简化训练过程，该方法对热图输入进行了预处理，在整合网络输入参数、重组热图图像数据的同时，也有助于提升训练效率、减少训练时间。在训练模型中，该方法提取残差网络输出的特征，并依靠网络末端的特征矩阵重构操作，对水平、垂直热图特征进行融合，以进一步提高特征提取效果。
[0005]面向雷达信号热图的人体目标检测方法，包括如下步骤：
[0006]步骤1：数据预处理；所述数据包含射频数据以及视频数据，所述射频数据是通过多天线阵列发出射频信号，信号在目标区域内接触目标并反射回原点，根据反射信号得到垂直和水平双向的目标空间信息，以此构建信号热图原始数据，然后进行降噪、裁剪和标记；由于原始数据是将每帧雷达信号直接获取后生成的数值矩阵，其中第2、 4、6、8维度代表水平方向数据，第1、3、5、7维度代表垂直方向数据，将其分别取出后，使用图像傅里叶变换进行处理，得到热图矩阵，并由此形成水平、垂直热图数据集；所述视频数据是使用深度摄像头对目标场景进行同步录制得到的视频，并使用Faster R
‑
CNN网络，对录制的视频图像进行目标识别存储及人体框图提取，为后续的网络训练构建标签集；1[0007]步骤2：构建基于ResNet
‑
34的特征提取网络；根据ResNet网络中的残差块结构，进行特征提取网络构建：将ResNet
‑
34的网络结构作为主网络，残差块选用Basic Block类型，残差块的数量集设置为[3, 4,6,3]，其中的数值表示每个残差网络的Layer中包含的残差块数；该网络用于提取特征矩阵，以便后续的网络处理；
[0008]步骤3：重构特征矩阵；在特征提取网络后建立后续网络架构，经过矩阵拉平、变形操作，以及全连接层，对特征矩阵进行重构，以完善特征矩阵；
[0009]步骤4：融合水平、垂直热图特征；将上述步骤中获得的特征矩阵进行融合操作；由于热图分为水平、垂直两个数据块，经过两种热图的特征融合后获取到框图数据矩阵；步骤3与步骤4共同构建的额外网络架构称为后置网络，其针对特征提取网络的输出进行处理；
[0010]步骤5：构建目标检测框；利用后置网络输出的框图数据矩阵，对原始图像进行图像分割操作，以实现人体目标检测的可视效果。
[0011]进一步地，所述方法包括如下步骤：步骤1中，视频数据通过 Fast R
‑
CNN网络生成标签数据并进行批处理操作，从而提取出每张原图像的目标检测回归框坐标，最后通过Pytorch的DataLoader方法，将回归框坐标数据转换成Tensor数据类型，得到标签集。
[0012]进一步地，步骤1中，信号热图原始数据需要进行白噪声去除以完成降噪处理，白噪声一般为数据接近0或与周围相比偏低的数值，完成上述操作后再将热图数据转换为数值矩阵；为了完成原始数据的裁剪和标记工作，将各个数据帧所生成的数值矩阵进行裁剪和压缩，使其适用于步骤2的网络输入；并将表示水平数据的矩阵与垂直数据的矩阵分别进行标记和区分。最后，将处理后的数据按照8:2的比例切分为训练集和测试集。
[0013]进一步地，步骤1中，对于生成的标签集、训练集及测试集，使用Pytorch机器学习库进行数据封装，最终生成封装后的DataLoader 以待网络加载。
[0014]进一步地，步骤2中，所述特征提取以四个Layer作为主要架构，并辅以上下两个不同的池化层；对于网络输入，首先使用第一个卷积层及池化层进行特征图的缩放，随后进入由四个Layer构成的主单元，每一个Layer均由数个残差块组成，主单元中每两个卷积层通过映射连接的形式构成一个残差块结构；对于网络输出，通过全局平均池化层处理。
[0015]进一步地，步骤2中，本网络使用的残差块类型为Basic Block，每一个残差块由两个3x3卷积层构成。
[0016]进一步地，步骤3中，对于水平热图和垂直热图，通过步骤2可以分别获取到两个特征矩阵Out1、Out2，对特征矩阵进行重构处理；首先经过针对多维数据的Flat本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.面向雷达信号热图的人体目标检测方法，其特征在于：所述方法包括如下步骤：步骤1：数据预处理；所述数据包含射频数据以及视频数据，所述射频数据是通过多天线阵列发出射频信号，信号在目标区域内接触目标并反射回原点，根据反射信号得到垂直和水平双向的目标空间信息，以此构建信号热图原始数据，然后进行降噪、裁剪和标记；由于原始数据是将每帧雷达信号直接获取后生成的数值矩阵，其中第2、4、6、8维度代表水平方向数据，第1、3、5、7维度代表垂直方向数据，将其分别取出后，使用图像傅里叶变换进行处理，得到热图矩阵，并由此形成水平、垂直热图数据集；所述视频数据是使用深度摄像头对目标场景进行同步录制得到的视频，并使用Faster R
‑
CNN网络，对录制的视频图像进行目标识别存储及人体框图提取，为后续的网络训练构建标签集；步骤2：构建基于ResNet
‑
34的特征提取网络；根据ResNet网络中的残差块结构，进行特征提取网络构建：将ResNet
‑
34的网络结构作为主网络，残差块选用Basic Block类型，残差块的数量集设置为[3,4,6,3]，其中的数值表示每个残差网络的Layer中包含的残差块数；该网络用于提取特征矩阵，以便后续的网络处理；步骤3：重构特征矩阵；在特征提取网络后建立后续网络架构，经过矩阵拉平、变形操作，以及全连接层，对特征矩阵进行重构，以完善特征矩阵；步骤4：融合水平、垂直热图特征；将上述步骤中获得的特征矩阵进行融合操作；由于热图分为水平、垂直两个数据块，经过两种热图的特征融合后获取到框图数据矩阵；步骤3与步骤4共同构建的额外网络架构称为后置网络，其针对特征提取网络的输出进行处理；步骤5：构建目标检测框；利用后置网络输出的框图数据矩阵，对原始图像进行图像分割操作，以实现人体目标检测的可视效果。2.根据权利要求1所述的面向雷达信号热图的人体目标检测方法，其特征在于：所述方法包括如下步骤：步骤1中，视频数据通过Fast R
‑
CNN网络生成标签数据并进行批处理操作，从而提取出每张原图像的目标检测回归框坐标，最后通过Pytorch的DataLoader方法，将回归框坐标数据转换成Tensor数据类型，得到标签集。3.根据权利要求1所述的面向雷达信号热图的人体目标检测方法，其特征在于：步骤1中，信号热图原始数据需要进行白噪声去除以完成降噪处理，白噪声一般为数据接近0或与周围相比偏低的...

【专利技术属性】
技术研发人员：郭剑，承文杰，王菁，孙苏云，尚红梅，相亚杉，陈入钰，韩崇，王娟，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：