一种基于FMCW雷达的三参数融合数据集构建方法技术

本发明专利技术公布了一种基于FMCW雷达的三参数融合数据集构建方法。首先，根据实际应用场景设计数据集规模，并确定FMCW雷达前端参数；其次，对采集的雷达信号进行时频分析，并对雷达目标的距离、多普勒和角度参数的估计，构造距离‑时间图数据集、多普勒‑时间图数据集和角度‑时间图数据集；然后，对构造的数据集中的图像样本进行数据清洗和归一化操作，并建立多参融合数据集。本发明专利技术创新地提出将雷达探测到的目标距离、多普勒和角度参数进行了融合，可作为具有多参数输入需求的机器学习或深度学习算法的多参数融合数据集。

【技术实现步骤摘要】
一种基于FMCW雷达的三参数融合数据集构建方法
本专利技术涉及雷达信号处理和人体动作识别领域，特别涉及一种基于FMCW雷达的三参数融合数据集构建方法。
技术介绍
随着人工智能的迅猛发展，目前在人体动作识别领域，常见的方法是通过计算机视觉的方法采集人体运动数据，然后利用图像处理和深度学习技术对人体动作进行检测和识别。传统的计算机视觉方法一般采用RGB摄像头、红外摄像头或深度摄像头等传感器进行数据采集，通过拍摄的图像或视频数据对人体动作信息进行描述。然而，基于图像视觉采集的摄像头器不能提供深度信息，缺乏空间尺度上对手势描述的信息，并且对于光线过于敏感，无法在强光或黑暗的情况下正常工作；深度传感器是通过测量信号飞行时延TOF(Timeofflight)对距离进行估计，从而得到空间距离信息，但深度传感器在室外条件下易受强光影响，不具有可靠性。另一方面，基于图像视觉的传感器为了有效识别用户的动作信息，会持续不断地对用户进行监控，这将导致用户隐私泄露的问题。实际上，雷达传感器具有弥补传统传感器的优势和特点。利用基于FMCW原理的毫米波雷达传感器进行人体动作数据采集，一方面可避免非正常光线造成的干扰，并有效保护用户的隐私。另一方面，雷达传感器可以探测到人体动作发生的距离、速度和角度，通过时间尺度的累积，可以充分挖掘人体动作的空间结构信息和时序动作信息。综上所述，本专利技术提出了一种基于FMCW雷达的三参数融合数据集构建方法。
技术实现思路
基于上述现有动作识别技术中数据集构建方法的不足，本专利技术提供了一种基于FMCW雷达的三参数融合数据集构建方法，本专利技术创新地提出将雷达探测到的目标距离、多普勒和角度参数进行融合作为数据集。此外，本专利技术相比较于传统方法能够更加全面地描述探测目标，适用范围更广，鲁棒性更强。本专利技术所采用的技术方案为：一种基于FMCW雷达的三参数融合数据集构建方法，具体包括以下步骤：1)根据实际应用场景，设计数据集的数量规模为Nclass×Nper_class，Nclass是动作种类数，Nper_class是每类动作包含的数据样本个数。并确定FMCW雷达的线性调频信号参数，雷达射频信号频点为fHF，带宽为B，采集过程中每个数据的帧数为Nframes，每帧数据的扫频个数为L，每个扫频时长为Tc。雷达对差拍信号采样率为Fs，每个扫频内采样点数为K＝Fs·Tc。雷达的距离分辨率为dres＝c/2B，则雷达距离量程为dmax＝Kc/2B。雷达的多普勒分辨率为fd-res＝λfHF/2cLTc，则雷达可测量的最大多普勒频偏值为D＝Lfd-res/22)利用FMCW雷达采集中频信号时域数据，每类动作采集nNper_class个数据，共得到nNclassNper_class个雷达信号原始数据，n为大于1的数。3)估计同一雷达目标的距离、多普勒和角度参数，通过多帧累积构造距离-时间图、多普勒-时间图和角度-时间图。3a)构建距离-时间图。在差拍信号中的一帧数据中，对单个扫频信号sIF(t)进行1D-FFT分析得到频谱SIF(f)，对于雷达探测到的第k个点目标而言，在频谱上对应的回波频点为根据式(1)对目标距离进行估计：其中，第k个目标所对应的距离值为Rk。通过对一帧数据内的L个扫频依次进行距离估计，得到L组距离估计结果，并将多组估计结果取均值得到距离估计谱然后，对一个雷达信号数据内的Nframes帧的数据依次进行距离估计，并将每帧数据对应的距离估计谱在时间域上进行累积，最终得到距离-时间图。3b)构建多普勒-时间图。对差拍信号的一帧数据进行2D-FFT分析得到距离-多普勒图，由矩阵MRD描述：其中，p(k,fd)表征在距离单元为k、多普勒频偏为fd的像素点幅值，Dmax表示多普勒的最大频偏值。根据步骤3a)中的距离估计谱R进行谱峰搜索，得到回波能量最大的距离单元Rins：其中，ins表示距离Rins处对应的k值。通过在距离-多普勒图MRD中对距离单元Rins处多普勒域的搜索，得到多普勒估计谱然后，对一个雷达信号数据内的Nframes帧的数据依次进行多普勒估计谱的计算，并将每帧数据对应的多普勒估计谱在时间域上进行累积，最终得到多普勒-时间图。3c)构建角度-时间图。对于对差拍信号的一帧数据，时域信号可以表示为：其中，假设雷达前方存在k个目标。对于第k个目标而言，A(k)表示回波幅值，和分别表示回波飞行时延和多普勒频移，表示中频信号频率。由于FMCW雷达具有NT个发射天线和NR个接收天线，则雷达可以接收到NTNR路信号。考虑到雷达信号在自由空间传播过程中会受到噪声影响，信号模型可以表示为：s(m,t)＝sIF(m,t)+n(m,t)(5)其中，m＝1,2,...,NTNR表示不同的接收天线阵元，sIF(m,t)和n(m,t)分别表示第m路的中频信号分量和噪声分量。对信号s(m,t)以Fs的采样率对s(m,t)采样后得到离散信号s(m,l)，可以表示为：其中，l＝0,1,2,...,L-1，采样满足关系L＝Tc·Fs。于是，构造出由NTNR路信号和L个快拍的信号矩阵S，可以表示为：基于信号矩阵S，使用MUSIC算法对空间谱进行搜索。将角度搜索范围设置为[-ψ,ψ]，可以得到角度估计谱其中A(θ)为角度θ时的幅值。然后，对一个雷达信号数据内的Nframes帧的数据依次进行角度估计谱的计算，并将每帧数据对应的角度估计谱在时间域上进行累积，最终得到角度-时间图。4)对步骤2)中nNlcaspeNr_lcas个雷达信号原始数据，逐个进行步骤3)中的距离-时间图、多普勒-时间图和角度时间图的构造，得到距离-时间图数据集、多普勒-时间图数据集和角度-时间图数据集。5)对步骤4)中得到的距离-时间图数据集、多普勒-时间图数据集和角度-时间图数据集进行数据清洗和数据归一化。5a)对数据进行清洗。首先，对每个数据集中的每张图像进行观察，标记无效和损坏的图像数据，并将对应的雷达原始数据删除，最终得到更新后的样本不均衡的雷达信号数据集。其次，统计每类数据的个数，如果该类数据个数小于Nper_class，则在该类数据中进行重采样，将该类数据总量补充至Nper_class个。如果该类数据个数大于Nper_class，则在该类数据中进行随机采样，将该类数据总量削减为Nper_class个。从而，得到更新后样本均衡的雷达信号数据集。然后，在样本均衡的雷达信号数据集中，对每个数据重新生成距离-时间图、多普勒-时间图和角度-时间图。最终，整理得到数据清洗过后距离-时间图数据集、多普勒-时间图数据集和角度-时间图数据集。5b)对数据进行归一化。首先，对每个样本都进行离差标准化。具体地，基于数据清洗过后的数据集，对每个图像数据进行如式(8)描述的数值缩放操作。其中，具有R行和L列的像素点构成了矩阵X，xi,j表示原始像素值，表示更新过后像素值。通过缩放操作，图像中每一个像素值均落在[-1,1]的区间内。然后，对每个数据集中的每个数据进行均值消减。具体地，对每种数据集中每个图像样本Xn进行式(9)中描述的均值消减操作。其中，Xn表示原始图像样本，表示均值消减后的图像样本。最后，对数据集中所有样本进行图像尺寸归一化。将数据集中图像尺寸约定为H×W，对图像尺寸小于H×W本文档来自技高网...

【技术保护点】
1.一种基于FMCW雷达的三参数融合数据集构建方法，其特征在于，包括以下步骤：1)根据实际应用场景，设计数据集的数量规模为Nclass×Nper_class，Nclass是动作种类数，Nper_class是每类动作包含的数据样本个数；并确定FMCW雷达的线性调频信号参数，雷达射频信号频点为fHF，带宽为B，采集过程中每个数据的帧数为Nframes，每帧数据的扫频个数为L，每个扫频时长为Tc；雷达对差拍信号采样率为Fs，每个扫频内采样点数为K＝Fs·Tc；雷达的距离分辨率为dres＝c/2B，则雷达距离量程为dmax＝Kc/2B；雷达的多普勒分辨率为fd‑res＝λfHF/2cLTc，则雷达可测量的最大多普勒频偏值为D＝Lfd‑res/2；2)利用FMCW雷达采集中频信号时域数据，每类动作采集nNper_class个数据，共得到nNclassNper_class个雷达信号原始数据，n为大于1的数；3)估计同一雷达目标的距离、多普勒和角度参数，通过多帧累积构造距离‑时间图、多普勒‑时间图和角度‑时间图；4)对步骤2)中nNclassNper_class个雷达信号原始数据，逐个进行步骤3)中的距离‑时间图、多普勒‑时间图和角度时间图的构造，得到距离‑时间图数据集、多普勒‑时间图数据集和角度‑时间图数据集；5)对步骤4)中得到的距离‑时间图数据集、多普勒‑时间图数据集和角度‑时间图数据集进行数据清洗和数据归一化；6)基于步骤5)中归一化过后的结果，将距离‑时间图数据集、多普勒‑时间图数据集和角度‑时间图数据集中源于同一雷达信号数据的文件名修改为不同的参数名称、相同的类别序号和样本序号，如RTM_class01_seq01.jpg、DTM_class01_seq01.jpg和ATM_class01_seq01.jpg；7)遍历三个数据集，生成融合数据集的索引文件；具体地，根据步骤6)中命名的样本序号生成一个清单，清单中每个元素分别包含以下信息：样本序号，样本类别，样本参数类别以及样本数据存储地址，通过索引文件就能访问融合数据集中任何样本；从而，完成基于距离、多普勒和角度估计的多参数融合数据集构建。...

【技术特征摘要】
1.一种基于FMCW雷达的三参数融合数据集构建方法，其特征在于，包括以下步骤：1)根据实际应用场景，设计数据集的数量规模为Nclass×Nper_class，Nclass是动作种类数，Nper_class是每类动作包含的数据样本个数；并确定FMCW雷达的线性调频信号参数，雷达射频信号频点为fHF，带宽为B，采集过程中每个数据的帧数为Nframes，每帧数据的扫频个数为L，每个扫频时长为Tc；雷达对差拍信号采样率为Fs，每个扫频内采样点数为K＝Fs·Tc；雷达的距离分辨率为dres＝c/2B，则雷达距离量程为dmax＝Kc/2B；雷达的多普勒分辨率为fd-res＝λfHF/2cLTc，则雷达可测量的最大多普勒频偏值为D＝Lfd-res/2；2)利用FMCW雷达采集中频信号时域数据，每类动作采集nNper_class个数据，共得到nNclassNper_class个雷达信号原始数据，n为大于1的数；3)估计同一雷达目标的距离、多普勒和角度参数，通过多帧累积构造距离-时间图、多普勒-时间图和角度-时间图；4)对步骤2)中nNclassNper_class个雷达信号原始数据，逐个进行步骤3)中的距离-时间图、多普勒-时间图和角度时间图的构造，得到距离-时间图数据集、多普勒-时间图数据集和角度-时间图数据集；5)对步骤4)中得到的距离-时间图数据集、多普勒-时间图数据集和角度-时间图数据集进行数据清洗和数据归一化；6)基于步骤5)中归一化过后的结果，将距离-时间图数据集、多普勒-时间图数据集和角度-时间图数据集中源于同一雷达信号数据的文件名修改为不同的参数名称、相同的类别序号和样本序号，如RTM_class01_seq01.jpg、DTM_class01_seq01.jpg和ATM_class01_seq01.jpg；7)遍历三个数据集，生成融合数据集的索引文件；具体地，根据步骤6)中命名的样本序号生成一个清单，清单中每个元素分别包含以下信息：样本序号，样本类别，样本参数类别以及样本数据存储地址，通过索引文件就能访问融合数据集中任何样本；从而，完成基于距离、多普勒和角度估计的多参数融合数据集构建。2.根据权利要求1所述的一种基于FMCW雷达的三参数融合数据集构建方法，其特征在于：所述步骤3)中对距离-时间图、多普勒-时间图和角度-时间图的构建，具体包括：3a)构建距离-时间图；在差拍信号中的一帧数据中，对单个扫频信号sIF(t)进行1D-FFT分析得到频谱SIF(f)，对于雷达探测到的第k个点目标而言，在频谱上对应的回波频点为根据式(1)对目标距离进行估计：其中，第k个目标所对应的距离值为Rk；通过对一帧数据内的L个扫频依次进行距离估计，得到L组距离估计结果，并将多组估计结果取均值得到距离估计谱然后，对一个雷达信号数据内的Nframes帧的数据依次进行距离估计，并将每帧数据对应的距离估计谱在时间域上进行累积，最终得到距离-时间图；3b)构建多普勒-时间图；对差拍信号的一帧数据进行2D-FFT分析得到距离-多普勒图，由矩阵MRD描述：其中，p(k,fd)表征在距离单元为k、多普勒频偏为fd的像素点幅值，Dmax表示多普勒的最大频偏值；根据步骤3a)中的距离估计谱R进行谱峰搜索，得到回波能量最大的距离单元Rins：其中，ins表示距离Rins处对应的k值；...

【专利技术属性】
技术研发人员：田增山，吴金君，王勇，周牧，杨小龙，聂伟，谢良波，何维，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50