基于多频融合深度学习的雷达步态识别方法技术

本发明专利技术公开了一种基于多频融合深度学习的雷达步态识别方法，采用多频谱图融合的思想将多个频点的时频图信息融合到一张时频图中，其主要原理是运用引导滤波器将所有时频图分解为不含噪声的基础层以及包含大量噪声和细节等高频信息的细节层，然后对获得的细节层和基础层分别处理后再重组以获取时频图融合图像。此后运用卷积神经网络来提取该图像中的特征并用稀疏自编码器选择用于分类的最佳特征组合，再将其送入到分类器中即可完成分类。本发明专利技术的优势在于采用多频谱图融合的思想广泛减少神经网络的构建复杂度，同时提升模型的准确率，具有识别精度高，运行速度快，抗噪性能好等优势，因此能广泛的运用于实际中步态实时检测。

【技术实现步骤摘要】
基于多频融合深度学习的雷达步态识别方法
本专利技术涉及一种雷达步态的分类方法，尤其涉及一种基于多频融合深度学习的雷达步态识别方法。
技术介绍
在人体步态识别领域，为了实现人体步态的分类，其主要实现方式有两种，基于机器学习和基于深度学习的方式。基于机器学习的方式主要是通过对雷达的回波数据分析获得人体的微多普勒谱图，再从获得的微多普勒谱图中人工提取特征，然后将该特征用于步态分类。但是由于人的主观性和受到专业知识领域的局限，导致所提取的特征不能完美的表达图像中所蕴含的信息，最终往往导致分类效果差或模型的鲁棒性差，不具有实用性。近年来，深度学习的兴起完美的解决了机器学习中的特征提取问题。它能根据分类任务自动提取图像中与分类有关的所有特征组合。从而极大程度的提升了步态识别准确性，但是随着研究的深入，渐渐发现单个频点的时频图所蕴含的信息往往有限，它限制了准确率的进一步提高。为了解决这个问题，学术界提出了结合多域的方法，这让准确率有了进一步的提升。但是目前却几乎不采用多频的方法。其原因主要有以下两点：(1)相邻频点时频图相似度极高，只有边缘存在微小的变化，无法以有效方式提取这些微小细节中蕴含的信息。(2)采用并行输入的深度学习的方式来提取这些特征，往往由于输入的时频图数量庞大致使网络复杂度极高，从而导致网络难以训练，或无法训练。
技术实现思路
本专利技术的目的就在于提供一种解决上述问题，能运用图像融合算法将获得的多个频点的时频图信息融合到一张时频图中，广泛减少神经网络的构建的复杂度的同时提升模型的准确率，从而极大程度的减小对硬件资源的需求同时做到实时检测的效果的基于多频融合深度学习的雷达步态识别方法。为了实现上述目的，本专利技术采用的技术方案是这样的：一种基于多频融合深度学习的雷达步态识别方法，包括以下步骤：(1)采用频率步进连续波雷达对人体多种不同步态进行n次采样，记录每次采样的步态类别，每次采样得到一个步态样本，所述样本为N×M的矩阵，其中，N为采样周期个数，M为一个采样周期中步进频率的个数，n次采样得到一数据集X,X＝{Xi∈RN×M|i＝1,2,…,n}所述R表示复数，N×M为矩阵维数，Xi为X中第i个样本；(2)将每个Xi的每一列的数据进行平均对消运动滤波，得到矩阵Pi，则数据集X中所有样本进行平均对消运动滤波后构成数据集PP＝{Pi∈RN×M|i＝1,2,…,n}；(3)将每个Pi中的每一列数据进行短时傅里叶变换，得到M个频率的时频图集合则数据集P中所有样本的时频图集合构成数据集其中表示第i个样本的第j个频率点的时频图；(4)采用引导滤波器对Ai中的所有时频图进行滤波，得到该样本所有时频图的基础层集合其中表示第i个样本的第j个频点的时频图基础层，则数据集A中所有样本滤波后的基础层集合构成数据集(5)根据公式计算第i个样本的第j个频点的时频图细节层并将进行自适应增强去噪处理和高斯滤波，形成第i个样本的第j个频点的新时频图细节层则所有样本所有频点的新时频图细节层构成数据集(6)根据公式将第i个样本的所有新时频图细节层叠加形成融合图像细节层Fi，则所有样本的融合图像细节层构成数据集F＝{Fi|i＝1,2,...n}；(7)根据公式将Bi中所有频点的时频图基础层进行像素加权平均运算，得到第i个样本的融合图像基础层Gi，则所有样本的融合图像基础层构成数据集G＝{Gi|i＝1,2,...n}；(8)根据公式Ii＝Gi+Fi将第i个样本的融合图像细节层Fi和融合图像基础层Gi叠加形成第i个样本的融合图像Ii，则所有样本的融合图像构成数据集I＝{Ii|i＝1,2,...n}；(9)建立用于提取融合时频图的深度卷积神经网络，用融合图像构成数据集I训练该网络，得到步态识别模型。作为优选：步骤(4)中，引导滤波器采用下式对Ai中的所有时频图进行滤波，其中表示第i个样本的第j个频点的时频图基础层中，第x行第y列的像素点,WP(x′,y′)表示引导滤波器的核函数，其可通过以下方式获得：其中w是窗口wx′,y′中所包含像素值的数量，ε是一个用来描述滤波器的过滤程度的正则化参数。作为优选：步骤(5)中，采用下式进行自适应增强去噪，其中为输入的时频图细节层，a,b为线性系数，δ是一个用来描述对的增强去噪的程度的正则化参数。作为优选：所述用于步态识别的深度卷积神经网络，包括卷积层，池化层、稀疏自编码器和softmax分类器，其中融合图像经卷积层，池化层后得到该融合图像的特征表示，然后用稀疏自编码器选择卷积层提取的特征中用于步态识别的最佳特征组合，softmax分类器用于接受来自稀疏自编码器获取的最佳特征组合来输出分类结果。与现有技术相比，本专利技术的优点在于：(1)人体对不同频率的电磁波有着不同的散射特性，多频率的雷达回波信息能更加完全的反映人体姿态。为此通过频率步进连续波雷达来采集步态样本，并进行平均对消运动滤波、短时傅里叶变换，便能得到所有样本的多频率时频谱图集合，为此只要利用该样本的多频率时频谱图集合中的信息，便能获得更高步态识别准确率。(2)采用引导滤波器将时频图集合细分为细节层和基础层，并对其分别进行处理，做到保留大部分信息的同时，只对部分小细节进行操作，让信息极大程度的保留在融合图像中。其中步骤(4)得到基础层，步骤(5)得到细节层，由于基础层不包含任何高频或细节信息，因此我们只需将其简单的进行像素加权平均就可完成基础层的融合，由于细节层包含大量细节和噪声等高频信息，所以需要对细节层进行自适应增强去噪处理和高斯滤波；(3)通过步骤(6)将细节层累加得到我们需要的融合图像细节层，通过步骤(7)将基础层像素加权平均得到我们需要的融合图像基础层，最终只需要组合融合后的细节层和基础层即可获得最终的融合时频图。与此同时由于内部的线性均分融合机制，该方法能自适应的滤除或减弱时频图中噪声特征边缘。此后再通过深度卷积神经网络来完成步态识别，具有精度高，抗噪性能好，运算速度快等优势，因而具有广泛的实用性。经过本方法构建了一种基于步进频连续波雷达的步态识别模型，通过该模型输出步态的类别。实际操作时，只需要输入待测的未知步态，就可以识别出步态类型。附图说明图1为本专利技术流程图；图2a为实施例2中采集到正常行走的步态经步骤(3)处理后的时频图；图2b为实施例2中采集到弓腰行走的步态经步骤(3)处理后的时频图；图2c为实施例2中采集到匍匐前进的步态经步骤(3)处理后的时频图；图3a为图2a经步骤(4)处理后的基础层；图3b为图2b经步骤(4)处理后的基础层；图3c为图2c经步骤(4)处理后的基础层；图4a为图2a经步骤(5)处理后的细节层；图4b为图2b经步骤(5)处理后的细节层；图4c为图2c经步骤(5)处理后的细节层；图5a为图2a经步骤(5)处理后的新时频图细节层；图5b为图2b经步骤(5)处理后的细节层；图5c为图2c经步骤(5)处理后的细节层；图6a为正常行走的步态的融合基础层；图6b为正常行走的步态的融合细节层；图6c为正常行走的步态的融合图像；图7为深度卷积神经网络结构图；图8为深度卷积神经网络结构图的训练结果。具体实施方式下面将结合附图对本专利技术作进一步说明。实施例1：参见图1，一种基于多频融合深度学习的雷达步态识别方法，包括以下步骤：(1)采本文档来自技高网...

【技术保护点】
1.一种基于多频融合深度学习的雷达步态识别方法，其特征在于：包括以下步骤：(1)采用频率步进连续波雷达对人体多种不同步态进行n次采样，记录每次采样的步态类别，每次采样得到一个步态样本，所述样本为N×M的矩阵，其中，N为采样周期个数，M为一个采样周期中步进频率的个数，n次采样得到一数据集X,X＝{Xi∈RN×M|i＝1,2,…,n}所述R表示复数，N×M为矩阵维数，Xi为X中第i个样本；(2)将每个Xi的每一列的数据进行平均对消运动滤波，得到矩阵Pi，则数据集X中所有样本进行平均对消运动滤波后构成数据集PP＝{Pi∈RN×M|i＝1,2,…,n}；(3)将每个Pi中的每一列数据进行短时傅里叶变换，得到M个频率的时频图集合

【技术特征摘要】
1.一种基于多频融合深度学习的雷达步态识别方法，其特征在于：包括以下步骤：(1)采用频率步进连续波雷达对人体多种不同步态进行n次采样，记录每次采样的步态类别，每次采样得到一个步态样本，所述样本为N×M的矩阵，其中，N为采样周期个数，M为一个采样周期中步进频率的个数，n次采样得到一数据集X,X＝{Xi∈RN×M|i＝1,2,…,n}所述R表示复数，N×M为矩阵维数，Xi为X中第i个样本；(2)将每个Xi的每一列的数据进行平均对消运动滤波，得到矩阵Pi，则数据集X中所有样本进行平均对消运动滤波后构成数据集PP＝{Pi∈RN×M|i＝1,2,…,n}；(3)将每个Pi中的每一列数据进行短时傅里叶变换，得到M个频率的时频图集合则数据集P中所有样本的时频图集合构成数据集其中表示第i个样本的第j个频率点的时频图；(4)采用引导滤波器对Ai中的所有时频图进行滤波，得到该样本所有时频图的基础层集合其中表示第i个样本的第j个频点的时频图基础层，则数据集A中所有样本滤波后的基础层集合构成数据集(5)根据公式计算第i个样本的第j个频点的时频图细节层并将进行自适应增强去噪处理和高斯滤波，形成第i个样本的第j个频点的新时频图细节层则所有样本所有频点的新时频图细节层构成数据集(6)根据公式将第i个样本的所有新时频图细节层叠加形成融合图像细节层Fi，则所有样本的融合图像细节层构成数据集F＝{Fi|i＝1,2,...n}；(7)根据公式将Bi中所有频点的时频图基础层进行像素加权平均运算，得到第i个样本的融合图像基础...

【专利技术属性】
技术研发人员：贾勇，宋瑞源，王刚，晏超，李权，钟晓玲，郭勇，
申请(专利权)人：成都理工大学，
类型：发明
国别省市：四川,51