本发明专利技术公开了一种基于多类谱图和复合卷积神经网络的人体行为识别方法，包括：通过步进频率连续波雷达对不同的人体行为采样，每次采样得到一矩阵；每个矩阵选取数个列向量，采用三种不同的时频分析方法构建谱图样本数据集；再构建一复合卷积神经网络并训练得到分类模型。本发明专利技术用具有不同特征表达的多类谱图作为输入数据，使得关于人体行为特征的表达是多样而全面的；采用本发明专利技术复合卷积神经网络进行特征提取，能充分提取单一谱图中的独立空间特征和不同谱图间的关联特征，使得特征提取充分而有效；将两种特征融合起来再送入分类器进行分类，使得分类器能充分利用不同种类的特征，提高判别正确率。提高判别正确率。提高判别正确率。
【技术实现步骤摘要】
基于多类谱图和复合卷积神经网络的人体行为识别方法
[0001]本专利技术涉及一种人体行为识别方法，尤其涉及一种基于多类谱图和复合卷积神经网络的人体行为识别方法。
技术介绍
[0002]目前，人体行为识别可通过视频监控、红外摄像、穿戴设备等方法获取数据。雷达能够克服许多其他方法所具有的缺点，且具有较强的穿透能力和良好的隐私保护性，因而得到广泛运用。通常对采集到的雷达回波信号进行时频分析，得到具有微多普勒特征的时频谱图，然后通过提取谱图中的人体行为特征进行识别分类。
[0003]其中，常用的时频分析方法包括希尔伯特
‑
黄变换、短时傅里叶变换、小波变换、威格纳分布、平滑伪威格纳分布、汉宁核减少交叉项干扰分布等。不同的时频分析方法有各自的优缺点，得到的谱图具有不同的特征和参差的表达优劣性。
[0004]在对雷达回波信号进行时频分析得到时频谱图后，需要对谱图中的相关特征进行提取。目前的特征提取方法大致可分为两类：人工提取和基于深度学习的自动提取。人工提取主要提取图像中具象的可解释特征，如使用聚类颜色直方图提取图像中的色彩特征，利用边缘提取的方法提取图像中的几何特征。基于深度学习的自动提取方法则依靠各种神经网络提取特征，再通过分类器进行分类，不需要手动提取处理特征。
[0005]综上所述，深度学习的不断发展使得基于雷达的人体行为识别受到越来越多的关注。但是，现有的雷达人体行为识别存在以下问题：(1)各种时频分析方法各有优劣，难以找到最合适的时频分析方法，造成识别正确率较低。(2)由于噪声及对人员的专业知识要求较高等问题，采用人工提取特征的方法通常无法从原始图像中提取高级判别信息，且存在效率低下的缺陷。
技术实现思路
[0006]本专利技术的目的就在于提供一种克服目前人体行为识别方法中基于单时频分析的特征表达单一和基于单网络的方法特征提取不全面的问题、手动提取特征效率低下的问题、能充分提取单一谱图中的独立空间特征和不同谱图间的关联特征，能提高判别正确率的，基于多类谱图和复合卷积神经网络的人体行为识别方法。
[0007]为了实现上述目的，本专利技术采用的技术方案是这样的：一种基于多类谱图和复合卷积神经网络的人体行为识别方法，包括以下步骤；
[0008](1)通过步进频率连续波雷达对不同的人体行为进行n次采样，记录每次采样的人体行为类别，每次采样得到一人体行为样本，所述样本为N
×
M的矩阵，其中N为脉冲周期的个数，M为一个脉冲周期中步进频率的个数，n次采样得到一数据集X，
[0009]X＝{X
i
∈R
N
×
M
|i＝1,2,
…
,n}
[0010]所述R为复数，N
×
M为矩阵维数，X
i
为X中第i个样本；
[0011](2)每个X
i
中选取S个列向量，得到n
×
S个列向量；
[0012](3)构建谱图样本数据集，包括步骤(31)
‑
(34)；
[0013](31)从n
×
S个列向量中选取1个列向量，分别用短时傅里叶变换、汉宁核减少交叉项干扰分布、和平滑伪威格纳分布进行时频分析，得到三张时频谱图；
[0014](32)将三张时频谱图分别调整至相同大小并归一化处理，得到与短时傅里叶变换、汉宁核减少交叉项干扰分布、和平滑伪威格纳分布对应的第一谱图样本、第二谱图样本和第三谱图样本，再将三张谱图堆叠成复合谱图样本，则1个列向量对应四份谱图样本；
[0015](33)依次得到n
×
S个列向量对应的四份谱图样本，且n
×
S个列向量中第j个列向量对应的四份谱图样本记为P
j
＝{P
j1
，P
j2
，P
j3
，P
j4
}，其中，P
j1
、P
j2
、P
j3
、P
j4
分别表示第j个列向量对应的第一谱图样本、第二谱图样本、第三谱图样本、复合谱图样本，且j＝1,2，
…
，n
×
S；
[0016](34)构建样本数据集P＝{P
j
|j＝1,2，
…
，n
×
S}；
[0017](4)构建一复合卷积神经网络，将样本数据集中的P
j
作为输入，以第j个列向量对应的人体行为类别为输出，训练复合卷积神经网络，得到分类模型。
[0018]作为优选：所述步骤(2)中，每个X
i
中选取P个列向量，具体为，将X
i
中的M个列向量按频率分为P段，每段中选取1个列向量。
[0019]作为优选：步骤(31)中；
[0020]所述短时傅里叶变换，采用汉宁窗作为窗函数，窗口大小设置长度为17个，重叠点数为16；
[0021]所述汉宁核减少交叉项干扰分布，采用长度为21的汉宁窗作为时域窗和频域窗；
[0022]所述平滑伪威格纳分布分别采用长度为21的汉宁窗和高斯窗作为时间窗和频率窗。
[0023]作为优选：所述步骤(32)中；
[0024]每张时频谱图调整至相同大小并归一化处理的方法为：先将时频谱图的大小处理成224
×
224
×
3的数据张量；再对数据张量除以225进行归一化处理；
[0025]将三张谱图堆叠成复合谱图样本的大小为224
×
224
×3×
3的数据张量。
[0026]作为优选：所述步骤(5)中复合卷积神经网络由第一二维卷积神经网络、第二二维卷积神经网络、第三二维卷积神经网络、三维卷积神经网络和分类器组成，第一、第二、第三二维卷积神经网络的输入分别为第一、第二、第三谱图样本，三维卷积神经网络的输入为复合谱图样本。
[0027]作为优选：第一、第二、第三二维卷积神经网络参数设置相同，且卷积核数量随着层数的增加而增长，三维卷积神经网络前4层采用每两个级联的方式，卷积核数量随着层数的增加而增长，且卷积核大小为1
×1×
3。
[0028]作为优选：所述的分类器为三层神经网络模型，包括：
[0029]输入层：用于融合三个二维卷积神经网络和三维卷积神经网络的输出；
[0030]中间层：与输入层的连接为全连接结构，采用relu作为激活函数；
[0031]输出层，用于输出最终的识别结果，采用softmax作为激活函数。
[0032]作为优选：所述步骤(6)中复合卷积神经网络训练参数学习率Lr＝0.0001，批大小为32，训练轮数为300，优化函数为Adam。
[0033]作为优选：所述人体行为类别包括跳跃、捡东西、跑步、下蹲、踏步、摆臂、投掷和行走。...
【技术保护点】
【技术特征摘要】
1.一种基于多类谱图和复合卷积神经网络的人体行为识别方法，其特征在于：包括以下步骤；(1)通过步进频率连续波雷达对不同的人体行为进行n次采样，记录每次采样的人体行为类别，每次采样得到一人体行为样本，所述样本为N
×
M的矩阵，其中N为脉冲周期的个数，M为一个脉冲周期中步进频率的个数，n次采样得到一数据集X，X＝{X
i
∈R
N
×
M
|i＝1,2,
…
,n}所述R为复数，N
×
M为矩阵维数，X
i
为X中第i个样本；(2)每个X
i
中选取S个列向量，得到n
×
S个列向量；(3)构建谱图样本数据集，包括步骤(31)
‑
(34)；(31)从n
×
S个列向量中选取1个列向量，分别用短时傅里叶变换、汉宁核减少交叉项干扰分布、和平滑伪威格纳分布进行时频分析，得到三张时频谱图；(32)将三张时频谱图分别调整至相同大小并归一化处理，得到与短时傅里叶变换、汉宁核减少交叉项干扰分布、和平滑伪威格纳分布对应的第一谱图样本、第二谱图样本和第三谱图样本，再将三张谱图堆叠成复合谱图样本，则1个列向量对应四份谱图样本；(33)依次得到n
×
S个列向量对应的四份谱图样本，且n
×
S个列向量中第j个列向量对应的四份谱图样本记为P
j
＝{P
j1
，P
j2
，P
j3
，P
j4
}，其中，P
j1
、P
j2
、P
j3
、P
j4
分别表示第j个列向量对应的第一谱图样本、第二谱图样本、第三谱图样本、复合谱图样本，且j＝1,2，
…
，n
×
S；(34)构建样本数据集P＝{P
j
|j＝1,2，
…
，n
×
S}；(4)构建一复合卷积神经网络，将样本数据集中的P
j
作为输入，以第j个列向量对应的人体行为类别为输出，训练复合卷积神经网络，得到分类模型。2.根据权利要求1所述的基于多类谱图和复合卷积神经网络的人体行为识别方法，其特征在于：所述步...
【专利技术属性】
技术研发人员：张博宙，唐珑畛，钱宇佳，贾勇，
申请(专利权)人：张博宙，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。