一种基于时空特征融合的步态分类方法技术

本发明专利技术涉及一种基于时空特征融合的步态分类方法，首先对步态视频进行随机稀疏时序采样得到时序步态图像集，并在此基础上，通过对时序增强子网络和残差子网络的输出融合大幅度提升了对空间维度和时间维度上步态信息的提取能力，从而缓解了步态视频采集视角变化和着装不同等因素对步态特征提取的干扰，有效地提升了步态分类的正确率。

【技术实现步骤摘要】
一种基于时空特征融合的步态分类方法
本专利技术涉及人工智能
，具体涉及一种基于时空特征融合的步态分类方法。
技术介绍
步态作为人类生物特征的重要成员之一，与人脸、指纹、虹膜等其它生物特征相比，具有易于远距离采集、无需被识别对象刻意配合、难以长时间伪装等优点，因此，步态分类是人类身份识别应用领域中的重要技术。然而，由于步态视频采集视角的变化和被识别者着装的差异等因素的影响，基于步态的身份识别仍然面临着诸多挑战，其分类和识别的正确率难以达到实际应用的要求。
技术实现思路
针对现有的步态分类的不足，本专利技术提出一种基于时空特征融合的步态分类方法，该方法将深度学习技术融入到步态特征的提取过程中，用以解决步态分类过程中由于视频采集视角变化和着装差异造成的识别率不足的问题。本专利技术的目的通过如下的技术方案来实现：一种基于时空特征融合的步态分类方法，该方法具体包括如下步骤：S1：根据帧率对输入步态视频进行随机稀疏时序采样，具体如下：将输入步态视频划分为长度为采样间隔FC的等长图像分组，得到时序步态图像{f1,f2,…,fG}，其中，G为图像分组的个数，FC＝B×F0/FB，B为基准采样间隔，F0为输入步态视频的帧率，FB为基准帧率；S2：随机抽取图像分组中的一个样本进行如下的预处理：(1)通过高斯背景建模，对人体区域进行粗略分割；(2)对粗略分割的人体区域再经过滤波和形态学操作，得到完整的二值化人体区域图像；(3)将所述的完整的二值化人体区域图像进行规范化处理，即尺寸调整和中心对齐，减少步态图像的类内差异；S3：对规范化处理后的二值化图像进行时空步态特征的提取，具体如下：通过时序增强子网络提取时序步态特征：计算相邻时序特征图之间的差异向量来刻画不同人的步态在时间维度上的属性，再将差异向量输入激活函数得到特征图，最后将所得特征图与规范化处理后的二值化图像相乘来增强步态特征的时序信息；通过残差子网络提取空间步态特征：利用带有短路链接支路的残差子网络提取时序步态图像集中的空间特征；S4：重复执行S2～S3，分别对时序增强子网络和残差子网络进行离线训练，并采用交叉熵函数分别计算两个子网络的损失，当损失小于设定的损失阈值时，完成训练，得到训练好的两个子网络以及各自的残差；S5：取两个子网络的残差的倒数作为权重因子，将两个训练好的子网络进行加权平均融合，得到时空步态特征提取融合网络；S6：对待测试的步态视频执行S1～S3，分别得到两个子网络输出的时序步态特征和空间步态特征，然后输入S5得到的时空步态特征提取融合网络，从而得到输出的步态分类。进一步地，所述的S2中将完整的二值化人体区域图像进行规范化处理的步骤具体如下：(1)在保持图像纵横比不变的前提下，对人体区域进行平移操作，以人体躯干部分的垂直轴线位置为参考，对二值化图像进行中心对齐处理；(2)在保持人体躯干部分的垂直轴线位于图像中心位置的前提下，先调整图像的优势维度，再将另一维度两侧等量扩展并填充背景色；所述的优势维度为在保持纵横比对图像进行放大操作时先达到目标尺寸的维度，或者在保持纵横比对图像进行缩小操作时，后达到目标尺寸的维度。本专利技术的有益效果如下：本专利技术提供的基于时空特征融合的步态分类方法采用了深度学习技术，通过融合时序增强子网络提取的时序步态特征和残差子网络提取的空间步态特征，更好地刻画了不同人步态的内在差异，从而提升了步态分类的正确率，推动了步态分类技术在身份识别领域的实际应用。附图说明图1为本专利技术的基于时空特征融合的步态分类方法的流程图；图2为时空步态特征提取网络结构图；图3为时序步态图像的规范化处理示意图。具体实施方式下面根据附图和优选实施例详细描述本专利技术，本专利技术的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1和2所示，本专利技术的基于时空特征融合的步态分类方法具体包括如下步骤：S1：根据帧率对输入步态视频进行随机稀疏时序采样，具体如下：将输入步态视频划分为长度为采样间隔FC的等长图像分组，得到时序步态图像{f1,f2,…,fG}，其中，G为图像分组的个数，FC＝B×F0/FB，B为基准采样间隔，F0为输入步态视频的帧率，FB为基准帧率；作为其中一种实施方式，可取基准帧率FB为30帧/秒，基准采样间隔B为3帧；S2：随机抽取图像分组中的一个样本进行如下的预处理：(1)通过高斯背景建模，对人体区域进行粗略分割；(2)对粗略分割的人体区域再经过滤波和形态学操作，得到完整的二值化人体区域图像；(3)将完整的二值化人体区域图像进行规范化处理，即尺寸调整和中心对齐，减少步态图像的类内差异；作为其中一种实施方式，规范化处理的步骤具体如下：(1)在保持图像纵横比不变的前提下，对人体区域进行平移操作，以人体躯干部分的垂直轴线位置为参考，对二值化图像进行中心对齐处理；(2)在保持人体躯干部分的垂直轴线位于图像中心位置的前提下，先调整图像的优势维度，再将另一维度两侧等量扩展并填充背景色；所述的优势维度为在保持纵横比对图像进行放大操作时先达到目标尺寸的维度，或者在保持纵横比对图像进行缩小操作时，后达到目标尺寸的维度。如图3所示。S3：对规范化处理后的二值化图像进行时空步态特征的提取，具体如下：通过时序增强子网络提取时序步态特征：计算相邻时序特征图之间的差异向量来刻画不同人的步态在时间维度上的属性，再将差异向量输入激活函数得到特征图，最后将所得特征图与规范化处理后的二值化图像相乘来增强步态特征的时序信息；通过残差子网络提取空间步态特征：利用带有短路链接支路的残差子网络提取时序步态图像集中的空间特征；S4：重复执行S2～S3，分别对时序增强子网络和残差子网络进行离线训练，并采用交叉熵函数分别计算两个子网络的损失，当损失小于设定的损失阈值时，完成训练，得到训练好的两个子网络以及各自的残差；交叉熵损失函数的计算公式如下：其中，N为样本个数；yi，k为预测结果的二值函数，当预测结果正确时取值为1，否则取值为0；pi，k为第i个步态样本预测为第m个人的概率。S5：取两个子网络的残差的倒数作为权重因子，将两个训练好的子网络进行加权平均融合，得到时空步态特征提取融合网络；S6：对待测试的步态视频执行S1～S3，分别得到两个子网络输出的时序步态特征和空间步态特征，然后输入S5得到的时空步态特征提取融合网络，从而得到输出的步态分类。下面分别采用CASIA步态数据库的DatasetB数据集、OU-ISIR步态数据库的LP数据集进行步态分类正确率测试。CASIADatasetB是一个由中科院自动化研究所提供的多视角步态数据集。该数据集共包含124个人的15004个步态视频。每个人的步态分别从11个视角(0本文档来自技高网...

【技术保护点】
1.一种基于时空特征融合的步态分类方法，其特征在于，该方法具体包括如下步骤：/nS1：根据帧率对输入步态视频进行随机稀疏时序采样，具体如下：/n将输入步态视频划分为长度为采样间隔F

【技术特征摘要】
1.一种基于时空特征融合的步态分类方法，其特征在于，该方法具体包括如下步骤：
S1：根据帧率对输入步态视频进行随机稀疏时序采样，具体如下：
将输入步态视频划分为长度为采样间隔FC的等长图像分组，得到时序步态图像{f1,f2,…,fG}，其中，G为图像分组的个数，FC＝B×F0/FB，B为基准采样间隔，F0为输入步态视频的帧率，FB为基准帧率。
S2：随机抽取图像分组中的一个样本进行如下的预处理：
(1)通过高斯背景建模，对人体区域进行粗略分割；
(2)对粗略分割的人体区域再经过滤波和形态学操作，得到完整的二值化人体区域图像；
(3)将所述的完整的二值化人体区域图像进行规范化处理，即尺寸调整和中心对齐，减少步态图像的类内差异；
S3：对规范化处理后的二值化图像进行时空步态特征的提取，具体如下：
通过时序增强子网络提取时序步态特征：计算相邻时序特征图之间的差异向量来刻画不同人的步态在时间维度上的属性，再将差异向量输入激活函数得到特征图，最后将所得特征图与规范化处理后的二值化图像相乘来增强步态特征的时序信息；
通过残差子网络提取空间步态特征：利用带有短路链接支路的残差子网络提取时序步态图像...

【专利技术属性】
技术研发人员：王修晖，陈彬彬，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：浙江;33