【技术实现步骤摘要】
本专利技术涉及计算机视觉与模式识别，具体涉及一种基于三维点云数据增强的步态识别方法。
技术介绍
1、由于步态识别精度极易受到服饰、携带物等干扰因素的影响，当前的步态识别研究仍然主要停留在实验室研究阶段，尚未在实际场景中得到广泛推广与应用。近年来，深度学习的迅速发展使图像识别领域的性能上升到了新的高度，在步态识别领域也表现出了远远超出传统步态识别方法的效果，对步态识别的产业化进程起到了重要的推动作用。但现有的步态识别数据库样本受限于视角和遮挡，对摄像机的视角和被检测者之间的遮挡非常敏感，这导致在不同拍摄条件下，例如不同的摄像机位置或被检测者之间有物体遮挡时，识别性能下降。此外识别依赖于服装和外观，对被检测者的服装和外貌变化非常敏感，如果一个人穿着不同的衣物或发型发生变化，这些方法可能会产生误判。同时对于数据的获取存在困难，通常需要特定的摄像设备和环境来采集数据，这增加了数据的获取成本和难度。另一方面，目前已有的步态识别方法主要使用图像特征进行识别，图像特征识别方法通常只关注步态的某个方面，如步态周期、步幅等。这种单一特征提取可能无法捕捉到步态的全貌，因此容易受到其他因素的干扰。由于图像特征识别方法依赖于单一特征，其鲁棒性通常有限。在复杂的环境中，它们容易受到噪声和变化的干扰，导致性能下降。因此，如何根据现有的步态训练数据生成更多抗遮挡类型下的步态训练样本，以及联合多个特征进行步态方法识别，为基于深度学习的步态识别方法提供数据支持，是提高步态识别在实际场景中的实用性和可行性的重要途径。
技术实现思路>
1、本专利技术的目的是为了解决当前步态识别方法在实际应用场景中由于步态数据库样本数量不足以及样本涉及被遮挡因素类型有限所导致的识别精度显著下降的难题，提供一种基于三维点云数据增强的步态识别方法。
2、本专利技术的目的可以通过采取如下技术方案达到：
3、一种基于三维点云数据增强的步态识别方法，所述步态识别方法包括以下步骤：
4、s1、采集步态视频得到步态数据集，对视频进行预处理操作，获得相应类别的步态序列，包括正常行走步态序列、背包行走步态序列、穿外套行走步态序列；
5、s2、生成三维人体步态数据，将处理后的一个步态序列，输入三维姿态估计网络，得到一个步态序列的三维人体步态数据，三维人体步态数据格式为6890个三维坐标点云；
6、s3、提取黑白二值图像，将s2得到的一个步态序列的三维人体步态数据，输入降维网络，得到一个步态序列的二维人体步态数据，将二维人体步态数据绘制成黑白二值图像，绘制的数据采用白色表示，背景采用黑色表示；
7、其中，所述二维人体步态数据格式为6890个二维坐标点，所述降维网络由顺序连接的5层组成，其中第4层为池化层，第5层为全连接层，其余为3×3卷积层；
8、利用最小均方值偏差损失和交叉熵损失组合训练降维网络，降低三维人体步态数据与二维人体步态数据的绝对值，使三维人体步态数据与二维人体步态数据分布相近，训练得到最小化损失函数l的值，停止训练，得到最终的二维人体步态数据，训练过程中选取adm优化器对梯度进行优化；
9、s4、提取步态点云能量图，将s2得到的三维人体步态数据，去除部分头部和躯干的2890个三维坐标点云，得到处理后的三维人体步态数据，格式为4000个三维坐标点云，将一个步态序列处理后的三维人体步态数据，经过叠加一个步态序列中所有4000个三维坐标点云，得到一个步态序列叠加后的三维人体步态数据，再使用最远距离采样fps(farthestpoint sampling,fps)对一个步态序列叠加后的三维人体步态数据计算得到一个步态序列的点云能量图(point could energy image,pcei)，公式如下：
10、
11、其中，epiei为点云能量图，步态序列帧数为n帧，pi(x,y,z,t)为第t帧的三维人体步态数据，x,y,z为三维人体步态数据中点云的坐标，fps()为最远距离采样函数；
12、s5、将s3得到的黑白二值图像输入步态识别网络进行特征提取得到二维图像步态特征，其中，所述步态识别网络的结构为顺序连接的卷积层conv-1、卷积层conv-2、卷积层conv-3、池化层maxpool-1、卷积层conv-4、卷积层conv-5、池化层maxpool-2、卷积层conv-6、卷积层conv-7，卷积层conv-3输出浅层阶段的步态特征，卷积层conv-5输出中层阶段的步态特征，卷积层conv-7输出深层阶段的步态特征，作为二维图像步态特征；
13、s6、将s4得到的点云能量图输入pointnet分类网络得到三维点云步态特征，在原pointnet分类网络第一层特征提取层前加入2个连续的卷积层conv、归一化层bn、激活函数relu，进行一次特征提取，对局部特征与全局特征的提取进行优化；pointnet网络属于现有技术，出自pointnet:deep learning on point sets for 3d classification andsegmentation论文，charles ruizhongtai qi and hao su and kaichun mo andleonidas j.guibas作者，1063-6919刊号；
14、s7、将s5获取的二维图像步态特征和s6获取的三维点云步态特征，通过concat拼接操作沿第二维通道维度执行，进行聚合输出，得到最终的步态特征；
15、s8、将最终的步态特征，与步态数据集中多个步态序列特征之间进行特征相似度计算，输出相似度最高的样本id，即实现对该视频中人物的步态识别。
16、进一步地，所述步骤s1中对输入视频进行预处理操作，过程如下：
17、对视频进行切分操作，将视频片段切割为单帧图像；
18、对处理后的单帧图像裁剪为指定尺寸大小。
19、进一步地，所述s2中三维姿态估计网络包括顺序连接的基准网络、特征提取网络、姿态估计网络，其中，
20、基准网络，用于从步态序列中提取内部特征，具体网络结构为2个连续的卷积层conv、归一化层bn、激活函数relu；4个残差层bottleneck；2个连续的卷积层conv、归一化层bn、激活函数relu；4个残差层bottleneck；1个连续的卷积层conv、归一化层bn、激活函数relu；1个连续的卷积层conv、归一化层bn；1个连续的卷积层conv、归一化层bn、激活函数relu；
21、特征提取网络，用于根据输入的内部特征，逐渐减小步态序列的空间尺寸并捕获步态序列中的动态特征，具体网络结构为4个残差层bottleneck；2个连续的卷积层conv、归一化层bn、激活函数relu；1个连续的卷积层conv、归一化层bn；2个连续的卷积层conv、归一化层bn、激活函数relu；2个连续的卷积层conv、归一化层bn；1个连续的卷积层conv、归一化层本文档来自技高网...
【技术保护点】
1.一种基于三维点云数据增强的步态识别方法，其特征在于，所述步态识别方法包括以下步骤：
2.根据权利要求1所述的一种基于三维点云数据增强的步态识别方法，其特征在于，所述步骤S1中对输入视频进行预处理操作，过程如下：
3.根据权利要求1所述的一种基于三维点云数据增强的步态识别方法，所述S2中三维姿态估计网络包括顺序连接的基准网络、特征提取网络、姿态估计网络，其中，
4.根据权利要求1所述的一种基于三维点云数据增强的步态识别方法，所述步骤S3中，其特征在于，所述损失函数L＝Llsd+Lcla，其中Llsd表示最小均方值偏差损失函数，Lcla表示交叉熵损失函数，
5.根据权利要求1所述的一种基于三维点云数据增强的步态识别方法，其特征在于，所述最远距离采样函数FPS()实现过程如下：
6.根据权利要求1所述的一种基于三维点云数据增强的步态识别方法，其特征在于，所述步骤S8中特征相似度计算过程如下：
【技术特征摘要】
1.一种基于三维点云数据增强的步态识别方法，其特征在于，所述步态识别方法包括以下步骤：
2.根据权利要求1所述的一种基于三维点云数据增强的步态识别方法，其特征在于，所述步骤s1中对输入视频进行预处理操作，过程如下：
3.根据权利要求1所述的一种基于三维点云数据增强的步态识别方法，所述s2中三维姿态估计网络包括顺序连接的基准网络、特征提取网络、姿态估计网络，其中，
4.根据权利要求1所述的一种...
【专利技术属性】
技术研发人员：陈欣，杨勤高，邓小玲，兰玉彬，龙拥兵，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。