【技术实现步骤摘要】
本专利技术涉及计算机视觉与模式识别，具体涉及一种基于遮挡修复的多步态识别方法，主要涉及包括生物特征识别、身份识别、图像处理、深度图像和遮挡修复的多步态识别。
技术介绍
1、由于步态识别是最关键的远距离生物特征识别技术之一，在学术界和工业界越来越受欢迎。基于黑白轮廓的步态识别方法大致可以分为三种类型，即基于模板的方法、基于集合的方法和基于视频的方法。一般来说，基于模板的方法首先聚合序列的所有时间信息以生成模板。基于集合的方法以步态序列的每一帧为单位提取步态特征。基于视频的方法直接使用3d cnn从步态序列中提取时空特征以达到识别目的。
2、基于姿势的步态识别方法首先提取人体的2d姿势或3d姿势，然后使用基于深度学习的框架来生成特征表示。由于人体的关键姿势非常有限，现阶段基于姿势的步态识别方法不能在真实步态数据集中生成有区别的特征表示。
3、尽管现在单人步态识别上取得了重大进展，但许多证据表明，多人步态识别是步态识别领域中更加具有挑战性的任务，因为多人同行时会产生严重的人体遮挡，这增加了识别的难度。
技术实现思路
1、本专利技术的目的是为了解决当前多步态识别方法在实际应用场景中由于人体遮挡问题所导致的识别精度显著下降的难题，提供一种基于遮挡修复的多步态识别方法。
2、本专利技术的目的可以通过采取如下技术方案达到：
3、一种基于遮挡修复的多步态识别方法，所述步态识别方法包括以下步骤：
4、s1、在室内场景下收集并整理多人同行步态
5、s2、从步态视频序列中提取单一人物的rgb步态序列图像；
6、s3、从所述单一人物的rgb步态序列图像中提取人物3d姿态，得到被遮挡的3d姿态步态序列；
7、s4、训练运动填充器，并利用运动填充器，补充所述被遮挡的3d姿态步态序列，得到无遮挡的3d姿态步态序列，其中，所述运动填充器采用transformer架构，包括识别网络、生成网络和条件网络，所述识别网络使用transformer编码器将非连续3d姿势编码为上下文序列；所述生成网络通过transformer解码器和多层感知器mlp使用潜在码和上下文序列生成无遮挡运动，所述条件网络生成潜在码z的高斯分布；
8、s5、对所述无遮挡的3d姿态步态序列降维，生成二维的黑白轮廓步态序列图像；
9、s6、将所述黑白轮廓图像输入步态识别网络进行特征提取得到二维图像步态特征；
10、s7、将步骤s6得到的二维图像步态特征与多步态数据集中不同步态视频序列进行特征相似度计算，同时用损失函数l显示预测值和实际值之间的差距，并通过反向传播更新参数对步态识别网络进行训练，当损失函数l的取值小于设定阈值，完成训练；
11、s8、采集行人步态视频执行步骤s2-s6得到二维图像步态特征，计算二维图像步态特征与多步态数据集中不同步态视频序列特征相似度，以相似度最高的步态视频序列对应的样本id作为多步态识别结果。
12、进一步地，所述步骤s1中收集并整理多人同行步态视频，过程如下：在室内场景下四个角度同时采集1人、2人和3人的行走视频，其中，四个视角为以行人行走直线为直径的半圆上，以45度角为间隔的四个拍摄视角。利用多角度步态数据可以让步态识别网络学习到不同角度下的步态特征，提升模型精度和鲁棒性。
13、进一步地，所述步骤s2中提取单一人物的步态序列rgb图像，过程如下：
14、利用yolov3对步态视频序列进行人物检测和跟踪，将多人同行视频序列中的每个人物进行裁剪，得到单一人物的rgb步态序列图像。从多人同行情况下截取单人步态和多人步态，有利于步态识别网络学习单人步态和多人步态之间不变的高维特征。yolov3模型属于现有技术，出自yolov3:an incremental improvement论文，joseph redmon,alifarhadi作者。
15、进一步地，所述步骤s3中提取被遮挡的3d姿态步态序列，过程如下：
16、将单一人物的rgb步态序列图像作为输入，由3d姿态估计模型hybrik从步态序列图像中识别出人体姿态，得到基于3d骨骼关节点重建的人体网格。3d骨骼关节点包括了：头顶、鼻子、脖子、左肩、右肩、左肘、右肘、左腕、右腕、左手、右手、左臀、右臀、左膝、右膝、左踝、右踝、左脚跟、右脚跟等29个人体骨骼关节点，用于重建人体网格。3d姿态估计模型hybrik属于现有技术，出自hybrik:a hybrid analytical-neural inverse kinematicssolution for 3d human pose and shape estimation论文，li,jiefeng and xu,chaoand chen,zhicun and bian,siyuan and yang,lixin and lu,cewu作者。
17、进一步地，所述步骤s4中训练运动填充器，过程如下：
18、运动填充器的整体网络设计采用transformer架构，它由三部分组成：(1)识别网络。使用transformer编码器将非连续3d姿势编码为上下文序列；(2)生成网络。通过transformer解码器和多层感知器(mlp)使用潜在码和上下文序列生成无遮挡运动；(3)条件网络。生成潜在码z的高斯分布。整体网络流程为：将非连续3d姿态作为输入，经过识别网络生成上下文序列，再将上下文序列和连续3d姿态输入到条件网络中，生成潜在码。最后将潜在码和上下文序列输入到生成网络中，生成连续的3d姿态。
19、识别网络结构为顺序连接的全连接层-1、全连接层-2、transformer编码器-1。
20、生成网络结构为顺序连接的全连接层-1、全连接层-2、transformer解码器-1、多层感知机mlp。
21、条件网络结构为顺序连接的全连接层-1、全连接层-2、transformer解码器-1。
22、利用运动捕捉数据集amass训练运动填充器。对于数据集中连续的m帧真实运动状态，随机遮挡[n,m-n]帧中的真实运动状态，并保留前n帧和后n帧作为运动填充器识别网络的输入，连续的m帧真实运动状态作为运动填充器条件网络的输入，并用学习率为0.001的adma优化器降低梯度值。训练周期为2000，批大小为128。amass数据集属于现有技术，出自amass:archive of motion capture as surface shapes论文，naureen mahmood,nimaghorbani,nikolaus f.troje,gerard pons-moll,michael j.black作者。
23、进一步地，所述步骤s4中利用运动填充器，补充被遮挡的3d姿态步本文档来自技高网...
【技术保护点】
1.一种基于遮挡修复的多步态识别方法，其特征在于，所述步态识别方法包括以下步骤：
2.根据权利要求1所述的一种基于遮挡修复的多步态识别方法，其特征在于，所述步骤S1中收集并整理多人同行步态视频，过程如下：
3.根据权利要求1所述的一种基于遮挡修复的多步态识别方法，其特征在于，所述步骤S2过程如下：
4.根据权利要求1所述的一种基于遮挡修复的多步态识别方法，其特征在于，所述步骤S3过程如下：
5.根据权利要求1所述的一种基于遮挡修复的多步态识别方法，其特征在于，所述步骤S4过程如下：
6.根据权利要求1所述的一种基于遮挡修复的多步态识别方法，其特征在于，所述步骤S5中，将单一人物3D姿态中人体网格的掩膜输出成为单一人物的黑白轮廓步态序列图像，其中背景为黑色像素，人体为白色像素。
7.根据权利要求1所述的一种基于遮挡修复的多步态识别方法，其特征在于，所述步态识别网络的结构为顺序连接的卷积层Conv-1、卷积层Conv-2、卷积层Conv-3、池化层Maxpool-1、卷积层Conv-4、卷积层Conv-5、池化层
8.根据权利要求1所述的一种基于遮挡修复的多步态识别方法，其特征在于，所述损失函数L＝Ltri+Lcla，其中Ltri表示三元损失函数，Lcla表示交叉熵损失函数，三元损失函数Ltri的表达式为：
9.根据权利要求1所述的一种基于遮挡修复的多步态识别方法，其特征在于，所述多步态识别方法还包括测试步骤，过程如下：
...【技术特征摘要】
1.一种基于遮挡修复的多步态识别方法，其特征在于，所述步态识别方法包括以下步骤：
2.根据权利要求1所述的一种基于遮挡修复的多步态识别方法，其特征在于，所述步骤s1中收集并整理多人同行步态视频，过程如下：
3.根据权利要求1所述的一种基于遮挡修复的多步态识别方法，其特征在于，所述步骤s2过程如下：
4.根据权利要求1所述的一种基于遮挡修复的多步态识别方法，其特征在于，所述步骤s3过程如下：
5.根据权利要求1所述的一种基于遮挡修复的多步态识别方法，其特征在于，所述步骤s4过程如下：
6.根据权利要求1所述的一种基于遮挡修复的多步态识别方法，其特征在于，所述步骤s5中，将单一人物3d姿态中人体网格的掩膜输出成为单一人物的黑白轮廓步态序列图像，其中背景...
【专利技术属性】
技术研发人员：陈欣，董烁，邓小玲，兰玉彬，龙拥兵，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。