【技术实现步骤摘要】
本专利技术涉及计算机视觉与模式识别，具体涉及一种基于多特征融合的多步态识别方法。主要涉及包括生物特征识别、身份识别、图像处理、深度图像的多步态特征识别和多特征融合的步态识别。
技术介绍
1、由于步态识别是最关键的远距离生物特征识别技术之一，在学术界和工业界越来越受欢迎。
2、基于黑白轮廓的方法大致可以分为三种类型，即基于模板的方法、基于集合的方法和基于视频的方法。一般来说，基于模板的方法首先聚合序列的所有时间信息以生成模板。基于集合的方法以步态序列的每一帧为单位提取步态特征。基于视频的方法直接使用3d cnn从步态序列中提取时空特征以达到识别目的。
3、基于姿势的方法首先提取人体的2d姿势或3d姿势，然后使用基于深度学习的框架来生成特征表示。由于人体的关键姿势非常有限，现阶段基于姿势的步态识别方法不能在真实步态数据集中生成有区别的特征表示。
4、尽管现在单人步态识别上取得了重大进展，但许多证据表明，多人步态识别是步态识别领域中更加具有挑战性的任务，因为多人同行时会出现不同姿态和步幅的步态变化，且同行过程中产生严重的人体遮挡，这增加了识别的难度。
技术实现思路
1、本专利技术的目的是为了解决当前多步态识别方法在实际应用场景中由于步态变化和人体遮挡问题所导致的识别精度显著下降的难题，提供一种基于多特征融合的多步态识别方法。
2、本专利技术的目的可以通过采取如下技术方案达到：
3、一种基于多特征融合的多步态识别方法，所述步态识别
4、s1、在室内场景下收集并整理多人同行步态视频，采集多个视角下1人、2人和3人共同行走视频，得到步态视频序列，形成多步态数据集，并分为训练集和测试集两部分；
5、s2、从步态视频序列中提取单一人物的rgb步态序列图像；
6、s3、将上述单一人物的rgb步态序列图像整理分类，并从单一人物的rgb步态序列图像中提取人物的黑白轮廓图像；
7、s4、从上述单一人物的rgb步态序列图像中提取人体骨骼关节点；
8、s5、所述黑白轮廓图像输入基于外观的步态识别网络进行特征提取得到二维图像步态特征；
9、s6、将所述人体骨骼关节点输入基于模型的步态识别网络中，得到基于关节点的二维姿态步态特征；
10、s7、将所述二维图像步态特征和二维姿态步态特征通过拼接操作沿第二维度融合，得到整体步态特征；
11、s8、将步骤s7得到的整体步态特征与多步态数据集中不同步态视频序列进行特征相似度计算，同时用损失函数l显示预测值和实际值之间的差距，并通过反向传播更新参数进行训练，当损失函数l的取值小于设定阈值，完成训练；
12、s9、采集行人步态视频执行步骤s2-s7步骤得到整体步态特征，计算整体步态特征与多步态数据集中不同步态视频序列特征相似度，以相似度最高的步态视频序列对应的样本id作为步态识别结果。
13、进一步地，所述步骤s1中收集并整理多人同行步态视频，过程如下：在室内场景下四个角度同时采集1人、2人和3人的行走视频，其中，四个视角为以行人行走直线为直径的半圆上，以45度角为间隔的四个拍摄视角。利用多角度步态数据可以让基于外观的步态识别网络和基于模型的步态识别网络学习到不同角度下的步态特征，提升模型精度和鲁棒性。
14、进一步地，所述步骤s2中提取单一人物的步态序列rgb图像，过程如下：
15、利用yolov3对步态视频序列进行人物检测和跟踪，将多人同行视频序列中的每个人物进行裁剪，得到单一人物的rgb步态序列图像。从多人同行情况下截取单人步态和多人步态，有利于基于外观的步态识别网络和基于模型的步态识别网络学习单人步态和多人步态之间不变的高维特征。yolov3模型属于现有技术，出自yolov3:an incrementalimprovement论文，joseph redmon,ali farhadi作者。
16、进一步地，所述步骤s3中提取单一人物的黑白轮廓图像，过程如下：
17、将单一人物的rgb步态序列图像输入到实例分割模型solov2中，将实例分割模型solov2识别到的图像掩膜输出成为单一人物的黑白轮廓步态序列图像，其中背景为黑色像素，人体为白色像素。黑白轮廓图像去除了环境信息，降低数据量的同时最大程度避免环境对人物步态识别的影响。solov2模型属于现有技术，出自solov2:dynamic and fastinstance segmentation论文，xinlong wang,rufeng zhang,tao kong,lei li,chunhuashen作者。
18、进一步地，所述步骤s4中提取单一人物的骨骼关节点数据，过程为：将单一人物的rgb步态序列图像作为输入，由多人姿态估计模型alphapose从步态序列图像中识别出人体姿态，得到17个骨骼关节点。17个骨骼关节点包括了：左眼、右眼、左耳、右耳、鼻子、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝、右踝。而面部关节点和手部、脚部关节点对步态识别的影响较小，且过多的关节点数量增大模型计算量。多人姿态估计模型alphapose属于现有技术，出自alphapose:whole-body regional multi-person poseestimation and tracking in real-time论文，hao-shu fang,jiefeng li,hongyangtang,chao xu,haoyi zhu,yuliang xiu,yong-lu li,cewu lu作者。
19、进一步地，所述步骤s5中提取得到二维图像步态特征，过程为：所述基于外观的步态识别网络结构为顺序连接的卷积层conv-1、卷积层conv-2、卷积层conv-3、池化层maxpool-1、卷积层conv-4、卷积层conv-5、池化层maxpool-2、卷积层conv-6、卷积层conv-7，卷积层conv-3输出浅层阶段的步态特征，卷积层conv-5输出中层阶段的步态特征，卷积层conv-7输出深层阶段的步态特征。以卷积层conv-7的输出作为二维图像步态特征。
20、进一步地，所述基于模型的步态识别网络结构为顺序连接的卷积层conv-1、卷积层conv-2、卷积层conv-3、归一化层-1、随机失活层-1、卷积层conv-4、卷积层conv-5、归一化层-2、随机失活层-2、卷积层conv-6、归一化层-3。卷积层conv-3输出浅层阶段的步态特征，卷积层conv-5输出中层阶段的步态特征，卷积层conv-6输出深层阶段的步态特征，并且引入随机失活层以降低基于模型的步态识别网络的过拟合风险。以归一化层-3输出作为二维姿态步态特征。
21、进一步地，所述步骤s7中将二维图像步态特征和二维姿态步态特征通过拼接操作沿第二维度融合的过程如下：
22、通过基本文档来自技高网...
【技术保护点】
1.一种基于多特征融合的多步态识别方法，其特征在于，所述步态识别方法包括以下步骤：
2.根据权利要求1所述的一种基于多特征融合的多步态识别方法，其特征在于，所述步骤S1中收集并整理多人同行步态视频，过程如下：
3.根据权利要求1所述的一种基于多特征融合的多步态识别方法，其特征在于，所述步骤S2的过程如下：
4.根据权利要求1所述的一种基于多特征融合的多步态识别方法，其特征在于，所述步骤S3的过程如下：
5.根据权利要求1所述的一种基于多特征融合的多步态识别方法，其特征在于，所述步骤S4的过程如下：
6.根据权利要求1所述的一种基于多特征融合的多步态识别方法，其特征在于，所述基于外观的步态识别网络的结构为顺序连接的卷积层Conv-1、卷积层Conv-2、卷积层Conv-3、池化层Maxpool-1、卷积层Conv-4、卷积层Conv-5、池化层Maxpool-2、卷积层Conv-6、卷积层Conv-7，以卷积层Conv-7的输出作为二维图像步态特征。
7.根据权利要求1所述的一种基于多特征融合的多步态识别方法，
8.根据权利要求1所述的一种基于多特征融合的多步态识别方法，其特征在于，所述步骤S7中将二维图像步态特征和二维姿态步态特征通过拼接操作沿第二维度融合的过程如下：
9.根据权利要求1所述的一种基于多特征融合的多步态识别方法，其特征在于，所述损失函数L＝Ltri+Lcla，其中Ltri表示三元损失函数，Lcla表示交叉熵损失函数，三元损失函数Ltri的表达式为：
10.根据权利要求1所述的一种基于多特征融合的多步态识别方法，其特征在于，所述多步态识别方法还包括测试步骤，过程如下：
...【技术特征摘要】
1.一种基于多特征融合的多步态识别方法，其特征在于，所述步态识别方法包括以下步骤：
2.根据权利要求1所述的一种基于多特征融合的多步态识别方法，其特征在于，所述步骤s1中收集并整理多人同行步态视频，过程如下：
3.根据权利要求1所述的一种基于多特征融合的多步态识别方法，其特征在于，所述步骤s2的过程如下：
4.根据权利要求1所述的一种基于多特征融合的多步态识别方法，其特征在于，所述步骤s3的过程如下：
5.根据权利要求1所述的一种基于多特征融合的多步态识别方法，其特征在于，所述步骤s4的过程如下：
6.根据权利要求1所述的一种基于多特征融合的多步态识别方法，其特征在于，所述基于外观的步态识别网络的结构为顺序连接的卷积层conv-1、卷积层conv-2、卷积层conv-3、池化层maxpool-1、卷积层conv-4、卷积层conv-5、池化层maxpool-2、卷积层conv-6、卷积层conv-7，以卷积层conv-7的输出作为二维图像步态特征。
7.根据权利要求1所述的一种基...
【专利技术属性】
技术研发人员：陈欣，董烁，邓小玲，兰玉彬，龙拥兵，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。