一种基于步态时空特征分解的步态识别方法技术

一种基于步态时空特征分解的步态识别方法，对获得的视频进行预处理，将包含若干帧的原始步态序列转化为以数组形式表示的动态骨骼序列；利用时空图卷积网络，基于时间空间双维度提取行为人的步态时空特征，并将步态时空特征进行融合形成步态特征图；基于CP分解对步态特征图中各阶因子矩阵的参数进行优化分解，以得到主要的步态特征；基于所述主要的步态特征对待识别的对象进行识别。与现有技术相比，本发明专利技术通过人体动态骨骼序列避免了人体受外部因素，如衣服、背包因素的干扰，进一步提升了步态识别准确率。

【技术实现步骤摘要】
一种基于步态时空特征分解的步态识别方法
本专利技术属于人工智能与模式识别
，特别涉及一种基于步态时空特征分解的步态识别方法。
技术介绍
当下，随着AI算法精度的持续提升以及应用场景的大量爆发，人脸识别技术、虹膜识别技术成为应用场景最为广泛的生物识别代表性技术。然而，人脸识别和虹膜识别对外界环境的要求仍相对苛刻，尤其在大规模人流密集场所，光线、遮挡、安装角度、配合程度等因素都会影响到识别精准度。步态识别作为一种非受控性特征识别方式，是一种新兴的生物特征识别技术，其旨在通过人们走路的姿态进行身份识别。相比于指纹、人脸、掌纹、静脉等静态生物特征而言，步态属于动态特征，支持远距离识别、无需硬性配合、环境适应性强等特点。步态识别已开始进入到安防、交通、工业等行业领域展开相关应用，是一种为行业带来创新性的AI技术应用。同样作为人流密集场所下用于身份认证的生物识别技术，步态识别则以其识别距离远、应用范围广、无需配合等应用优势，可以很好的弥补人脸识别所存在的应用缺陷，由此也逐渐受到越来越多的关注。最为关键的是，步态识别相比于其他的生物特征本文档来自技高网...

【技术保护点】
1.一种基于步态时空特征分解的步态识别方法，其特征在于，包括：/n步骤1，对人体姿态进行建模/n对获得的视频进行预处理，将包含若干帧的原始步态序列转化为以数组形式表示的动态骨骼序列；/n步骤2，提取步态时空特征/n利用时空图卷积网络(ST-GCN)，基于时间空间双维度提取行为人的步态时空特征，并将步态时空特征进行融合形成步态特征图；/n步骤3，对步态时空特征进行分解/n基于CP分解对步态特征图中各阶因子矩阵的参数进行优化分解，以得到主要的步态特征；/n步骤4，分类识别/n基于所述主要的步态特征对待识别的对象进行识别。/n

【技术特征摘要】
1.一种基于步态时空特征分解的步态识别方法，其特征在于，包括：
步骤1，对人体姿态进行建模
对获得的视频进行预处理，将包含若干帧的原始步态序列转化为以数组形式表示的动态骨骼序列；
步骤2，提取步态时空特征
利用时空图卷积网络(ST-GCN)，基于时间空间双维度提取行为人的步态时空特征，并将步态时空特征进行融合形成步态特征图；
步骤3，对步态时空特征进行分解
基于CP分解对步态特征图中各阶因子矩阵的参数进行优化分解，以得到主要的步态特征；
步骤4，分类识别
基于所述主要的步态特征对待识别的对象进行识别。


2.根据权利要求1所述基于步态时空特征分解的步态识别方法，其特征在于，所述步骤1中，使用开源预训练好的OpenPose人体姿态估计工具，将原始步态序列转化为动态骨骼序列。


3.根据权利要求2所述基于步态时空特征分解的步态识别方法，其特征在于，转化的具体方法如下：
步骤1.1，使用像素坐标系中的估计关节位置作为输入，并丢弃原始的RGB帧，将所有视频的分辨率调整为340×256，然后使用OpenPose算法得到每个帧上的18个关节的位置，包括像素坐标系中的2D坐标(X,Y)和18个人体关节的置信度θ；
步骤1.2，使用一个元组(X,Y,θ)表示每个关节，使用部分亲和度(PartAffinityFields，PAF)在图像域编码四肢位置和方向的2D矢量，同时使用部分检测置信度图(PartDetectionConfidenceMaps，CMP)标记每一个关节点的置信度；通过部分亲和度和部分检测置信度图两个分支，联合学习关节点位置和整体之间的联系，从而将一个骨架帧记录为一个18元组的数组。


4.根据权利要求3所述基于步态时空特征分解的步态识别方法，其特征在于，对于多人情况，选择在每个片段中平均联合置信度最高的人。


5.根据权利要求3所述基于步态时空特征分解的步态识别方法，其特征在于，所述步骤2提取步态时空特征的具体方法如下：
步骤2.1，使用每一帧每一个人体骨骼的2D或者3D坐标表示骨骼序列，将每一帧中所有的关节向量链接成一个特征向量，使用时空图卷积网络形成多层骨骼序列的表达，进而构建骨骼时空图G＝(V,E)，V是节点矩阵集合，包含骨骼序列上的所有的关节点，V＝{vti|t＝1,...,T,i＝1,...N}，vti是第t帧上的第i个关节点，T为帧数，N为关节点数，E是边的集合，由两个子集组成，第一个子集Es是每一帧帧内关节点的链接，Es＝{vtivtj|(i,j)∈H}，H表示人体关节点集合，第二个子集EF表示不同帧间关节点的链接，EF＝{vtiv(t+1)i}，EF中的每一个边代表一个特定的关节随着时间推移其轨迹；当骨骼序列输入到时空图卷积网络时，第t帧、第i个关节点的特征向量F(vti)由关节点坐标以及置信度组成，其中关节点坐标指关节点在2D坐标系下的坐标；
步骤2.2，在单个帧内，使用GCN对已提取到的动态骨骼序列进行空间卷积得到行为人的步态空间特征，在帧间，使用TCN对已提取到的动态骨骼序列进行时间卷积得到行为人的步态时间特征，最后融合双维度特征形成步态特征图。


6.根据权利要求5所述基于步态时空特征分解的步态识别方法，其特征在于，所述骨骼时空图G通过两步构建：
第一步，将同一关节点在相邻帧之间连线得到帧与帧之间的边，表示人体对应关节点的时序关系；
第二步，在每一帧内部，按照人体的自然骨架连接关系构造空间图。


7.根据权利...

【专利技术属性】
技术研发人员：云静，高硕，邢红梅，张丽霞，刘利民，
申请(专利权)人：内蒙古工业大学，
类型：发明
国别省市：内蒙古;15