一种步态特征提取方法、装置及设备制造方法及图纸

本发明专利技术提供一种步态特征提取方法、装置及设备，该方法包括：对目标对象的多帧图像进行预处理得到对应帧的预处理图像；将预处理图像输入步态特征提取模型，步态特征提取模型中包括卷积神经网络和transformer网络；利用卷积神经网络按照帧的时间顺序依次对单帧的预处理图像进行第一步态特征的特征提取；由transformer网络基于第一步态特征及其帧的时间顺序，进行第二步态特征的特征提取，上述方法将深度卷积网络与视觉transformer网络相结合，充分利用了网络的特性，在保证提取的步态特征的准确性的同时，实现了对步态特征的快速提取。提取。提取。

【技术实现步骤摘要】
一种步态特征提取方法、装置及设备


[0001]本申请涉及目标识别
，尤其涉及一种步态特征提取方法、装置及设备。

技术介绍

[0002]步态识别技术是依据目标对象的行走姿态进行身份识别的技术，作为生物特征识别中一种新型的技术，以其独有的远距离、难伪装、非接触等优点，在国家公共安全，金融安全等领域中具有重要的研究价值和应用价值。
[0003]步态识别系统的大体分成三个步骤：行人分割和关节点检测的步态预处理、步态特征的提取、步态特征的比对识别。其中处于中间环节的步态特征的提取很大程度上决定了整个过程的成功率。为了能够获得有效而可靠的行人步态特征，大多数现有的步态特征提取方法采用具有强大表达能力的深度模型提取步态特征；如Liao等人利用深度姿态模型获得视频序列中人体的姿态信息，随后通过长短记忆模型(LSTM)融合步态的时间和空间信息获得人体步态特征进行识别；但这些步态特征提取算法在使用神经网络组织或者融合行人的时序和空间的信息时，未能充分利用深度网络特性且通常网络的计算比较耗时。

技术实现思路

[0004]本专利技术提供了一种步态特征提取方法、装置及设备，用于解决目前的步态特征提取算法在使用神经网络组织或者融合行人的时序和空间的信息时，未能充分利用深度网络特性且通常网络的计算比较耗时的问题。
[0005]第一方面，本专利技术提供了一种步态特征提取方法，该方法包括：
[0006]对目标对象的多帧图像进行预处理分别得到对应帧的预处理图像，其中，单帧的预处理图像包括人体轮廓图像和人体关节点图像；
[0007]将得到的预处理图像输入步态特征提取模型，所述步态特征提取模型中包括卷积神经网络和transformer网络；
[0008]利用所述卷积神经网络按照帧的时间顺序，依次对单帧的预处理图像进行第一步态特征的特征提取，所述第一步态特征用于表征目标对象步态的空间特征；
[0009]将得到的各帧的预处理图像的第一步态特征输入到所述transformer网络，由所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。
[0010]第二方面，本专利技术提供了一种步态特征提取装置，该装置包括：
[0011]获取模块，用于对目标对象的多帧图像进行预处理分别得到对应帧的预处理图像，其中，单帧的预处理图像包括人体轮廓图像和人体关节点图像；
[0012]特征提取模块，用于将得到的预处理图像输入步态特征提取模型，所述步态特征提取模型中包括卷积神经网络和transformer网络；
[0013]第一特征提取模块，用于利用所述卷积神经网络按照帧的时间顺序，依次对单帧
的预处理图像进行第一步态特征的特征提取，所述第一步态特征用于表征目标对象步态的空间特征；
[0014]第二特征提取模块，用于将得到的各帧的预处理图像的第一步态特征输入到所述transformer网络，由所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。
[0015]第三方面，本专利技术提供了一种步态特征提取设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时执行：
[0016]对目标对象的多帧图像进行预处理分别得到对应帧的预处理图像，其中，单帧的预处理图像包括人体轮廓图像和人体关节点图像；
[0017]将得到的预处理图像输入步态特征提取模型，所述步态特征提取模型中包括卷积神经网络和transformer网络；
[0018]利用所述卷积神经网络按照帧的时间顺序，依次对单帧的预处理图像进行第一步态特征的特征提取，所述第一步态特征用于表征目标对象步态的空间特征；
[0019]将得到的各帧的预处理图像的第一步态特征输入到所述transformer网络，由所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。
[0020]第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述步态特征提取方法中的任一步骤。
[0021]上述步态特征提取方法，首先利用卷积神经网络的具有平移、缩放不变性和层次特性获取目标对象空间上的步态特征，同时减少特征图的分辨率，为后续网络减少计算量，再利用transformer网络在序列处理的优势提取融合步态时间特征和空间特征的第二步态特征，实现了网络在结构和功能上的互补，同时又提高网络推理速度。
附图说明
[0022]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为本专利技术实施例提供的一种步态特征提取方法的流程图；
[0024]图2为本专利技术实施例提供的一种步态特征提取模型的示意图；
[0025]图3为本专利技术实施例提供的一种第三步态特征提取过程的示意图；
[0026]图4为本专利技术实施例提供的一种第二步态特征提取过程的示意图；
[0027]图5为本专利技术实施例提供的一种步态特征提取装置的示意图；
[0028]图6为本专利技术实施例提供的一种步态特征提取设备的示意图。
具体实施方式
[0029]为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0030]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。
[0031]本专利技术实施例描述的应用场景是为了更加清楚的说明本专利技术实施例的技术方案，并不构成对于本专利技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本专利技术实施例提供的技术方案对于类似的技术问题，同样适用。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种步态特征提取方法，其特征在于，该方法包括：对目标对象的多帧图像进行预处理分别得到对应帧的预处理图像，其中，单帧的预处理图像包括人体轮廓图像和人体关节点图像；将得到的预处理图像输入步态特征提取模型，所述步态特征提取模型中包括卷积神经网络和transformer网络；利用所述卷积神经网络按照帧的时间顺序，依次对单帧的预处理图像进行第一步态特征的特征提取，所述第一步态特征用于表征目标对象步态的空间特征；将得到的各帧的预处理图像的第一步态特征输入到所述transformer网络，由所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。2.根据权利要求1所述的方法，其特征在于，所述transformer网络包括第一transformer网络和第二transformer网络，所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取，包括：利用第一transformer网络采用注意力机制对卷积神经网络输出的各帧的第一步态特征，进行抑制非目标对象强化目标对象的第三步态特征的特征提取；利用第二transformer网络的语义特征提取能力及长距离特性捕获能力对所述第一transformer网络得到的多帧的第三步态特征及帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。3.根据权利要求2所述的方法，其特征在于，还包括：利用第二transformer网络的语义特征提取能力及长距离特性捕获能力对所述第一transformer网络得到的多帧的第三步态特征及帧的时间顺序，对目标对象的行走方向进行方向特征提取。4.根据权利要求1～3任一所述的方法，其特征在于，还包括：对不同目标对象分别对应的多帧图像样本进行处理，得到不同目标对象分别对应的多帧的预处理图像样本，对同一目标对象的多帧的预处理图像进行目标对象标注，得到一个训练样本；将所述训练样本输入网络模型，所述网络模型包括特征提取层，所述特征提取层包括采用卷积神经网络的第一特征提取层和采用transformer网络的第二特征提取层；利用所述第一特征提取层按照帧的时间顺序，依次对单帧的预处理图像样本进行第一步态特征的特征提取，利用第二特征提取层根据transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于第一特征提取层输出的各帧的第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取；确定损失函数的取值，根据损失函数取值对所述网络模型的参数进行调整，所述损失函数包括根据第二特征提取层提取的相同目标对象的第二步态特征第一距离及不同目标对象的第二步态特征的第二距离确定的三元组损失函数；确定满足参数调整结束条件时，将当前特征提取层确定为步态特征提取模型。5.根据权利要求4所述的方法，其特征在于，所述网络模型还包括输出层，所述输出层
根据所述第二特征提取层输出的第二步态特征预测识别到不同目标对象的概率，所述损失函数还包括：将输出层预测识别到的不同目标对象的概率作为...

【专利技术属性】
技术研发人员：郑新想，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：