步态识别训练数据的生成方法、装置、电子设备及介质制造方法及图纸

本申请提供了一种步态识别训练数据的生成方法、装置、电子设备及介质，其中，该方法包括：将第一样本行人的第一外观特征分别与第二样本行人的各个第二姿态特征进行合并，得到该第一外观特征对应的多个第一合并特征；将第二样本行人的第二外观特征分别与第一样本行人的各个第一姿态特征进行合并，得到该第二外观特征对应的多个第二合并特征；根据同一第一外观特征对应的多个第一合并特征生成具有该第一外观特征的第二样本行人的第三步态序列；以及根据同一第二外观特征对应的多个第二合并特征生成具有该第二外观特征的第一样本行人的第四步态序列。通过该方法，有利于增加模型训练样本中样本行人的外观变化，进而提高步态识别模型的识别精度。识别模型的识别精度。识别模型的识别精度。

【技术实现步骤摘要】
步态识别训练数据的生成方法、装置、电子设备及介质


[0001]本申请涉及步态识别
，尤其是涉及一种步态识别训练数据的生成方法、装置、电子设备及介质。

技术介绍

[0002]步态识别是最具应用价值的远距离生物识别技术之一，然而衣着、鞋帽和附属物带来的外观变化成为步态识别最大的瓶颈。具体的，在步态识别模型的训练数据中，由于各个样本行人的外观变化有限(即同一样本行人的衣着、鞋帽和附属物通常是不变的)，就会导致步态识别模型无法学习到对外观变化鲁棒的整体姿态特征，从而导致识别性能下降。
[0003]例如，使用外观变量有限的训练数据训练得到的步态识别模型在应用过程中，在获取到目标行人的目标步态序列后，通常是通过步态识别模型从目标步态序列中提取出目标行人的目标步态特征，然后将该目标步态特征与底库中的各个步态特征进行相似度比较，判断该目标行人是否为底库中的行人。在这个过程中，若目标行人实际上是底库中的行人，但是由于目标行人的着装与底库中该行人的着装变化较大的原因，可能会导致步态识别模型提取出的目标步态特征与底库中的步态特征的区别较大，导致这两个步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种步态识别训练数据的生成方法，其特征在于，包括：将第一样本行人的第一步态序列和第二样本行人的第二步态序列输入至预先训练好的编码器中，得到所述第一步态序列中每张第一步态图像帧对应的所述第一样本行人的第一姿态特征和第一外观特征，以及得到所述第二步态序列中每张第二步态图像帧对应的所述第二样本行人的第二姿态特征和第二外观特征；针对每个所述第一外观特征，将该第一外观特征分别与各个所述第二姿态特征进行合并，得到该第一外观特征对应的多个第一合并特征；以及针对每个所述第二外观特征，将该第二外观特征分别与各个所述第一姿态特征进行合并，得到该第二外观特征对应的多个第二合并特征；将同一所述第一外观特征对应的多个所述第一合并特征输入至预先训练好的解码器中，生成具有该第一外观特征的所述第二样本行人的第三步态序列；以及将同一所述第二外观特征对应的多个所述第二合并特征输入至所述解码器中，生成具有该第二外观特征的所述第一样本行人的第四步态序列。2.根据权利要求1所述方法，其特征在于，所述将第一样本行人的第一步态序列和第二样本行人的第二步态序列输入至预先训练好的编码器中之前，所述方法还包括：从原始训练集中获取所述第一样本行人的所述第一步态序列和所述第二样本行人的所述第二步态序列；生成所述第三步态序列和所述第四步态序列之后，所述方法还包括：将所述第二样本行人的所述第三步态序列和所述第一样本行人的所述第四步态序列加入到所述原始训练集中，得到新训练集；所述新训练集中包含有每个样本行人对应多个步态序列，同一样本行人对应的各个步态序列中包含各自的外观。3.根据权利要求1所述方法，其特征在于，所述将第一样本行人的第一步态序列和第二样本行人的第二步态序列输入至预先训练好的编码器中之前，所述方法还包括：将第三样本行人在不同外观下的第五步态序列和第六步态序列输入至待训练的初始编码器中，得到所述第五步态序列中每张第三步态图像帧各自对应的第三外观特征和第三姿态特征，以及所述第六步态序列中每张第四步态图像帧各自对应的第四外观特征和第四姿态特征；针对每个所述第三姿态特征，将该第三姿态特征分别与除该第三姿态特征之外的其他第三姿态特征所对应的各个所述第三外观特征进行合并，得到该第三姿态特征对应的多个第三合并特征；以及针对每个所述第四姿态特征，将该第四姿态特征分别与除该第四姿态特征之外的其他第四姿态特征所对应的各个所述第四外观特征进行合并，得到该第四姿态特征对应的多个第四合并特征；针对每个所述第三姿态特征对应的每个所述第三合并特征，通过待训练的初始解码器将该第三合并特征转换为所述第三样本行人的第一合成图像帧，得到每个所述第三合并特征各自对应的第一合成图像帧；以及针对每个所述第四姿态特征对应的每个所述第四合并特征，通过所述初始解码器将该第四合并特征转换为所述第三样本行人的第二合成图像帧；针对每个所述第三姿态特征对应的每个所述第一合成图像帧，计算该第三姿态特征对应的第三步态图像帧与该第一合成图像帧在各个像素点处的像素差的第一像素平均值，得
到每个所述第一合成图像帧各自对应的第一像素平均值；以及针对每个所述第四姿态特征对应的每个所述第二合成图像帧，计算该第四姿态特征对应的第四步态图像帧与该第二合成图像帧在各个像素点处的像素差的第二像素平均值，得到每个所述第二合成图像帧各自对应的第二像素平均值；计算所有所述第三姿态特征对应的所有所述第一像素平均值和所有所述第四姿态特征对应的所有所述第二像素平均值的平均值，得到所述第三样本行人对应的第三像素平均值，以将所述第三像素平均值作为第一损失值；所述第一损失值用于训练所述初始编码器中的可学习参数以及所述初始解码器中的可学习参数。4.根据权利要求3所述方法，其特征在于，所述得到所述第五步态序列中每张第三步态图像帧各自对应的第三外观特征和第三姿态特征，以及所述第六步态序列中每张第四步态图像帧各自对应的第四外观特征和第四姿态特征之后，所述方法还包括：针对每个所述第三姿态特征，将该第三姿态特征分别与各个所述第四外观特征进行合并，得到该第三姿态特征对应的多个第五合并特征；以及针对每个所述第四姿态特征，将该第四姿态特征分别与各个所述第三外观特征进行合并，得到该第四姿态特征对应的多个第六合并特征；针对每个所述第三姿态特征对应的每个所述第五合并特征，通过所述初始解码器将该第五合并特征转换为所述第三样本行人的第三合成图像帧；以及针对每个所述第四姿态特征对应的每个所述第六合并特征，通过所述初始解码器将该第六合并特征转换为所述第三样本行人的第四合成图像帧；针对每个所述第三姿态特征对应的每个所述第三合成图像帧，计算该第三姿态特征对应的第三步态图像帧与该第三合成图像帧在各个像素点处的像素差的第四像素平均值，得到每个所述第三合成图像帧各自对应的第四像素平均值；以及针对每个所述第四姿态特征对应的每个所述第四合成图像帧，计算该第四姿态特征对应的第四步态图像帧与该第四合成图像帧在各个像素点处的像素差的第五像素平均值，得到每个所述第四合成图像帧各自对应的第五像素平均值；计算所有所述第三姿态特征对应的所有所述第四像素平均值和所有所述第四姿态特征对应的所有所述第五像素平均值的平均值，得到所述第三样本行人对应的第六像素平均值，以将所述第六像素平...

【专利技术属性】
技术研发人员：胡学财，黄永祯，侯赛辉，黄攀坚，
申请(专利权)人：北京师范大学，
类型：发明
国别省市：