编码器训练方法、行为识别方法、电子设备和存储介质技术

本申请公开了一种编码器训练方法、行为识别方法、电子设备和存储介质，该编码器训练方法包括：获取训练目标对应的骨架视频帧序列；其中，骨架视频帧序列中每个骨架视频帧包括基于训练目标的第一数量的关节点确定的骨架信息；对骨架视频帧序列中第二数量的第一视频帧进行随机遮挡生成时间遮挡骨架序列，对骨架视频帧序列中第二视频帧包含的第三数量的关节点进行随机遮挡生成空间遮挡骨架序列；利用时间遮挡骨架序列、空间遮挡骨架序列和骨架视频帧序列，调整编码器的参数；响应于满足第一收敛条件，输出训练后的编码器。上述方案，能够增强编码器对骨架序列进行编码时的空间建模能力，提高编码器对骨架序列进行编码的准确性。提高编码器对骨架序列进行编码的准确性。提高编码器对骨架序列进行编码的准确性。

【技术实现步骤摘要】
编码器训练方法、行为识别方法、电子设备和存储介质


[0001]本申请涉及计算机视觉
，特别是涉及一种编码器训练方法、行为识别方法、电子设备和存储介质。

技术介绍

[0002]行为识别作为计算机视觉领域的一个重要分支，行为识别模型的应用场景变得更加广泛，相较于RGB图像组成的视频流，骨架序列具有不易受背景、光照和视角等因素的干扰而且计算代价小的优势，因此，基于骨架序列的行为识别方法越来越受到人们的重视。现有的行为识别模型通常使用门控循环单元(Gate Recurrent Unit，GRU)或长短时记忆网络(LongShort Term Memory，LSTM)作为编码器，由于GRU和LSTM缺少对空间的建模能力，导致行为识别模型中的编码器对骨架序列进行编码时的空间建模能力不足，对骨架序列进行编码的准确性较低。

技术实现思路

[0003]本申请主要解决的技术问题是提供一种编码器训练方法、行为识别方法、电子设备和存储介质，能够增强编码器对骨架序列进行编码时的空间建模能力，提高编码器对骨架序列进行编码的准确性。
[0004]为解决上述技术问题，本申请第一方面提供一种编码器训练方法，包括：获取训练目标对应的骨架视频帧序列；其中，所述骨架视频帧序列中每个骨架视频帧包括基于所述训练目标的第一数量的关节点确定的骨架信息；所述第一数量为大于1的整数；对所述骨架视频帧序列中第二数量的第一视频帧进行随机遮挡生成时间遮挡骨架序列，对所述骨架视频帧序列中第二视频帧包含的第三数量的关节点进行随机遮挡生成空间遮挡骨架序列；所述第三数量为小于所述第一数量的整数；利用所述时间遮挡骨架序列、所述空间遮挡骨架序列和所述骨架视频帧序列，调整所述编码器的参数；响应于满足第一收敛条件，输出训练后的所述编码器。
[0005]为解决上述技术问题，本申请第二方面提供一种行为识别方法，包括：获取待处理视频帧序列中待处理目标对应的待处理骨架序列；将所述待处理骨架序列输入行为识别模型，获得所述待处理目标对应的行为识别结果；其中，所述行为识别模型包括编码器和分类器，且所述编码器基于上述第一方面所述的编码器训练方法获得。
[0006]为解决上述技术问题，本申请第三方面提供一种电子设备，该电子设备包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行上述第一方面或上述第二方面所述的方法。
[0007]为解决上述技术问题，本申请第四方面提供一种计算机可读存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述第一方面或上述第二方面所述的方法。
[0008]上述方案，获取骨架视频帧序列中训练目标对应的骨架视频帧序列，在骨架视频
帧序列的基础上对部分骨架视频帧进行随机遮挡生成时间遮挡骨架序列，在骨架视频帧序列的基础上对骨架中部分关节点进行随机遮挡生成空间遮挡骨架序列，利用时间遮挡骨架序列和空间遮挡骨架序列对编码器进行训练。其中，在训练编码器之前无需对骨架视频帧序列进行大量标注，即可基于自监督学习的方式对编码器进行训练，提高了编码器训练的便捷度，减少了进行人为标注的消耗，时间遮挡骨架序列用于对编码器的时域建模能力进行训练，空间遮挡骨架序列用于对编码器的空间建模能力进行训练，因此训练完成后所获得的编码器相较于现有的GRU和LSTM对骨架序列进行编码时的具有较优的空间建模能力，兼顾时域建模能力和空间建模能力从而提高对骨架序列进行编码的准确性。
附图说明
[0009]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
[0010]图1是本申请编码器训练方法一实施方式的流程示意图；
[0011]图2是本申请编码器训练方法另一实施方式的流程示意图；
[0012]图3是本申请编码器一实施方式的结构示意图；
[0013]图4是图2中步骤S204对应的一实施方式的流程示意图；
[0014]图5是本申请行为识别方法一实施方式的流程示意图；
[0015]图6是本申请电子设备一实施方式的结构示意图；
[0016]图7是本申请计算机存储介质一实施方式的结构示意图。
具体实施方式
[0017]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0018]本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
[0019]请参阅图1，图1是本申请编码器训练方法一实施方式的流程示意图，该方法包括：
[0020]S101：获取训练目标对应的骨架视频帧序列。
[0021]具体地，骨架视频帧序列中每个骨架视频帧包括基于训练目标的第一数量的关节点确定的骨架信息，第一数量为大于1的整数。通过摄像装置采集或从视频数据库中提取包括训练目标的训练视频数据，从训练视频数据中获取训练目标完成不同类型的动作时的完整视频流，将视频流中至少部分视频帧中训练目标对应的骨架按时序排列，获得训练目标对应的骨架视频帧序列。其中，训练目标的动作类型至少包括步行、快跑、跳跃和跌倒。
[0022]在一应用方式中，获得训练视频数据后，将行人作为训练目标，提取训练数据中训
练目标对应的不同类型的动作对应的完整视频流，从所有类型的动作对应的完整视频流中提取至少部分视频帧中训练目标对应的第一数量的关节点，将关节点按人体结构连接生成骨架信息，并按视频帧的时序对骨架信息进行排序从而获得骨架视频帧序列，其中，骨架视频帧序列中包括训练目标对应的动作在起始帧和终止帧中的骨架。
[0023]可选地，在其他应用方式中，获得训练视频数据后，也可以将动物作为训练目标，本申请对训练目标的类型不做具体限定。
[0024]在一应用场景中，基于微软公司的kinect采集训练视频数据并对训练目标的骨骼和关节点进行跟踪，从而直接获取包含训练目标的骨架信息的视频序列，生成骨架视频序列。其中，Kinect v1最多可以支持20个关节点，Kinect v2最多可支持25个关节点，数据对象类型以骨骼视频帧的形式提供，每一帧最多可以保存所支持的关节点对应的个数。
[0025]在另一应用场景中，基于摄像装置采集训练视频数据，利用姿态估计算法对训练目标的姿态进行识别，并标注出训练目标在视频帧中的关节点，从而生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种编码器训练方法，其特征在于，所述编码器应用于行为识别，所述方法包括：获取训练目标对应的骨架视频帧序列；其中，所述骨架视频帧序列中每个骨架视频帧包括基于所述训练目标的第一数量的关节点确定的骨架信息；所述第一数量为大于1的整数；对所述骨架视频帧序列中第二数量的第一视频帧进行随机遮挡生成时间遮挡骨架序列，对所述骨架视频帧序列中第二视频帧包含的第三数量的关节点进行随机遮挡生成空间遮挡骨架序列；所述第三数量为小于所述第一数量的整数；利用所述时间遮挡骨架序列、所述空间遮挡骨架序列和所述骨架视频帧序列，调整所述编码器的参数；响应于满足第一收敛条件，输出训练后的所述编码器。2.根据权利要求1所述的编码器训练方法，其特征在于，所述对所述骨架视频帧序列中第二数量的第一视频帧进行随机遮挡生成时间遮挡骨架序列的步骤，包括：从所述骨架视频帧序列随机选取所述第二数量的骨架视频帧为所述第一视频帧；基于所述骨架视频帧序列中除所述第一视频帧外的其它骨架视频帧，获得所述时间遮挡骨架序列。3.根据权利要求1所述的编码器训练方法，其特征在于，所述对所述骨架视频帧序列中第二视频帧包含的第三数量的关节点进行随机遮挡生成空间遮挡骨架序列的步骤，包括：从所述第一数量的关节点中确定出第三数量的关节点；以及从所述骨架视频帧序列随机选取第四数量的骨架视频帧作为所述第二视频帧；在所述第二视频帧中对所述第二数量的关节点进行遮挡处理；基于第三视频帧和进行遮挡处理后的第二视频帧，获得所述空间遮挡骨架序列，所述第三视频帧为所述骨架视频帧序列中除所述第二视频帧之外的骨架视频帧。4.根据权利要求1
‑
3任一项所述的编码器训练方法，其特征在于，所述编码器包括至少一个图卷积层和至少一个时间卷积层，且所述编码器中的所述图卷积层和所述时间卷积层交替连接。5.根据权利要求1
‑
3任一项所述的编码器训练方法，其特征在于，所述利用所述时间遮挡骨架序列、所述空间遮挡骨架序列和所述骨架视频帧序列，调整所述编码器的参数的步骤，包括：将所述时间遮挡骨架序列输入所述编码器，获得第一编码骨架序列，将所述第一编码骨架序列输入第一解码器，获得第一骨架序列；以及，将所述空间遮挡骨架序列输入所述编码器，获得第二编码骨架序列，将所述第二编码骨架序列输入第二解码器，获得第二骨架序列；基于所述第一骨架序列、所述第二骨架序列和所述骨架视频帧序列，确定综合损失值；基于所述综合损失值调整所述编码器、所述第一解码器和所述第二解码器中的参数。6.根据权利要求5所述的编码器训练方法，其特征在于，所述基于所述第一骨架序列、所述第二骨架序列和所述骨架视频帧序列，确定综合损失值的步骤，包括：基于所述第一骨架序列和所述骨架视频帧序列的偏差信息，确定第一损失值；以及基于所述第二骨架序列和所述骨架视频帧序列的偏差信息，确定第二损失值；对所述第一损失值和所述第二损失值进行加权求和，确定所述综合损失值。
7.根据权利要求1所述的编码器训练方法，其特征在于，所述利用所述时间遮挡骨架...

【专利技术属性】
技术研发人员：李兴明，敦婧瑜，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：