动作识别方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种动作识别方法、装置、存储介质及电子设备，属于信息技术领域，所述方法包括：获取目标视频片段；将所述目标视频片段输入预先训练的骨骼点识别模型，得到对应所述目标视频的骨骼点热图；将所述骨骼点热图输入多个预先训练的动作识别模型，得到多个识别结果，其中，各个所述动作识别模型的训练方法、模型结构以及采样频率至少有一者不同；确定所述多个识别结果中置信度最高的识别结果为对应所述目标视频片段的目标动作类型。有效地克服了过拟合的影响，提高了动作识别的准确性。提高了动作识别的准确性。提高了动作识别的准确性。

【技术实现步骤摘要】
动作识别方法、装置、存储介质及电子设备


[0001]本公开涉及信息
，具体地，涉及一种动作识别方法、装置、存储介质及电子设备。

技术介绍

[0002]随着硬件算力的发展，人体动作识别在视频分类，人机交互等领域热度越来越高。其中基于人体骨骼点的视频动作识别成为了研究热点，其主要归功于骨骼点作为人体动作的一种紧凑表示，能够有效地过滤原始视频中的噪声。
[0003]然而相关技术中，基于人体骨骼点的视频动作识别技术由于人体骨骼点检测模型自带误差无法控制，误差会作为噪声累计进入到后面人体动作识别模型中，并且，由于用于动作识别模型训练的样本较少且不均衡，可能导致模型过拟合，使得动作识别的准确度较低。

技术实现思路

[0004]为了解决相关技术中存在的问题，本公开提供一种动作识别方法、装置、存储介质及电子设备。
[0005]为了实现上述目的，本公开第一方面提供一种动作识别方法，所述方法包括：
[0006]获取目标视频片段；
[0007]将所述目标视频片段输入预先训练的骨骼点识别模型，得到对应所述目标视频的骨骼点热图；
[0008]将所述骨骼点热图输入多个预先训练的动作识别模型，得到多个识别结果，其中，各个所述动作识别模型的训练方法、模型结构以及采样频率至少有一者不同；
[0009]确定所述多个识别结果中置信度最高的识别结果为对应所述目标视频片段的目标动作类型。
[0010]可选地，所述多个预先训练的动作识别模型包括训练完成的第一残差模型，所述第一残差模型为ResNet152模型，
[0011]所述方法包括：
[0012]获取包括预先标注动作类型的训练数据，所述训练数据包括多个视频片段对应的骨骼点热图；
[0013]将全量所述训练数据作为训练集输入未经训练的第一残差模型，得到第一识别结果；
[0014]根据所述识别结果调整该第一残差模型的参数，直至第一识别结果满足预设条件，得到训练完成的第一残差模型。
[0015]可选地，所述多个预先训练的动作识别模型包括训练完成的第二残差模型，所述第二残差模型包括残差块，以及与所述残差块连接的第一压缩激发块；
[0016]所述将所述骨骼点热图输入多个预先训练的动作识别模型，得到多个识别结果包
括：
[0017]将所述骨骼热点图输入所述第二残差模型的所述残差块，得到第一特征图；
[0018]将所述第一特征图输入所述第一压缩激发块，得到调整时域特征权重后的第二特征图；
[0019]根据所述骨骼热点图、所述第一特征图以及所述第二特征图，得到第二残差模型输出的识别结果。
[0020]可选地，所述第二残差模型还包括与所述残差块连接的第二压缩激发块；
[0021]所述将所述骨骼点热图分别输入多个预先训练的动作识别模型，得到多个识别结果包括：
[0022]将所述第一特征图输入所述第二压缩激发块，得到调整空间特征权重后的第三特征图；
[0023]根据所述骨骼热点图、所述第一特征图、所述第二特征图以及第三特征图，得到第二残差模型输出的识别结果。
[0024]可选地，所述方法还包括：
[0025]获取包括预先标注动作类型标签的训练数据，所述训练数据包括多个视频片段对应的骨骼点热图；
[0026]将所述训练数据输入未经训练的第二残差模型，得到该第二残差模型输出的第二识别结果；
[0027]对比所述第一识别结果与所述动作类型标签，调整时域特征权重控制值和/或空间特征权重控制值，直至所述第二识别结果满足预设条件，得到训练完成的第二残差模型。
[0028]可选地，所述动作识别模型包括第三残差模型，所述方法包括：
[0029]获取包括预先标注动作类型标签的训练数据，所述训练数据包括多个视频片段对应的骨骼点热图；
[0030]将所述训练数据按照预设比例划分为训练集以及验证集；
[0031]根据所述训练集，训练多个ResNet152模型作为教师模型；
[0032]将所述验证集去除动作类型标签输入所述教师模型，得到动作类型标签更新后的预测集；
[0033]根据所述训练集以及所述预测集并基于蒸馏损失，训练未经训练的ResNet50模型得到训练完成的第三残差模型。
[0034]可选地，所述动作识别模型包括第四残差模型，所述方法包括：
[0035]根据所述验证集以及所述教师模型，得到对应所述验证集的混淆矩阵；
[0036]将所述混淆矩阵的对角线置零，得到样本错分矩阵；
[0037]根据所述样本错分矩阵，计算得到各动作类别的错分比例；
[0038]根据所述错分比例、Sigmoid函数以及哈达玛积，得到代价敏感矩阵；
[0039]基于所述代价敏感矩阵，得到混淆矩阵损失函数；
[0040]根据所述训练集以及所述预测集并基于所述混淆损失函数，训练未经训练的ResNet50模型得到训练完成的第四残差模型。
[0041]本公开第二方面提供一种动作识别装置，所述装置包括：
[0042]获取模块，用于获取目标视频片段；
[0043]第一输入模块，用于将所述目标视频片段输入预先训练的骨骼点识别模型，得到对应所述目标视频的骨骼点热图；
[0044]第二输入模块，用于将所述骨骼点热图输入多个预先训练的动作识别模型，得到多个识别结果；
[0045]确定模块，用于按照预设算法对所述多个识别结果进行投票，确定与所述目标视频片段对应的动作类别。
[0046]本公开第三方面提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面中任一项所述方法的步骤。
[0047]本公开第四方面提供一种电子设备，包括：
[0048]存储器，其上存储有计算机程序；
[0049]处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面中任一项所述方法的步骤。
[0050]通过上述技术方案，通过骨骼点识别模型获取骨骼点热图，并将该骨骼点热图输入多个预先训练的不同结构、不同训练方式动作识别模型得到多个识别结果，并选取识别结果置信度最高的动作类型为目标视频片段对应的动作类型，结合了不同结构与训练方式得到多个不同的特征分布的模型，并将多个模型集成，得到最终结果，有效地克服了过拟合的影响，提高了动作识别的准确性。
[0051]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0052]附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
[0053]图1是根据一示例性实施例示出的一种动作识别方法的流程图；
[0054]图2是根据一示例性实施例示出的一种第一残差模型的结构示意图；
[0055]图3是根据一示例性实施例示出的一种第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作识别方法，其特征在于，所述方法包括：获取目标视频片段；将所述目标视频片段输入预先训练的骨骼点识别模型，得到对应所述目标视频的骨骼点热图；将所述骨骼点热图输入多个预先训练的动作识别模型，得到多个识别结果，其中，各个所述动作识别模型的训练方法、模型结构以及采样频率至少有一者不同；确定所述多个识别结果中置信度最高的识别结果为对应所述目标视频片段的目标动作类型。2.根据权利要求1所述的方法，其特征在于，所述多个预先训练的动作识别模型包括训练完成的第一残差模型，所述第一残差模型为ResNet152模型，所述方法包括：获取包括预先标注动作类型的训练数据，所述训练数据包括多个视频片段对应的骨骼点热图；将全量所述训练数据作为训练集输入未经训练的第一残差模型，得到第一识别结果；根据所述识别结果调整该第一残差模型的参数，直至第一识别结果满足预设条件，得到训练完成的第一残差模型。3.根据权利要求1所述的方法，其特征在于，所述多个预先训练的动作识别模型包括训练完成的第二残差模型，所述第二残差模型包括残差块，以及与所述残差块连接的第一压缩激发块；所述将所述骨骼点热图输入多个预先训练的动作识别模型，得到多个识别结果包括：将所述骨骼热点图输入所述第二残差模型的所述残差块，得到第一特征图；将所述第一特征图输入所述第一压缩激发块，得到调整时域特征权重后的第二特征图；根据所述骨骼热点图、所述第一特征图以及所述第二特征图，得到第二残差模型输出的识别结果。4.根据权利要求3所述的方法，其特征在于，所述第二残差模型还包括与所述残差块连接的第二压缩激发块；所述将所述骨骼点热图分别输入多个预先训练的动作识别模型，得到多个识别结果包括：将所述第一特征图输入所述第二压缩激发块，得到调整空间特征权重后的第三特征图；根据所述骨骼热点图、所述第一特征图、所述第二特征图以及第三特征图，得到第二残差模型输出的识别结果。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：获取包括预先标注动作类型标签的训练数据，所述训练数据包括多个视频片段对应的骨骼点热图；将所述训练数据输入未经训练的第二残差模型，得到该第二残差模型输出的第二识别结果；对...

【专利技术属性】
技术研发人员：陈奕名，
申请(专利权)人：北京育达东方软件科技有限公司，
类型：发明
国别省市：