动作识别模型训练方法和装置、动作识别方法和装置制造方法及图纸

本公开提供了一种动作识别模型训练方法和装置，涉及计算机视觉、深度学习等技术领域。具体实现方案为：获取样本集，样本集包括至少一个动作图像样本；获取预先建立的动作识别网络，动作识别网络包括卷积神经网络和与卷积神经网络连接的循环神经网络，卷积神经网络向循环神经网络输出的特征向量的元素包括：平均池化值、激活中心位置值，激活中心位置值由卷积层输出的特征图中元素的值和元素位置值计算得到；选取样本集中的动作图像样本，并采用选取的动作图像样本对动作识别网络进行训练；响应于确定动作识别网络满足训练完成条件，将动作识别网络作为动作识别模型。该实施方式提高了动作识别的准确性。了动作识别的准确性。了动作识别的准确性。

【技术实现步骤摘要】
动作识别模型训练方法和装置、动作识别方法和装置


[0001]本公开涉及计算机
，具体涉及计算机视觉、深度学习等
，尤其涉及一种动作识别模型训练方法和装置、动作识别方法和装置、电子设备、计算机可读介质以及计算机程序产品。

技术介绍

[0002]近年来，在动作识别的深度学习(Deep Learning，DL)方法中，一种较为普遍的做法是利用卷积神经网络(Convolutional Neural Network，CNN)提取视频中图像帧的特征，再将提取的特征输入循环神经网络(Recurrent Neural Network，RNN)中提取多个连续图像帧特征中的时间序列关系，其中卷积神经网络一般获得特征向量的方法是将最后一层特征图做全局平均化，这样会丢失特征图中元素的位置信息。

技术实现思路

[0003]提供了一种动作识别模型训练方法和装置、动作识别方法和装置、电子设备、计算机可读介质以及计算机程序产品。
[0004]根据第一方面，提供了一种动作识别模型训练方法，该方法包括：获取样本集，样本集包括至少一个动作图像样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作识别模型训练方法，所述方法包括：获取样本集，所述样本集包括至少一个动作图像样本；获取预先建立的动作识别网络，所述动作识别网络包括卷积神经网络和与所述卷积神经网络连接的循环神经网络，所述卷积神经网络向所述循环神经网络输出的特征向量的元素包括：平均池化值、激活中心位置值，所述激活中心位置值由卷积层输出的特征图中元素的值和元素位置值计算得到；选取所述样本集中的动作图像样本，并采用选取的动作图像样本对所述动作识别网络进行训练；响应于确定所述动作识别网络满足训练完成条件，将所述动作识别网络作为动作识别模型。2.根据权利要求1所述的方法，所述方法还包括：响应于确定所述动作识别网络不满足训练完成条件，则调整所述动作识别网络中的相关参数使得所述动作识别网络的动作损失值收敛，基于调整后的动作识别网络，继续选取所述样本集中的动作图像样本，并采用选取的动作图像样本对所述动作识别网络进行训练。3.根据权利要求1所述的方法，其中，所述激活中心位置值包括：拼接的宽度方向平均中心位置值和高度方向平均中心位置值；所述宽度方向平均中心位置值等于宽度方向各个元素的值与该元素的位置值乘积的和除于所有元素的值和；所述高度方向平均中心位置值等于高度方向各个元素的值与该元素的位置值乘积的和除于所有元素的值和。4.根据权利要求1
‑
3之一所述的方法，其中，所述卷积神经网络还包括：全局池化层；所述动作图像样本包括多帧动作标注图像，所述采用选取的动作图像样本对所述动作识别网络进行训练，包括：将选取的动作图像样本中各帧动作标注图像依次输入所述卷积层进行卷积运算，得到各帧动作标注图像对应的特征图；针对每个特征图，将该特征图输入所述全局池化层进行全局平均池化，得到该特征图对应的平均池化值；计算该特征图对应的激活中心位置值；拼接该特征图的平均池化值和激活中心位置值，得到该特征图对应的特征向量；将多帧动作标注图像对应的所有特征向量打包后，输入所述循环神经网络，得到所述循环神经网络输出的所述多帧动作标注图像的动作分类结果；基于所述动作分类结果，计算动作损失值。5.根据权利要求1所述的方法，其中，所述卷积神经网络还包括：区域池化层；所述动作图像样本包括多帧动作标注图像，所述采用选取的动作图像样本对所述动作识别网络进行训练，包括：将选取的动作图像样本中的各帧动作标注图像依次输入所述卷积层进行卷积运算，得到各帧动作标注图像对应的特征图；针对每个特征图，将该特征图划分为多个不同区域，将该特征图输入所述区域池化层
进行区域平均池化，得到该特征图对应的平均池化值；计算该特征图对应的激活中心位置值；拼接该特征图的平均池化值和激活中心位置值，得到该特征图对应的特征向量；将多帧动作标注图像对应的所有特征向量打包后，输入所述循环神经网络，得到所述循环神经网络输出的所述多帧动作标注图像的动作分类结果；基于所述动作分类结果，计算动作损失值。6.根据权利要求1所述的方法，其中，所述卷积神经网络还用于对所述卷积层输出的各帧动作标注图像对应的特征图进行降采样，以降低所述特征图的通道数。7.一种动作识别方法，所述方法包括：获取待进行动作识别的视频序列；将所述视频序列输入采用如权利要求1
‑
6中任一项所述的方法生成的动作识别模型中，输出所述视频序列的动作分类结果。8.一种动作识别模型训练装置，所述装置包括：样本获取单元，被配置成获取样本集，所述样本集包括至少一个动作图像样本；网络获取单元，被配置成获取预先建立的动作识别网络，所述动作识别网络包括卷积神经网络和与所述卷积神经网络连接的循环神经网络，所述卷积神经网络向所述循环神经网络输出的特征向量的元素包括：平均池化值、激活中心位置值，所述激活中心位置值由卷积层输出的特征图中元素的值和元素位置值计算得到；选取单元，被配置成选取所述样本集中的动作图像样本；训练...

【专利技术属性】
技术研发人员：吕以豪，卢飞翔，刘宗岱，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：