一种视频动作识别方法、装置、存储介质及设备制造方法及图纸

本申请公开了一种视频动作识别方法、装置、存储介质及设备，该方法包括：首先将目标视频的各帧图像分别输入预先构建的视频动作识别模型的姿态检测层和卷积层进行目标用户的姿态检测和编码处理，得到姿态流数据和时空特征序列，并将姿态流数据输入卷积层进行编码处理，得到姿态特征序列；然后利用模型的卷积层和混合注意力层，对姿态特征序列和时空特征序列进行混合编码和混合注意力的交替增强处理，得到增强后的特征序列；接着将增强后的特征序列输入模型的分类层进行动作识别，得到目标用户的动作识别结果。从而通过高效的捕捉目标视频中的时空和运动模式信息，显著降低了目标视频的冗余信息，实现了对于目标用户的更准确的动作识别。

【技术实现步骤摘要】

本申请涉及计算机，尤其涉及一种视频动作识别方法、装置、存储介质及设备。

技术介绍

1、随着科学技术的不断突破和各种智能终端设备的日益普及，基于视频的动作识别的应用领域也越来越广泛，例如行为分析、人机交互、公共安全、智能监控等领域，能够给人们的生活带来极大的便利。

2、目前，现有的视频动作识别方法通常可以包括基于卷积神经网络的识别方法、基于卷积和转换器模型(transformer)的识别方法(利用卷积对视频进行编码，直接映射成高层特征)、基于transformer的识别方案、基于卷积和图神经网络(graph convolutionalnetwork，gcn)(将关键点当作连接图)的识别方法等，但通过这些识别方法得到的识别结果均不够准确。

技术实现思路

1、本申请实施例的主要目的在于提供一种视频动作识别方法、装置、存储介质及设备，能够更为准确的进行视频动作的分类识别，得到准确性更高的识别结果。

2、本申请实施例提供了一种视频动作识别方法，包括：

3、获取待识别的目标视频；所述目本文档来自技高网...

【技术保护点】

1.一种视频动作识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述目标视频的各帧图像输入预先构建的视频动作识别模型的姿态检测层进行目标用户的姿态检测，得到所述目标视频对应的姿态流数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述卷积层为2D或3D卷积神经网络；所述将所述姿态流数据输入所述视频动作识别模型的卷积层进行编码处理，得到所述姿态流数据的姿态特征序列；以及将所述目标视频的各帧图像输入所述视频动作识别模型的卷积层进行编码处理，得到所述目标视频各帧图像的时空特征序列，包括：

4.根据权利要求1所述的方法，其特...

【技术特征摘要】

1.一种视频动作识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述目标视频的各帧图像输入预先构建的视频动作识别模型的姿态检测层进行目标用户的姿态检测，得到所述目标视频对应的姿态流数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述卷积层为2d或3d卷积神经网络；所述将所述姿态流数据输入所述视频动作识别模型的卷积层进行编码处理，得到所述姿态流数据的姿态特征序列；以及将所述目标视频的各帧图像输入所述视频动作识别模型的卷积层进行编码处理，得到所述目标视频各帧图像的时空特征序列，包括：

4.根据权利要求1所述的方法，其特征在于，所述利用所述视频动作识别模型的卷积层和混合注意力层，对所述姿态特征序列和所述时空特征序列进行混合编码和混合注意力的交替增强处理，得到增强后的特征序列，包括...

【专利技术属性】
技术研发人员：陈茂东，谌鹏，程大龙，
申请(专利权)人：科大讯飞华南人工智能研究院广州有限公司，
类型：发明
国别省市：