一种行为识别方法及相关装置制造方法及图纸

本申请公开了一种行为识别方法，包括：采用人体关键点检测模型对多个目标图像进行检测，得到多个关键点图像；基于多层二维CNN网络和每个二维CNN网络之前的时序特征融合层对多个关键点图像进行特征提取，得到图像特征；对图像特征进行识别分类，得到识别结果。通过对图像识别出关键点图像，基于二维CNN网络和时序特征融合层将时序特征融合在每个关键点图像中，使得没有办法处理时序特征的二维CNN网络实现对多个关键点图像的时序特征进行识别，利用二维CNN网络提高了进行行为识别的效率，降低时延，同时保持行为识别的可靠性。本申请还公开了一种行为识别装置、服务器以及计算机可读存储介质，具有以上有益效果。具有以上有益效果。具有以上有益效果。

【技术实现步骤摘要】
一种行为识别方法及相关装置


[0001]本申请涉及计算机
，特别涉及一种行为识别方法、行为识别装置、服务器以及计算机可读存储介质。

技术介绍

[0002]随着图像处理技术不断发展，可以通过行为识别技术对图像或视频中的待识别对象进行行为识别。其中，基于视频的行为分析方法主要使用深度学习的方法，包括：通过openpose或者其他方式对人体的关键点进行定位，再通过对连续时间序列的人体关键点分析后对行为做出预测；使用3D卷积对视频进行分类；使用光流场提取运动目标进行行为分析；使用2D卷积神经网络进行视频分类。
[0003]相关技术中，时间序列特征一般是通过LSTM(Long Short
‑
Term Memory，长短期记忆网络)来提取的。但是，如果序列长度超过一定限度后，在训练时会出现梯度消失的现象，增加了模型训练的难度。使得使用LSTM网络进行行为识别的效果不佳。更重要的，由于LSTM自身结构的特点，决定了其不能并行运算，降低了运算效率。
[0004]因此，如何提高行为识别的运算效率是本领域技术人员关注的重点问题。

技术实现思路

[0005]本申请的目的是提供一种行为识别方法、行为识别装置、服务器以及计算机可读存储介质，以提高行为识别的运算效率。
[0006]为解决上述技术问题，本申请提供一种行为识别方法，包括：
[0007]采用人体关键点检测模型对多个目标图像进行检测，得到多个关键点图像；
[0008]基于多层二维CNN网络和每个所述二维CNN网络之前的时序特征融合层对所述多个关键点图像进行特征提取，得到图像特征；
[0009]对所述图像特征进行识别分类，得到识别结果。
[0010]可选的，基于多层二维CNN网络和每个所述二维CNN网络之前的时序特征融合层对所述多个关键点图像进行特征提取，得到图像特征，包括：
[0011]基于多个特征提取层对所述多个关键点图像进行特征提取，得到所述图像特征；其中，所述特征提取层包括多个时序特征融合层和二维CNN网络的组合层。
[0012]可选的，单个所述时序特征融合层和所述二维CNN网络的组合层对所述多个关键点图像进行特征提取，得到所述图像特征的过程，包括：
[0013]将每个所述关键点图像中预设范围的像素点偏移至下一个关键点图像中，得到时序特征融合图像；
[0014]基于所述二维CNN网络对所述时序特征融合图像进行计算，得到所述图像特征。
[0015]可选的，采用人体关键点检测模型对多个目标图像进行检测，得到多个关键点图像，包括：
[0016]采用人体关键点检测模型对所述多个目标图像进行检测，得到多个初始关键点图
像；
[0017]对所述多个初始关键点图像进行预处理，得到所述多个关键点图像。
[0018]可选的，对所述多个初始关键点图像进行预处理，得到所述多个关键点图像，包括：
[0019]对所述多个初始关键点图像进行二值化处理，得到所述多个关键点图像。
[0020]可选的，对所述多个初始关键点图像进行预处理，得到所述多个关键点图像，包括：
[0021]对所述多个初始关键点图像进行大小统一处理，得到所述多个关键点图像。
[0022]可选的，对所述图像特征进行识别分类，得到识别结果，包括：
[0023]基于全连接层和softmax分类层对所述图像特征进行识别分类，得到所述识别结果。
[0024]本申请还提供一种行为识别装置，包括：
[0025]图像处理模块，用于采用人体关键点检测模型对多个目标图像进行检测，得到多个关键点图像；
[0026]特征提取模块，用于基于多层二维CNN网络和每个所述二维CNN网络之前的时序特征融合层对所述多个关键点图像进行特征提取，得到图像特征；
[0027]特征识别模块，用于对所述图像特征进行识别分类，得到识别结果。
[0028]本申请还提供一种服务器，包括：
[0029]存储器，用于存储计算机程序；
[0030]处理器，用于执行所述计算机程序时实现如上所述的行为识别方法的步骤。
[0031]本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的行为识别方法的步骤。
[0032]本申请所提供的一种行为识别方法，包括：采用人体关键点检测模型对多个目标图像进行检测，得到多个关键点图像；基于多层二维CNN网络和每个所述二维CNN网络之前的时序特征融合层对所述多个关键点图像进行特征提取，得到图像特征；对所述图像特征进行识别分类，得到识别结果。
[0033]通过先对图像识别出关键点图像，然后基于二维CNN网络和时序特征融合层将时序特征融合在每个关键点图像中，使得没有办法处理时序特征的二维CNN网络实现对多个关键点图像的时序特征进行识别，利用二维CNN网络提高了进行行为识别的效率，降低时延，同时通过融合时序特征保持了行为识别的可靠性。
[0034]本申请还提供一种行为识别装置、服务器以及计算机可读存储介质，具有以上有益效果，在此不做赘述。
附图说明
[0035]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0036]图1为本申请实施例所提供的一种行为识别方法的流程图；
[0037]图2为本申请实施例所提供的一种8帧图像的示意图；
[0038]图3为本申请实施例所提供的图像变换的第一个示意图；
[0039]图4为本申请实施例所提供的图像变换的第二个示意图；
[0040]图5为本申请实施例所提供的图像变换的第三个示意图；
[0041]图6为本申请实施例所提供的一种行为识别装置的结构示意图。
具体实施方式
[0042]本申请的核心是提供一种行为识别方法、行为识别装置、服务器以及计算机可读存储介质，以提高行为识别的运算效率。
[0043]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0044]相关技术中，时间序列特征一般是通过LSTM来提取的。但是，如果序列长度超过一定限度后，在训练时会出现梯度消失的现象，增加了模型训练的难度。使得使用LSTM网络进行行为识别的效果不佳。更重要的，由于LSTM自身结构的特点，决定了其不能并行运算，降低了运算效率。
[0045]因此，本申请提供一种行为识别方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为识别方法，其特征在于，包括：采用人体关键点检测模型对多个目标图像进行检测，得到多个关键点图像；基于多层二维CNN网络和每个所述二维CNN网络之前的时序特征融合层对所述多个关键点图像进行特征提取，得到图像特征；对所述图像特征进行识别分类，得到识别结果。2.根据权利要求1所述的行为识别方法，其特征在于，基于多层二维CNN网络和每个所述二维CNN网络之前的时序特征融合层对所述多个关键点图像进行特征提取，得到图像特征，包括：基于多个特征提取层对所述多个关键点图像进行特征提取，得到所述图像特征；其中，所述特征提取层包括多个时序特征融合层和二维CNN网络的组合层。3.根据权利要求2所述的行为识别方法，其特征在于，单个所述时序特征融合层和所述二维CNN网络的组合层对所述多个关键点图像进行特征提取，得到所述图像特征的过程，包括：将每个所述关键点图像中预设范围的像素点偏移至下一个关键点图像中，得到时序特征融合图像；基于所述二维CNN网络对所述时序特征融合图像进行计算，得到所述图像特征。4.根据权利要求1所述的行为识别方法，其特征在于，采用人体关键点检测模型对多个目标图像进行检测，得到多个关键点图像，包括：采用人体关键点检测模型对所述多个目标图像进行检测，得到多个初始关键点图像；对所述多个初始关键点图像进行预处理，得到所述多个关键点图像。5.根据权利要求4所述...

【专利技术属性】
技术研发人员：李庆民，卢存盟，
申请(专利权)人：创泽智能机器人集团股份有限公司，
类型：发明
国别省市：