一种人体行为识别方法、装置及设备制造方法及图纸

一种人体行为识别方法包括：获取人体行为所对应的图像帧序列，确定所述图像帧序列中的模板帧；根据所述模板帧获取骨骼节点所对应的排序策略；获取图像帧序列中的图像帧中骨骼节点与其它骨骼节点之间的第一位移矢量集、以及图像帧序列中的相邻两帧所确定的第二位移矢量集；根据所述排序策略，分别对每一个骨骼节点所对应的第一位移矢量集和第二位移矢量集进行排序，生成节点特征块；通过已训练的神经网络模型识别所述节点特征块所对应的行为类别。由于节点特征块中的位移矢量包括节点的方向特征，因而可以有效的区分不同方向的动作，从而可以提高人体行为识别精度。

【技术实现步骤摘要】
一种人体行为识别方法、装置及设备
本申请属于人工智能领域，尤其涉及一种人体行为识别方法、装置及设备。
技术介绍
随着深度传感器技术的发展，检测设备已经能根据深度信息中估计人体的关键骨骼节点。由于骨骼节点足够表达人体运动过程中的动作信息，因此，骨骼节点同样可以用于人类行为的表达。相对于深度图像的复杂程度，骨骼节点仅仅包含了人体关键节点的坐标信息，这种骨骼节点坐标信息并不会因为视角的变化而改变，因此许多基于骨骼节点的行为识别方法相继被提出。近年来，基于卷积神经网络CNN的骨骼节点行为识别技术得到广泛发展。其中最常见的处理方法是：将骨骼节点信息转换成深度模型训练最常见的图像来进行模型训练，但这种转换方式容易导致某些相似行为的混淆，不利于提升人体行为识别精度。
技术实现思路
有鉴于此，本申请实施例提供了一种人体行为识别方法、装置及设备，以解决现有技术中容易导致相似行为混淆，人体行为识别精度不高的问题。本申请实施例的第一方面提供了一种人体行为识别方法，所述人体行为识别方法包括：获取人体行为所对应的图像帧序列，确定所述图像帧序列中的模板帧；根据所述模板帧获取骨骼节点所对应的排序策略；获取图像帧序列中的图像帧中骨骼节点与其它骨骼节点之间的第一位移矢量集、以及图像帧序列中的相邻两帧所确定的第二位移矢量集，所述第二位移矢量集包括相邻两帧中的其中一个图像帧中的骨骼节点到另一图像帧中的骨骼节点所确定的位移矢量；根据所述排序策略，分别对每一个骨骼节点所对应的第一位移矢量集和第二位移矢量集进行排序，生成节点特征块；通过已训练的神经网络模型识别所述节点特征块所对应的行为类别。结合第一方面，在第一方面的第一种可能实现方式中，所述通过已训练的神经网络模型识别所述节点特征块所对应的行为类别的步骤包括：将所述节点特征块输入到已训练的第一卷积模型，得到所述节点特征块所对应的第一特征图集；将所述节点特征块输入到已训练的基于注意力机制的第二卷积模型，对所述节点特征块进行动作关注评分，根据动作关注评分对变化的动作流进行加权，得到第二特征图；将所述第一特征图集中的特征图分别与第二特征图融合，根据融合后的第三特征图对所述人体行为分类。结合第一方面，在第一方面的第二种可能实现方式中，所述将所述节点特征块输入到已训练的基于注意力机制的第二卷积模型，对所述节点特征块进行动作关注评分，根据动作关注评分对变化的的动作流进行加权，得到第二特征图包括：基于所述注意力机制的第二卷积模型，对所述节点特征块进行显著性评分；通过显著性评分引导对所述节点特征块的全部区域产生空间注意和时间注意；基于所述空间注意和时间注意，对所述节点特征块进行动作关注评分计算；根据所述动作关注评分对变化动作流所对应的节点特征块进行加权，获取第二特征图。结合第一方面，在第一方面的第三种可能实现方式中，所述获取人体行为所对应的图像帧序列的步骤包括：获取人体行为的原始图像序列；根据预设的高斯分布模型对所述原始图像序列进行采样；通过双线性插值得到人体行为所对应的图像帧序列。结合第一方面，在第一方面的第四种可能实现方式中，所述根据所述模板帧获取骨骼节点所对应的排序策略的步骤包括：获取模板帧中的第i骨骼节点与模板帧中的各个骨骼节点的距离，其中i为模板帧中的任一骨骼节点；根据距离的大小进行排序，根据距离排序结果所对应的节点顺序确定第i骨骼节点的排序策略。结合第一方面，在第一方面的第五种可能实现方式中，所述根据所述排序策略，分别对每一个骨骼节点所对应的第一位移矢量集和第二位移矢量集进行排序，生成节点特征块的步骤包括：获取第一位移矢量集中的位移矢量所对应的起始节点和结束节点，以及第二位移矢量集中的位移矢量所对应的起始节点和结束节点，其中起始节点为第一位移矢量集或第二位移矢量集中的公共骨骼节点；根据模板帧的排序策略确定节点顺序，对所述第一位移矢量集中的结束节点进行排序，以及对第二位移矢量集中的结束节点进行排序，得到结束节点所对应位移矢量顺序；根据单帧中的多个节点分别确定的位移矢量顺序，以及相邻两帧的中的多个节点分别确定的位移矢量顺序，图像帧中包括的骨骼节点数量、图像帧序列中包括的图像帧数量，生成节点特征块。结合第一方面，在第一方面的第六种可能实现方式中，所述方法还包括：获取人体行为的样本数据，以及样本数据所对应的样本行为类型和样本注意力区域；将所述人体行的样本数据输入神经网络模型，得到第二卷积模型输出的注意力识别区域，以及根据注意力识别区域和第一卷积模型输出的特征图融合得到的行为识别类型；根据所述注意力识别区域和样本注意力区域的差异，优化所述第二卷积模型的参数，直到所述注意力识别区域和样本注意力区域的差异满足预设要求；以及，根据行为识别类型和样本行为类型的差异，优化所述第一卷积模型的参数，直到所述行为识别类型和样本行为类型的差异满足预设要求。结合第一方面，在第一方面的第六种可能实现方式中，所述人体行为的样本数据包括不同年龄的多个用户的多种不同的行为类型、以及不同身高的多用户的多种不同的行为类型。本申请实施例的第二方面提供了一种人体行为识别装置，所述人体行为识别装置包括：模板帧确定单元，用于获取人体行为所对应的图像帧序列，确定所述图像帧序列中的模板帧；排序策略获取单元，用于根据所述模板帧获取骨骼节点所对应的排序策略；位移矢量获取单元，用于获取图像帧序列中的图像帧中骨骼节点与其它骨骼节点之间的第一位移矢量集、以及图像帧序列中的相邻两帧所确定的第二位移矢量集，所述第二位移矢量集包括相邻两帧中的其中一个图像帧中的骨骼节点到另一图像帧中的骨骼节点所确定的位移矢量；节点特征块生成单元，用于根据所述排序策略，分别对每一个骨骼节点所对应的第一位移矢量集和第二位移矢量集进行排序，生成节点特征块；人体行为识别单元，用于通过已训练的神经网络模型识别所述节点特征块所对应的行为类别。本申请实施例的第三方面提供了一种人体行为识别设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述人体行为识别方法的步骤。本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述人体行为识别方法的步骤。本申请实施例与现有技术相比存在的有益效果是：通过图像帧序列中的模板帧确定排序策略后，对图像帧的帧内骨骼节点所计算的第一位移矢量集进行排序，以及对相邻的图像帧的骨骼节点所确定的第二位移矢量集进行排序，得到节点特征块，通过已训练的神经网络模型对所述节点特征块进行人体行为识别，由于节点特征块中的位移矢量包括节点的方向特征，因而可以有效的区分不同方向的动作。此外,本申请所采用的注意力机制，在获取表征前后帧动本文档来自技高网...

【技术保护点】
1.一种人体行为识别方法，其特征在于，所述人体行为识别方法包括：/n获取人体行为所对应的图像帧序列，确定所述图像帧序列中的模板帧；/n根据所述模板帧获取骨骼节点所对应的排序策略；/n获取图像帧序列中的图像帧中骨骼节点与其它骨骼节点之间的第一位移矢量集、以及图像帧序列中的相邻两帧所确定的第二位移矢量集，所述第二位移矢量集包括相邻两帧中的其中一个图像帧中的骨骼节点到另一图像帧中的骨骼节点所确定的位移矢量；/n根据所述排序策略，分别对每一个骨骼节点所对应的第一位移矢量集和第二位移矢量集进行排序，生成节点特征块；/n通过已训练的神经网络模型识别所述节点特征块所对应的行为类别。/n

【技术特征摘要】
1.一种人体行为识别方法，其特征在于，所述人体行为识别方法包括：
获取人体行为所对应的图像帧序列，确定所述图像帧序列中的模板帧；
根据所述模板帧获取骨骼节点所对应的排序策略；
获取图像帧序列中的图像帧中骨骼节点与其它骨骼节点之间的第一位移矢量集、以及图像帧序列中的相邻两帧所确定的第二位移矢量集，所述第二位移矢量集包括相邻两帧中的其中一个图像帧中的骨骼节点到另一图像帧中的骨骼节点所确定的位移矢量；
根据所述排序策略，分别对每一个骨骼节点所对应的第一位移矢量集和第二位移矢量集进行排序，生成节点特征块；
通过已训练的神经网络模型识别所述节点特征块所对应的行为类别。


2.根据权利要求1所述的人体行为识别方法，其特征在于，所述通过已训练的神经网络模型识别所述节点特征块所对应的行为类别的步骤包括：
将所述节点特征块输入到已训练的第一卷积模型，得到所述节点特征块所对应的第一特征图集；
将所述节点特征块输入到已训练的基于注意力机制的第二卷积模型，对所述节点特征块进行动作关注评分，根据动作关注评分对变化的动作流进行加权，得到第二特征图；
将所述第一特征图集中的特征图分别与第二特征图融合，根据融合后的第三特征图对所述人体行为分类。


3.根据权力要求1所述的人体行为识别方法，其特征在于，所述将所述节点特征块输入到已训练的基于注意力机制的第二卷积模型，对所述节点特征块进行动作关注评分，根据动作关注评分对变化的的动作流进行加权，得到第二特征图包括：
基于所述注意力机制的第二卷积模型，对所述节点特征块进行显著性评分；
通过显著性评分引导对所述节点特征块的全部区域产生空间注意和时间注意；
基于所述空间注意和时间注意，对所述节点特征块进行动作关注评分计算；根据所述动作关注评分对变化动作流所对应的节点特征块进行加权，获取第二特征图。


4.根据权利要求1所述的人体行为识别方法，其特征在于，所述获取人体行为所对应的图像帧序列的步骤包括：
获取人体行为的原始图像序列；
根据预设的高斯分布模型对所述原始图像序列进行采样；
通过双线性插值得到人体行为所对应的图像帧序列。


5.根据权利要求1所述的人体行为识别方法，其特征在于，所述根据所述模板帧获取骨骼节点所对应的排序策略的步骤包括：
获取模板帧中的第i骨骼节点与模板帧中的各个骨骼节点的距离，其中i为模板帧中的任一骨骼节点；
根据距离的大小进行排序，根据距离排序结果所对应的节点顺序确定第i骨骼节点的排序策略。


6.根据权利要求1所述的人体行为识别方法，其特征在于，所述根据所述排序策略，分别对每一个骨...

【专利技术属性】
技术研发人员：王汝欣，朱开军，陶大鹏，
申请(专利权)人：深圳市联合视觉创新科技有限公司，
类型：发明
国别省市：广东;44