基于骨架分离与统一及注意力机制的姿态识别方法与装置制造方法及图纸

本申请涉及基于骨架分离与统一及注意力机制的姿态识别方法与装置。所述方法包括：获取骨架数据；从骨架数据中选择图序列，再基于时间窗的统一时空算子对图序列做多尺度学习的图卷积处理，得到第一骨架特征；将第一骨架特征进行注意力机制处理并完成对所述第一骨架特征的重标定得到加权特征图，作为第二骨架特征；将第二骨架特征进行全局平均池化处理，并将全局平均池化处理结果输入Softmax分类器；Softmax分类器识别并输出姿态类型。本申请对骨架数据进行处理，提取多尺度结构特征和长期依赖关系，再在肢体重要关节点处增加注意力机制处理，获得数据增强了的骨架特征，从而实现了工厂车间工人在生产线工作时肢体动作及姿态的精准识别，提升了骨架识别效率。提升了骨架识别效率。提升了骨架识别效率。

【技术实现步骤摘要】
基于骨架分离与统一及注意力机制的姿态识别方法与装置


[0001]本申请涉及目标检测与姿态识别
，具体涉及基于骨架分离与统一及注意力机制的姿态识别方法与装置。所述方法包括：获取骨架数据；从骨架数据中选择图序列，再基于时间窗的统一时空算子对图序列做多尺度学习的图卷积处理，得到第一骨架特征；将第一骨架特征进行注意力机制处理并完成对所述第一骨架特征的重标定得到加权特征图，作为第二骨架特征；将第二骨架特征进行全局平均池化处理，并将全局平均池化处理结果输入Softmax分类器；Softmax分类器识别并输出姿态类型。本申请对骨架数据进行处理，提取多尺度结构特征和长期依赖关系，再在肢体重要关节点处增加注意力机制处理，获得数据增强了的骨架特征，从而实现了工厂车间工人在生产线工作时肢体动作及姿态的精准识别，提升了骨架识别效率。

技术介绍

[0002]随着深度学习的发展，光学图像目标检测技术已渗透到工业的各个领域，在工厂车间的应用也逐渐普遍起来，基于深度学习的方法可以检测工厂车间生产线工人的工作状态，以达到用机器替代人工监测，进而提高办公效率。
[0003]然而当前人体的姿态估计方法大多因为环境背景较为复杂，而难以准确检测到人的位置。另外，当前人体的姿态识别方法局限于局部关节连接性，将人体关节视为一组独立的特征，存在实时性不高和准确率低等问题。

技术实现思路

[0004]基于上述技术问题，本专利技术旨在采用一种基于骨架分离与统一及注意力机制结合的图卷积技术方案进行识别工厂车间生产线的工人姿态。车间生产线运作的时候，工人坐姿相对固定，而且生产线上上肢动作较为单一，我们通过关注工人们手臂关节点特征，对骨架数据进行处理，超越局部关节连接性，提取多尺度结构特征和长期依赖关系，再在肢体重要关节点处增加注意力机制处理，从而实现工厂工人生产线工作时肢体动作的识别。
[0005]本申请实施例提供了基于骨架分离与统一及注意力机制的姿态识别方法、装置及计算机可读存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
[0006]本专利技术第一方面提供了一种基于骨架分离与统一及注意力机制的姿态识别方法，包括：获取骨架数据；从所述骨架数据中选择图序列，再基于时间窗的统一时空算子对所述图序列做多尺度学习的图卷积处理，得到第一骨架特征，其中，所述图序列包括多帧时空子图；将所述第一骨架特征进行注意力机制处理并完成对所述第一骨架特征的重标定得到加权特征图，作为第二骨架特征；
将所述第二骨架特征进行全局平均池化处理，并将全局平均池化处理结果输入Softmax分类器；所述Softmax分类器识别并输出姿态类型。
[0007]具体地，所述从所述骨架数据中选择图序列，再基于时间窗的统一时空算子对所述图序列做多尺度学习的图卷积处理，得到第一骨架特征，其中，所述图序列包括多帧时空子图，包括：从所述骨架数据中选择图序列，其中，所述图序列包括多帧时空子图；所述多帧时空子图中的任一当前帧的邻接矩阵节点通过将帧方向的空间连通性外推至时间域中多帧时空子图的相邻帧，得到时间窗的统一时空算子；利用所述时间窗的统一时空算子结合学习好的权矩阵将所述图序列变为第三骨架特征；利用不同的扩展速率扩展后的时空图卷积块对所述第三骨架特征进行卷积操作，得到所述第一骨架特征。
[0008]再具体地，所述时间窗的统一时空算子为：其中，t表示当前时刻，τ表示滑动时间窗口，表示邻接矩阵，是的对角矩阵，表示激活函数，表示可学习的权矩阵。
[0009]进一步地，利用不同的扩展速率扩展后的时空图卷积块对所述第三骨架特征进行卷积操作，得到所述第一骨架特征，其操作方法为：其中，V表示扩展速率，F表示扩展前特征，H表示第一骨架特征。
[0010]进一步优选地，所述将所述第一骨架特征进行注意力机制处理并完成对所述第一骨架特征的重标定得到加权特征图，作为第二骨架特征，包括：S31、获取骨架训练样本；S32、将所述骨架训练样本进行注意力机制处理并完成对所述骨架训练样本的时空权重转换，得到注意力权重；S33、迭代执行S32，获得优化的注意力权重；S34、基于所述优化的注意力权重回溯处理所述第一骨架特征，获得加权特征图作为第二骨架特征。
[0011]本专利技术第二方面提供了一种骨架神经网络模型，所述骨架神经网络模型包括输入模块、多尺度特征提取模块、注意力机制模块、池化模块、分类模块及输出模块，所述多尺度特征提取模块执行所述基于时间窗的统一时空算子对所述图序列做多尺度学习的图卷积处理，得到第一骨架特征的步骤；所述注意力机制模块执行将所述第一骨架特征进行注意
力机制处理并完成对所述第一骨架特征的重标定得到加权特征图，作为第二骨架特征的步骤。
[0012]优选地，所述输入模块用于输入图序列；所述池化模块用于对所述注意力机制模块的处理结果进行池化操作；所述分类模块用于将所述池化模块输出的池化结果进行分类识别；所述输出模块用于将分类模块识别的姿态类别输出。
[0013]本专利技术第三方面提供了一种基于骨架神经网络模型的姿态识别方法，所述方法应用如本专利技术第二方面提出的所述骨架神经网络模型，所述基于骨架神经网络模型的姿态识别方法包括：获取骨架数据；将所述骨架数据输入训练好的所述骨架神经网络模型中进行识别；输出所述骨架神经网络模型识别的姿态类型。
[0014]本专利技术第四方面提供了一种基于骨架分离与统一及注意力机制的姿态识别装置，所述装置包括：获取模块，用于获取骨架数据；多尺度模块，用于从所述骨架数据中选择图序列，再基于时间窗的统一时空算子对所述图序列做多尺度学习的图卷积处理，得到第一骨架特征，其中，所述图序列包括多帧时空子图；注意力模块，用于将所述第一骨架特征进行注意力机制处理并完成对所述第一骨架特征的重标定得到加权特征图，作为第二骨架特征；分类模块，用于将所述第二骨架特征进行全局平均池化处理，并将全局平均池化处理结果输入Softmax分类器进行识别；输出模块，用于输出所述Softmax分类器识别的姿态类型。
[0015]本专利技术第五方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：获取骨架数据；从所述骨架数据中选择图序列，再基于时间窗的统一时空算子对所述图序列做多尺度学习的图卷积处理，得到第一骨架特征，其中，所述图序列包括多帧时空子图；将所述第一骨架特征进行注意力机制处理并完成对所述第一骨架特征的重标定得到加权特征图，作为第二骨架特征；将所述第二骨架特征进行全局平均池化处理，并将全局平均池化处理结果输入Softmax分类器；所述Softmax分类器识别并输出姿态类型。
[0016]本专利技术第六方面提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：获取骨架数据；从所述骨架数据中选择图序列，再基于时间窗的统一时空算子对所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于骨架分离与统一及注意力机制的姿态识别方法，其特征在于，包括：获取骨架数据；从所述骨架数据中选择图序列，再基于时间窗的统一时空算子对所述图序列做多尺度学习的图卷积处理，得到第一骨架特征，其中，所述图序列包括多帧时空子图；将所述第一骨架特征进行注意力机制处理并完成对所述第一骨架特征的重标定得到加权特征图，作为第二骨架特征；将所述第二骨架特征进行全局平均池化处理，并将全局平均池化处理结果输入Softmax分类器；所述Softmax分类器识别并输出姿态类型。2.根据权利要求1所述的基于骨架分离与统一及注意力机制的姿态识别方法，其特征在于，所述从所述骨架数据中选择图序列，再基于时间窗的统一时空算子对所述图序列做多尺度学习的图卷积处理，得到第一骨架特征，其中，所述图序列包括多帧时空子图，包括：从所述骨架数据中选择图序列，其中，所述图序列包括多帧时空子图；所述多帧时空子图中的任一当前帧的邻接矩阵节点通过将帧方向的空间连通性外推至时间域中多帧时空子图的相邻帧，得到时间窗的统一时空算子；利用所述时间窗的统一时空算子结合学习好的权矩阵将所述图序列变为第三骨架特征；利用不同的扩展速率扩展后的时空图卷积块对所述第三骨架特征进行卷积操作，得到所述第一骨架特征。3.根据权利要求2所述的基于骨架分离与统一及注意力机制的姿态识别方法，其特征在于，所述时间窗的统一时空算子为：其中，t表示当前时刻，τ表示滑动时间窗口，表示邻接矩阵，是的对角矩阵，表示激活函数，表示可学习的权矩阵。4.根据权利要求3所述的基于骨架分离与统一及注意力机制的姿态识别方法，其特征在于，利用不同的扩展速率扩展后的时空图卷积块对所述第三骨架特征进行卷积操作，得到所述第一骨架特征，其操作方法为：其中，V表示扩展速率，F表示扩展前特征，H表示第一骨架特征。5.根据权利要求1所述的基于骨架分离与统一及注意力机制的姿态识别方法，其特征在于，所述将所述第一骨架特征进行注意力机制处理并完成对所述第一骨架特征的重标定得到加权特征图，作为第二骨架特征，包括：S31、获取骨架训练样本...

【专利技术属性】
技术研发人员：贾冰，佟达，宿南，
申请(专利权)人：杭州轻象科技有限公司，
类型：发明
国别省市：