基于关节点时空简单循环网络和注意力机制的动作分类方法技术

本发明专利技术涉及一种基于关节点时空简单循环网络和注意力机制的动作分类方法。首先，将普通的SRU模型进行空间维度扩展，设计了一种同时在时间和空间两个维度上进行迭代计算的ST‑SRU模型。然后，在所提ST‑SRU模型基础上，引入全局上下文注意力机制，提出了GCA‑ST‑SRU方法。最后，将所提方法用于人体行为识别，先用深度网络提取人体关节点的特征，再采用GCA‑ST‑SRU方法对提取的特征进行识别。本发明专利技术方法能够降低训练耗时和提升分类准确率，具有明显的效率优势。本发明专利技术方法快速地推断速度有利于实时动作识别系统的设计，适合运行在计算能力有限的平台上，在计算机视觉、智能监控、人机交互等领域具有广阔的应用前景。

【技术实现步骤摘要】
基于关节点时空简单循环网络和注意力机制的动作分类方法
本专利技术属于模式识别领域，是一种利用时空简单循环网络对用关节点表示的动作进行建模、并结合注意力机制的优势进行动作分类的方法。
技术介绍
动作识别广泛应用在智能视频监控、人机交互、医疗辅助、异常行为检测等领域。动作识别是指对一段视频中的人物的行为进行分类，一段视频可以分解为连续的多张图片，所以动作识别也可以看作是对图片序列进行分类的问题。近年来动作识别的一个热门研究方向是，通过深度相机等传感器捕获人在做动作时身体关节点的三维空间坐标，然后对人体关节点坐标序列分类，人体关节点坐标不受画面中人物的复杂背景环境等噪声的影响，提供了在一个动作中身体运动的高层次信息，基于人体关节点坐标的行为识别取得了很好的成果。随着深度学习的发展，涌现了很多基于循环网络和人体关节点的行为动作识别研究，包括长短期记忆网络(LSTM)、门控循环单元(GRU)、简单循环单元(SRU)、时空长短期记忆网络(ST-LSTM)和全局上下文注意力长短期记忆网络(GCA-LSTM)。Zhu和Lan等人认为人在做动作时，一些关节点之间存在固有的共现性，即同时有多个关节点对判本文档来自技高网...

【技术保护点】
1.基于关节点时空简单循环网络和注意力机制的动作分类方法，其特征在于该方法包括以下主要步骤：步骤(1)：用深度学习方法从关节点数据中提取特征将第k时刻的J个关节点的三维坐标x1,k,x2,k,...,xJ,k通过下面的公式转换为特征I1,k,I2,k,...,IJ,k：

【技术特征摘要】
1.基于关节点时空简单循环网络和注意力机制的动作分类方法，其特征在于该方法包括以下主要步骤：步骤(1)：用深度学习方法从关节点数据中提取特征将第k时刻的J个关节点的三维坐标x1,k,x2,k,...,xJ,k通过下面的公式转换为特征I1,k,I2,k,...,IJ,k：其中，WU1、WU2和WU3是深度神经网络的全连接层的权重矩阵，ReLu是激活函数；步骤(2)：在时空方向上迭代计算时空简单循环单元的隐含状态用j＝1,2,...,J，t＝1,2,...,T表示关节点和图像帧的下标，时空简单循环单元的隐含状态包含内部状态cj,t和输出状态hj,t，其中内部状态cj,t的计算有三个输入：分别是第t帧图像中对应的第j个关节点的特征xj,t、同一个关节点在上一帧的内部状态cj,t-1以及前一个关节点在当前帧的内部状态cj-1,t；时空简单循环单元从j＝1，t＝1时开始计算内部状态cj,t，直到j＝J，t＝T时停止，迭代计算出所有的内部状态cj,t和输出状态hj,t，计算公式如下：rj,t＝sigmoid(Wrxj,t+br)(9)hj,t＝rj,t⊙tanh(cj,t)+(1-rj,t)⊙xj,t(11)其中，时空简单循环单元拥有两个不同的遗忘门对应两个不同维度的历史信息：对应空间维度，对应时间维度；rj,t是重置门，用于调整输出状态；sigmoid和tanh是激活函数，⊙表示矩阵点乘；最后，将两个时空简单循环单元叠加起来，即对于j＝1,2,...,J，t＝1,2,...,T，将第一层时空简单循环单元的输出状态hj,t作为第二层时空简单循环单元的输入xj,t，...

【专利技术属性】
技术研发人员：佘青山，穆高原，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33