一种深度神经网络实现动作识别方法技术

本发明专利技术涉及动作识别技术领域，公开了一种深度神经网络实现动作识别方法，包括：采用深度摄像机采集人体骨骼关节点的三维坐标信息，处理得到人体的目标3D骨骼数据；截取包含人体的原始视频得到多个视频片段，拼接得到人体动作视频；提取人体动作视频中的人体动作序列，并进行关键帧提取得到关键动作序列；提取关键动作序列中静态特征和动态特征，并进行融合得到融合特征；将融合特征输入Bi

【技术实现步骤摘要】
一种深度神经网络实现动作识别方法


[0001]本专利技术涉及动作识别
，特别涉及一种深度神经网络实现动作识别方法。

技术介绍

[0002]随着人工智能技术的不断进步和发展，人体动作识别技术取得了突破性的进展。人体动作识别即通过对图像序列进行处理来提取人体特征，并且识别人体所进行的动作。而在识别出人体动作后，通过进一步地分析该动作与参考动作之间的相似性，来实现人体动作的评估。人体动作的识别与评估在智能监控、服务机器人、运动训练分析和人机交互领域有广泛的应用价值。
[0003]尽管近年来国内外人体动作行为识别的研究取得了重要进展，但人体运动的高复杂性和多变化性使得识别的精确性和高效性并没有完全满足相关行业的实用要求。

技术实现思路

[0004]本专利技术提供了一种深度神经网络实现动作识别方法，基于三维骨架数据构建由静态特征和动态特征组成的融合特征，建立基于LSTM神经网络的动作识别模型进行人体动作识别，提高了动作识别准确性。
[0005]本专利技术提供了一种深度神经网络实现动作识别方法，包括：
[0006]采用深度摄像机采集人体骨骼关节点的三维坐标信息，得到人体的初始3D骨骼数据，并将所述初始3D骨骼数据采用均值滤波算法进行平滑处理，得到人体的目标3D骨骼数据；
[0007]获取包含人体的原始视频以对所述原始视频进行人体识别，截取具有人体的多个视频片段，并将多个视频片段进行拼接，得到人体动作视频；
[0008]提取所述人体动作视频中的人体动作序列，并对所述人体动作序列进行关键帧提取，得到关键动作序列；
[0009]提取所述关键动作序列中人体关节点的静态特征和动态特征，并将所述静态特征和动态特征进行融合，得到融合特征；
[0010]将所述融合特征输入预设的Bi
‑
LSTM神经网络进行人体动作识别，得到属于每个动作类别的概率，并将概率值最高的动作类别作为最终输出的动作类别。
[0011]进一步地，所述获取包含人体的原始视频以对所述原始视频进行人体识别，截取具有人体的多个视频片段，并将多个视频片段进行拼接，得到人体动作视频的步骤，包括：
[0012]获取包含人体的原始视频以对所述原始视频进行人体识别，确定所述原始视频中包含的人体的数量以及同一个人体的区域，得到具有不同人体的人体集合；
[0013]提取一个人体作为目标人体，并截取具有目标人体的多个目标视频片段，并将多个目标视频片段进行拼接，得到目标人体的动作视频；
[0014]遍历所述人体集合，得到所述人体集合中每个人体的动作视频，作为动作视频集合，以对所述动作视频集合中的每个动作视频进行人体动作识别。
[0015]进一步地，所述提取所述人体动作视频中的人体动作序列，并对所述人体动作序列进行关键帧提取，得到关键动作序列的步骤，包括：
[0016]计算关节动能中的每个关节数据与上一帧关节数据的第一欧氏距离以及计算肢体夹角的角加速度与上一帧的加权后的第二欧氏距离其公式为：
[0017][0018][0019]其中，i为13个关节点，j为11个夹角，η
i
和η
j
为关节点和夹角的权重系数，E
i,t
为第t帧的第i个关节点的动能，α
i,t
为第t帧的第j个夹角的角加速度值；
[0020]将所述第一欧氏距离和第二欧氏距离合并，得到人体动作关键帧提取模型S
t
；其公式为：
[0021][0022]根据所述人体动作关键帧提取模型进行计算，并将人体动作序列中的帧进行约束筛选，得到人体动作序列中关键帧，组成关键动作序列；其公式为：
[0023][0024]其中，S
max
为一个序列动作中计算得出的最大加权求和值，S
min
为最小的加权求和值，ε为常数。
[0025]进一步地，所述提取所述关键动作序列中人体关节点的静态特征和动态特征，并将所述静态特征和动态特征进行融合，得到融合特征的步骤，包括：
[0026]计算人体关节点的两个肢体之间形成的夹角，作为肢体夹角特征；其中，所述肢体夹角为人体运动时具有明显变化的11个角度，其计算公式为：
[0027][0028]其中，θ
j
为11个肢体夹角，j＝1，2，
…
，11，r
i
为第一个肢体向量，r
j
为第二个肢体向量；
[0029]根据所述肢体夹角特征将人体的第一动作表示为：A＝[θ
j，1
，θ
j，2
，
…
，θ
j，t
]，其中1，2，
…
，t为一个动作序列中的帧序列号；
[0030]选取影响人体运动身体变化超过设定幅度的八个关节点，并计算八个关节点与腰关节点之间的八个距离，对所述八个距离除以锁骨关节与腰关节之间的距离，得到消除身高后的相对距离特征；其公式为：
[0031][0032]其中，λ
i，9
为8个关节点与腰关节点间消除身高差后的距离，d
i，9
为八个关节点与腰关节点之间的距离，d
2，9
为对距离除以锁骨关节与腰关节之间的距离；
[0033]根据所述消除身高后的相对距离特征将人体的第二动作表示为：B＝[λ
i，9；1
，λ
i，9；2
，...，λ
i，9；3
]；
[0034]将所述第一动作和第二动作作为所述关键动作序列中人体关节点的静态特征；
[0035]根据关键动作序列中相邻两帧的数据计算关节动能特征；其计算公式为：
[0036][0037]其中，E
i，t
为第i个关节点第t+k时刻与第t时刻2帧之间的动能，i＝1，2，
…
，13，k为2帧之间的时长，m为动能计算公式中的系数，为常数，(x，y，z)为关节点在三维空间中的坐标值；
[0038]根据关节动能特征将人体的第三动作表示为：C＝[E
i，1
，E
i，2
，...，E
i，t
‑1]；
[0039]选取与肢体夹角构成中相同的十一个角度计算肢体夹角的角加速度特征；其计算公式为：
[0040][0041]其中，α
j，t
为第j个夹角在第t+k时刻与第t时刻2帧之间在动作过程中的角加速度，k为2帧之间的时长，θ
j，t
为第j个肢体夹角在第t时刻的角度；
[0042]根据所述肢体夹角的角加速度特征将人体的第四动作表示为：D＝[α
j，1
，α
j，2
，
…
，α
j，t
‑1]；
[0043]将所述第三动作和第四动作作为所述关键动作序列中人体关节点的动态特征；
[0044]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度神经网络实现动作识别方法，其特征在于，包括：采用深度摄像机采集人体骨骼关节点的三维坐标信息，得到人体的初始3D骨骼数据，并将所述初始3D骨骼数据采用均值滤波算法进行平滑处理，得到人体的目标3D骨骼数据；获取包含人体的原始视频以对所述原始视频进行人体识别，截取具有人体的多个视频片段，并将多个视频片段进行拼接，得到人体动作视频；提取所述人体动作视频中的人体动作序列，并对所述人体动作序列进行关键帧提取，得到关键动作序列；提取所述关键动作序列中人体关节点的静态特征和动态特征，并将所述静态特征和动态特征进行融合，得到融合特征；将所述融合特征输入预设的Bi
‑
LSTM神经网络进行人体动作识别，得到属于每个动作类别的概率，并将概率值最高的动作类别作为最终输出的动作类别。2.根据权利要求1所述的深度神经网络实现动作识别方法，其特征在于，所述获取包含人体的原始视频以对所述原始视频进行人体识别，截取具有人体的多个视频片段，并将多个视频片段进行拼接，得到人体动作视频的步骤，包括：获取包含人体的原始视频以对所述原始视频进行人体识别，确定所述原始视频中包含的人体的数量以及同一个人体的区域，得到具有不同人体的人体集合；提取一个人体作为目标人体，并截取具有目标人体的多个目标视频片段，并将多个目标视频片段进行拼接，得到目标人体的动作视频；遍历所述人体集合，得到所述人体集合中每个人体的动作视频，作为动作视频集合，以对所述动作视频集合中的每个动作视频进行人体动作识别。3.根据权利要求1所述的深度神经网络实现动作识别方法，其特征在于，所述提取所述人体动作视频中的人体动作序列，并对所述人体动作序列进行关键帧提取，得到关键动作序列的步骤，包括：计算关节动能中的每个关节数据与上一帧关节数据的第一欧氏距离以及计算肢体夹角的角加速度与上一帧的加权后的第二欧氏距离其公式为：其公式为：其中，i为13个关节点，j为11个夹角，η
i
和η
j
为关节点和夹角的权重系数，E
i,t
为第t帧的第i个关节点的动能，α
i,t
为第t帧的第j个夹角的角加速度值；将所述第一欧氏距离和第二欧氏距离合并，得到人体动作关键帧提取模型S
t
；其公式为：根据所述人体动作关键帧提取模型进行计算，并将人体动作序列中的帧进行约束筛
选，得到人体动作序列中关键帧，组成关键动作序列；其公式为：其中，S
max
为一个序列动作中计算得出的最大加权求和值，S
min
为最小的加权求和值，ε为常数。4.根据权利要求1所述的深度神经网络实现动作识别方法，其特征在于，所述提取所述关键动作序列中人体关节点的静态特征和动态特征，并将所述静态特征和动态特征进行融合，得到融合特征的步骤，包括：计算人体关节点的两个肢体之间形成的夹角，作为肢体夹角特征；其中，所述肢体夹角为人体运动时具有明显变化的11个角度，其计算公式为：其中，θ
j
为11个肢体夹角，j＝1,2,
…
,11，r
i
为第一个肢体向量，r
j
为第二个肢体向量；根据所述肢体夹角特征将人体的第一动作表示为：A＝[θ
j,1
,θ
j,2
,
…
,θ
j,t
]，其中1,2,
…
,t为一个动作序列中的帧序列号；选取影响人体运动身体变化超过设定幅度的八个关节点，并计算八个关节点与腰关节点之间的八个距离，对所述八个距离除以锁骨关节与腰关节之间的距离，得到消除身高后的相对距离特征；其公式为：其中，λ
i,9
为8个关节点与腰关节点间消除身高差后的距离，d
i,9
为八个关节点与腰关节点之间的距离，d
2,9
为对距离除以锁骨关节与腰关节之间的距离；根据所述消除身高后的相对距离特征将人体的第二动作表示为：B＝[λ
i,9；1
,λ
i,9；2
,
…
,λ
i,9；3
]；将所述第一动作和第二动作作为所述关键动作序列中人体关节点的静态特征；根据关键动作序列中相邻两帧的数据计算关节动能特征；其计算公式为：其中，E
i,t
为第i个关节点第t+k时刻与第t时刻2帧之间的动能，i＝1,2,
…
,13，k为2帧之间的时长，m为动能计算公式中的系数，为常数，(x,y,z)为关节点在三维空间中的坐标值；根据关节动能特征将人体的第三动作表示为：C＝[E
i,1
,E
i,2
,
…
,E
i,t
‑1]；选取与肢体夹角构成中相同的十一个角度计算肢体夹角的角加速度特征；其计算公式为：其中，α
j,t
为第j个夹角在第t+k时刻与第t时刻2帧之间在动作过程中的角加速度，k为2
帧之间的时长，θ
j,t
为第j个肢体夹角在第t时刻的角度；根据所述肢体夹角的角加速度特征将人体的第四动作表示为：D＝[α
j,1
,α
j,2
,
…
,α
j,t
‑1]；将所述第三动作和第四动作作为所述关键动作序列中人体关节点的动态特征；将所述静态特征和动态特征进行融合，得...

【专利技术属性】
技术研发人员：杜雅慧，付大雷，张瀚文，杨剡，陈琨，石岩，
申请(专利权)人：甘肃泰合一科技有限责任公司，
类型：发明
国别省市：