基于时空图卷积网络的跳绳计数方法和系统技术方案

本发明专利技术涉及智能运动检测技术，公开了基于时空图卷积网络的跳绳计数方法和系统，基于时空图卷积网络的跳绳计数方法，包括：图像数据的获取；人体关键点坐标位置的获取；人体关键点拓扑图的生成；人体状态的确定；人体运动趋势的分析；跳绳计数，依据人体运动趋势进行跳绳计数，当人体运动趋势由上升趋势转为下降趋势，进行跳绳计数；本发明专利技术通过利用时空图卷积神经网络，对人体姿态估计的结果进行分析，得到跳绳人的跳绳状态，来进行精确跳绳计数的方法，计数精度高，能够自动识别跳绳开始与结束，不会由于其他动作产生误计。不会由于其他动作产生误计。不会由于其他动作产生误计。

【技术实现步骤摘要】
基于时空图卷积网络的跳绳计数方法和系统


[0001]本专利技术涉及智能运动检测技术，尤其涉及了基于时空图卷积网络的跳绳计数方法和系统。

技术介绍

[0002]随着跳绳运动被列入中考的考试项目，各地中小学参与跳绳人数越来越多。但是由于跳绳运动快速的特点，以及跳绳运动中可能发生的脚绊绳子等现象的复杂性，使得在跳绳计数需要大量的人力参与，且计数的准确性无法得到保证。随着人工智能与深度学习技术的不断发展，通过智能的算法与设备进行自动的跳绳计数与统计，可以减少体育考试中需要投入的大量人力，也能提高考试结果的准确性。
[0003]现有的自动化跳绳计数的方法，多是采用在跳绳上增加可以计数的装置，这类方法容易受到绳子空摇，迈过绳子等跳绳中产生的复杂现象带来的误差，也存在跳绳设备难以管理容易损坏等缺点。而一些通过视频画面进行计数的方法，则存在计数精度不高，无法识别跳绳行为，判断开始与结束的问题。
[0004]人体姿态估计可以准确的估计人体主要关节点的位置，人体姿态估计的结果将复杂的图像信息转变为人体关节点这种纯粹的人体姿态特征信息，对人体运动状态的分析很有帮助。关键点坐标点信息占用的空间小，信息量大，不含冗余信息，这对利用神经网络对其进行运动分析很有帮助，并且大大缩短了处理时间。
[0005]近年来，图卷积神经网络受到了学术界越来越多的关注，相比与只能用于网格结构数据的传统网络模型，图卷积能够处理具有广义拓扑图结构的数据，利用图中相邻节点之间相关性，对任意不规则的图结构数据进行灵活的卷积。由人体姿态估计得到的人体关键点数据可以通过人体骨架的关联表示成图，并且可以将多帧的关节点数据通过相邻帧对应关节点连接的方式，将人在一段时间内的完整动作表示成图结构。
[0006]对于这种结构的数据，图卷积能够更好地提取图中的特征，在分辨跳绳的动作与状态上有更好的表现。
[0007]如专利申请号CN202111265277.3的中国专利文献公开一种基于关键点识别的跳绳计数检测系统及方法，在计数准确性上存在一定误差，只能在跳绳人跳绳时进行准确计数，不能判断跳绳与其他非跳绳动作的区别，计数时仍需要人工干预。

技术实现思路

[0008]本专利技术针对现有技术中跳绳计数技术在计数准确性上存在一定误差，只能在跳绳人跳绳时进行准确计数，不能判断跳绳与其他非跳绳动作的区别，计数时仍需要人工干预的问题，提供了基于时空图卷积网络的跳绳计数方法和系统。
[0009]为了解决上述技术问题，本专利技术通过下述技术方案得以解决：
[0010]基于时空图卷积网络的跳绳计数方法，包括视频采集模块，其方法包括：
[0011]图像数据的获取，视频采集模块获取跳绳视频流数据，通过跳绳视频流数据获取
图像数据；
[0012]人体关键点坐标位置的获取，通过人体姿态估计和人体检测获取逐帧图像数据中的人体关键点坐标；
[0013]人体关键点拓扑图的生成，将人体关键点中的横坐标与纵坐标作为特征向量，并依据人体关键点坐标的时间空间的连接关系生成人体关键点拓扑图；
[0014]人体状态的确定，将生成的拓扑图输入至时空图卷积神经网络模型中进行分类判断，从而确定人体状态；其中人体状态包括跳绳状态和非跳绳状态；
[0015]人体运动趋势的分析，当人体状态为跳绳状态，则对人体关键点的轨迹进行曲线平滑和分析，从而确定人体运动趋势，人体运动趋势包括上升趋势和下降趋势；
[0016]跳绳计数，依据人体运动趋势进行跳绳计数，当人体运动趋势由上升趋势转为下降趋势，进行跳绳计数。
[0017]作为优选，时空图卷积神经网络模型的生成方法包括：
[0018]视频数据库的建立，通过对获取的视频数据进行视频数据库的建立；
[0019]视频数据的标注，对视频数据库的数据进行跳绳时间段和非跳绳时间段的标注；
[0020]关键点坐标信息的获取，在视频中，通过人体检测与人体姿态估计得到每个人每帧的关键点坐标信息；
[0021]数据的增强，对视频数据库的样本按照一定的比例分成训练集和预测集，并对训练集数据和预测集数据进行数据增强；
[0022]训练模型的调整，通过调整训练集数据调整训练模型；
[0023]训练模型的验证，通过在测试集上对训练模型的验证，当验证的准确率达到阈值，则得到训练模型，否则返回至训练模型的调整；
[0024]对于获得的训练模型，进行神经网络损失函数的计算。
[0025]作为优选，神经网络损失函数的计算包括单次空间图卷积网络和单层图卷积网络；
[0026]单次空间图卷积网络的计算通过公式1进行计算，
[0027][0028]其中，v
ti
表示在时间t身体节点i处的坐标输入，v
tj
表示在时间t身体节点j处的坐标输入，t表示第几帧，j是该关键点的编号，B(v
ti
)表示点v
ti
的邻域点集合，p(v
ti
，v
tj
)＝v
tj
为采样函数，w(v
ti
，v
tj
)为每个点所在邻域子集的权重；Z(v
tij
)为每个邻域子集的正则项；f
output
(v
ti
)，
[0029]单层图卷积网络的计算通过公式2进行计算，
[0030][0031]其中，A为所输入图结构的邻接矩阵，I为其度矩阵；W为所有通道的权重向量堆叠成的权重矩阵，f
input
为输入的方程；其中，Λ
ii
＝∑
j
(A
ij
+I
ij
)。
[0032]作为优选，时空图卷积神经网络中其直接相连的图节点为邻居节点，一个节点的所有邻居节点的集合成为该节点的邻居集合；
[0033]作为优选，邻居集合包括四个邻居子集，分别为第一邻居子集、第二邻居子集、第三邻居子集和第四邻居子集；
[0034]第一邻居子集为在邻居集合同一帧内与其相连的节点中，靠近人体自然重心的节点；
[0035]第二邻居子集为在邻居集合同一帧内其自然重心的距离更远的节点；
[0036]第三邻居子集为与邻居集合相连的前一帧的节点，第四邻居子集为与邻居集合相连的后一帧的节点；
[0037]相同的子集内的节点其在同一卷积核的卷积计算中权重共享。
[0038]为了解决上述技术问题，本专利技术还提供了基于时空图卷积网络的跳绳计数系统，包括视频采集模块，其还包括：
[0039]图像数据的获取模块，视频采集模块获取跳绳视频流数据，通过跳绳视频流数据获取图像数据；
[0040]人体关键点坐标位置的获取模块，通过人体姿态估计和人体检测获取逐帧图像数据中的人体关键点坐标；
[0041]人体关键点拓扑图的生成模块，将人体关键点中的横坐标与纵坐标作为特征向量，并依据人体关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于时空图卷积网络的跳绳计数方法，包括视频采集模块，其方法包括：图像数据的获取，视频采集模块获取跳绳视频流数据，通过跳绳视频流数据获取图像数据；人体关键点坐标位置的获取，通过人体姿态估计和人体检测获取逐帧图像数据中的人体关键点坐标；人体关键点拓扑图的生成，将人体关键点中的横坐标与纵坐标作为特征向量，并依据人体关键点坐标的时间空间的连接关系生成人体关键点拓扑图；人体状态的确定，将生成的拓扑图输入至时空图卷积神经网络模型中进行分类判断，从而确定人体状态；其中人体状态包括跳绳状态和非跳绳状态；人体运动趋势的分析，当人体状态为跳绳状态，则对人体关键点的轨迹进行曲线平滑和分析，从而确定人体运动趋势，人体运动趋势包括上升趋势和下降趋势；跳绳计数，依据人体运动趋势进行跳绳计数，当人体运动趋势由上升趋势转为下降趋势，进行跳绳计数。2.根据权利要求1所述的基于时空图卷积网络的跳绳计数方法，其特征在于，时空图卷积神经网络模型的生成方法包括：视频数据库的建立，通过对获取的视频数据进行视频数据库的建立；视频数据的标注，对视频数据库的数据进行跳绳时间段和非跳绳时间段的标注；关键点坐标信息的获取，在视频中，通过人体检测与人体姿态估计得到每个人每帧的关键点坐标信息；数据的增强，对视频数据库的样本按照一定的比例分成训练集和预测集，并对训练集数据和预测集数据进行数据增强；训练模型的调整，通过调整训练集数据调整训练模型；训练模型的验证，通过在测试集上对训练模型的验证，当验证的准确率达到阈值，则得到训练模型，否则返回至训练模型的调整；对于获得的训练模型，进行神经网络损失函数的计算。3.根据权利要求1所述的基于时空图卷积网络的跳绳计数方法，其特征在于，神经网络损失函数的计算包括单次空间图卷积网络和单层图卷积网络；单次空间图卷积网络的计算通过公式1进行计算，其中，v
ti
表示在时间t身体节点i处的坐标输入，v
tj
表示在时间t身体节点j处的坐标输入，t表示第几帧，j是该关键点的编号，B(v
ti
)表示点v
ti
的邻域点集合，p(v
ti
,v
tj
)＝v
tj
为采样函数，w(v
ti
,v
tj
)为每个点所在邻域子集的权重；Z(v
tij
)为每个邻域子集的正则项；f
output

【专利技术属性】
技术研发人员：徐联伯，
申请(专利权)人：浙江大沩人工智能科技有限公司，
类型：发明
国别省市：