基于人体姿态估计和TPA注意力机制的跳绳个数统计方法技术

本发明专利技术公开了一种基于人体姿态估计和TPA注意力机制的跳绳个数统计方法，其步骤包括：1、使用Openpose模型提取跳绳动作视频中的人体关键点；2、得到关键点与基准线距离关于时间的波形图；3、构建并训练基于TPA注意力机制的SRNN模型；4、综合考虑判断条件1和判断条件2判断是否有跳绳动作。本发明专利技术能通过设备实时检测出被检测对象的跳绳个数，从而有效提高检测精度和效率。度和效率。度和效率。

【技术实现步骤摘要】
基于人体姿态估计和TPA注意力机制的跳绳个数统计方法


[0001]本专利技术属于人工智能应用领域，目标识别技术、人体姿态估计技术、深度学习技术，具体的说是一种基于人体姿态估计和TPA注意力机制的跳绳个数统计方法。

技术介绍

[0002]目前对于体育动作的评判仍然停留在人工阶段，而日益增长的评判需求驱使人工智能的发展。
[0003]递归神经网络(RNN)已被广泛应用于许多自然语言处理任务中，包括机器翻译、问题回答、图像说明以及文档分类。RNN具有获得输入序列的顺序信息的能力。最流行的两个递归单位是长短期记忆(LSTM)和门控递归单位(GRU)，这两个单位都可以将先前的记忆储存在隐藏状态，并使用门控机制来确定应该将多少先前的记忆与当前的输入结合起来。然而，由于递归结构，RNN不能并行计算。因此，训练RNN需要花费大量的时间，这限制了学术研究和工业应用。为了解决这个问题，几位学者试图在自然语言处理领域使用卷积神经网络而不是RNN。然而，CNN可能无法获得序列的顺序信息，这在NLP任务中是非常重要的。
[0004]一些学者试图通过改进循环单元来提高神经网络的速度，并取得了较好的效果。Bradbury等人在2017年提出的准递归神经网络(QRNN)通过将CNN与RNN相结合，速度提高了16倍。雷等人提出了简单循环单元(SRU)，其速度是LSTM的5-10倍。同样，Balduzzi和Ghifary在2016年提出的强类型递归神经网络(T-RNN)和最小门限单元(MGU)也是可以改变递归单元的方法。尽管RNN在这些研究中取得了更快的速度，递归单元有所改善，但整个序列之间的递归结构保持不变。由于还需要等待上一步的输出，所以RNN的瓶颈仍然存在。
[0005]在日常生活中，通过传感器在离散时间步长上产生的不断变化的变量，并将它们组织成的时间序列数据无处不在。例如，家庭用电量、道路占有率、货币汇率、太阳能发电量，甚至音符都可以看作是时间序列数据。在大多数情况下，收集的数据通常是多变量时间序列(MTS)数据，不同序列之间可能存在复杂的动态相互依赖关系，这些依赖关系很重要，但很难捕获和分析。

技术实现思路

[0006]本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于人体姿态估计和TPA注意力机制的跳绳个数统计方法，以期能实时检测出被检测对象的跳绳个数，从而能提高检测精度和效率。
[0007]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0008]本专利技术一种基于人体姿态估计和TPA注意力机制的跳绳个数统计方法的特点是按如下步骤进行：
[0009]步骤1：采集在基准线上身体正面的跳绳动作视频；
[0010]步骤2：使用YOLO-V5模型对所述跳绳动作视频进行检测，并将所检测出的人体区域进行放大处理，得出放大后的人体区域视频；
[0011]步骤3：使用Openpose模型对所述放大后的人体区域视频进行检测，得到人体关键点向量集合；
[0012]步骤4：提取所述人体关键点向量集合中所有腰部的关键点向量M＝[X
1,1
,Y
1,1
,D
1,1
,X
1,2
,Y
1,2
,D
1,2
,
…
,X
1,u
,Y
1,u
,D
1,u
,
…
,X
1,s
,Y
1,s
,D
1,s
]、左脚踝部位的关键点向量L＝[X
2,1
,Y
2,1
,D
2,1
,X
2,2
,Y
2,2
,D
2,2
,
…
,X
2,u
,Y
2,u
,D
2,u
,
…
,X
2,s
,Y
2,s
,D
2,s
]、右脚踝部位的关键点向量R＝[X
3,1
,Y
3,1
,D
3,1
,X
3,2
,Y
3,2
,D
3,2
,
…
,X
3,u
,Y
3,u
,D
3,u
,
…
,X
3,s
,Y
3,s
,D
3,s
]；其中，X
1,u
,Y
1,u
,D
1,u
表示腰部的关键点向量在第u个图像的横坐标、纵坐标和置信度；X
2,u
,Y
2,u
,D
2,u
表示左脚踝部位的关键点向量在第u个图像的横坐标、纵坐标和置信度；X
3,u
,Y
3,u
,D
3,u
表示右脚踝部位的关键点向量在第u个图像的横坐标、纵坐标和置信度；u∈[1,s]；s表示图像的总帧数；
[0013]步骤5：以时间t作为横坐标，分别以腰部、左、右脚踝部位的关键点向量的横、纵坐标与基准线的距离d作为纵坐标，从而构建关于d-t的腰部、左、右脚踝部位的散点图，并拟合成腰部、左、右脚踝部位的波形图，依次记为d
M-t、d
L-t、d
R-t；
[0014]步骤6：计数判断条件1：
[0015]当ε1<M|峰-谷|<ε2且ε3＜L|峰-谷|<ε4且ε5<R|峰-谷|<ε6时，则表示有跳绳动作；其中，ε1、ε2、ε3、ε4、ε5、ε6分别大于0的不同界限值；M|峰-谷|表示腰部的波形图d
M-t在单个周期时间内波峰减去波谷的数值，L|峰-谷|表示左脚踝部位的波形图d
L-t在单个周期时间内波峰减去波谷的数值；R|峰-谷|是右脚踝部位的波形图d
R-t在单个周期时间内波峰减去波谷的数值；
[0016]步骤7：计数判断条件2是采用基于TPA注意力机制的SRNN模型的输出结果进行计数辅助判断；
[0017]步骤7.1：构建数据集；
[0018]分别选取腰部、左、右脚踝部位的波形图d
M-t、d
L-t、d
R-t的单个周期内T个纵坐标所对应的距离数据依次作为腰部、左、右脚踝部位的输入序列x
r
＝[x
r,1
,x
r,2
,...,x
r,T
]；r＝1,2,3分别表示腰部、左、右脚踝部位；x
r,T
分别腰部、左或右脚踝部位的第T个距离数据；
[0019]步骤7.2：构建SRNN模型；
[0020]步骤7.2.1：将输入序列x
r
分成p个等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体姿态估计和TPA注意力机制的跳绳个数统计方法，其特征是按如下步骤进行：步骤1：采集在基准线上身体正面的跳绳动作视频；步骤2：使用YOLO-V5模型对所述跳绳动作视频进行检测，并将所检测出的人体区域进行放大处理，得出放大后的人体区域视频；步骤3：使用Openpose模型对所述放大后的人体区域视频进行检测，得到人体关键点向量集合；步骤4：提取所述人体关键点向量集合中所有腰部的关键点向量M＝[X
1,1
,Y
1,1
,D
1,1
,X
1,2
,Y
1,2
,D
1,2
,
…
,X
1,u
,Y
1,u
,D
1,u
,
…
,X
1,s
,Y
1,s
,D
1,s
]、左脚踝部位的关键点向量L＝[X
2,1
,Y
2,1
,D
2,1
,X
2,2
,Y
2,2
,D
2,2
,
…
,X
2,u
,Y
2,u
,D
2,u
,
…
,X
2,s
,Y
2,s
,D
2,s
]、右脚踝部位的关键点向量R＝[X
3,1
,Y
3,1
,D
3,1
,X
3,2
,Y
3,2
,D
3,2
,
…
,X
3,u
,Y
3,u
,D
3,u
,
…
,X
3,s
,Y
3,s
,D
3,s
]；其中，X
1,u
,Y
1,u
,D
1,u
表示腰部的关键点向量在第u个图像的横坐标、纵坐标和置信度；X
2,u
,Y
2,u
,D
2,u
表示左脚踝部位的关键点向量在第u个图像的横坐标、纵坐标和置信度；X
3,u
,Y
3,u
,D
3,u
表示右脚踝部位的关键点向量在第u个图像的横坐标、纵坐标和置信度；u∈[1,s]；s表示图像的总帧数；步骤5：以时间t作为横坐标，分别以腰部、左、右脚踝部位的关键点向量的横、纵坐标与基准线的距离d作为纵坐标，从而构建关于d-t的腰部、左、右脚踝部位的散点图，并拟合成腰部、左、右脚踝部位的波形图，依次记为d
M-t、d
L-t、d
R-t；步骤6：计数判断条件1：当ε1<M|峰-谷|<ε2且ε3＜L|峰-谷|<ε4且ε5<R|峰-谷|<ε6时，则表示有跳绳动作；其中，ε1、ε2、ε3、ε4、ε5、ε6分别大于0的不同界限值；M|峰-谷|表示腰部的波形图d
M-t在单个周期时间内波峰减去波谷的数值，L|峰-谷|表示左脚踝部位的波形图d
L-t在单个周期时间内波峰减去波谷的数值；R|峰-谷|是右脚踝部位的波形图d
R-t在单个周期时间内波峰减去波谷的数值；步骤7：计数判断条件2是采用基于TPA注意力机制的SRNN模型的输出结果进行计数辅助判断；步骤7.1：构建数据集；分别选取腰部、左、右脚踝部位的波形图d
M-t、d
L-t、d
R-t的单个周期内T个纵坐标所对应的距离数据依次作为腰部、左、右脚踝部位的输入序列x
r
＝[x
r,1
...

【专利技术属性】
技术研发人员：唐义平，汪斌，颜宋宋，丁美双，彭思瑶，李帷韬，
申请(专利权)人：安徽一视科技有限公司，
类型：发明
国别省市：