一种基于深度学习网络的运动项目计数方法技术

本发明专利技术公开了基于一种基于深度学习网络的运动项目计数方法，包括如下步骤：步骤一

【技术实现步骤摘要】
帧的
Y1
都为0，而
tn
帧的输出为
Y1
等于1，
Y2
‑
Y10
等于0；
[0015](4)
损失计算：取
t1
至
tn
‑1的输出
Y1
，与
tn
的输出
Y1
至
Y10
，根据他们与真值的差异计算损失；
[0016](5)
模型迭代：将
t1
到
tn
帧依次输入模型视为一次迭代，记录中间过程中所有参数，根据模型损失反向传播，计算
t1
至
tn
时刻各模型参数的修正值，并对所有相同位置的修正值取平均用来更新模型；
[0017]步骤六
、
模型推理：训练好模型后，使用与训练时相同的数据预处理方式，将每帧结果拼接上上一帧的输出
Y2
‑
Y10
，组成
1X60
的数据，输入模型，并获得模型的输出
Y1
‑
Y10
，其中
Y1
表示计数结果：若为1表示计数加一，
Y2
‑
Y10
将作为下一帧输入中的
X52
‑
X60。
[0018]进一步，标注工具对运动计数算法相关数据进行标注，其自动将视频拆分为时域连续的单帧图片
,
每帧的默认标注结果都为
0,
用户浏览每一帧图片
,
并在满足计数条件的帧上点击“计数加一”按钮
,
该帧对应的真值被改为
1。
[0019]进一步，人体关键点检测算法中，通过一张人物图像，获取图像中人体的姿态的位置估计，采用单人姿态估计，将一张单人图像输入训练好的深度学习网络，便获得该图像上对于各人体关键的坐标位置的预测结果
。
[0020]进一步，深度学习网络包括
MoveNet
或
HRNet。
[0021]进一步，在获得运动人员的各个身体关键点坐标中，以
COCO
人体关键点数据格式为例，共有
17
个人体关键点，每个关键点有三个参数，分别为该关键点的
X
坐标
、Y
坐标
、
置信度
。
[0022]进一步，在训练数据预处理中，对于跳绳
、
仰卧起坐这类与周围环境无关的运动项目，为提高检测准确性，可将坐标原点移至人体左上角，以膝盖臀部距离的五倍作为
X、Y
方向的最大值，再将
X、Y
归一化到0‑1；而对于引体向上
、
折返跑这类需要环境道具的运动项目，可使用画面最大长宽将其归一化到0‑
1。
[0023]本专利技术由于采用了上述技术方案，具有以下有益效果：
[0024]1、
本专利技术该方案采用自行开发的深度学习网络，结合训练数据的不同，动态迭代模型，使得模型可以处理连续动作，对于运动算法计数方面有着显著效果；并且对于复杂程度较高的运动算法，相较于传统逻辑规则计数的方案，在计数准确性上有着更为明显的提升
。
[0025]2、
该方案在应用过程中只需用户提供原始运动视频，并根据视频内容进行简单标注，待训练完成后及完成了整个算法的开发
。
不需要专业知识，开发成本低，开发周期短
。
并且后期如果考虑其他情况，只需提供相应的视频，标注后继续训练模型，即可完成算法的迭代
。
迭代更新的成本也大大降低
。
附图说明
[0026]下面结合附图对本专利技术作进一步说明：
[0027]图1为本专利技术中模型建立的示意图；
[0028]图2为本专利技术中模型训练的示意图；
[0029]图3为本专利技术中
COCO
人体关键点点位图
。
具体实施方式
[0030]如图1至图3所示，为本专利技术使用深度学习网络结构，取代逻辑规则用来对各运动项目进行计数，用户只需使用开发的标注工具对数据进行简单
、
快速标注，然后将标注好的数据送入网络中训练模型即可实现对运动项目的计数
。
而且该方案后期迭代简单，只需增加新的数据，并继续训练模型即可完成对新规则的适配，开发周期短，成本低
。
[0031]一种基于深度学习网络的运动项目计数方法，包括如下步骤：
[0032]步骤一
、
数据标注：对于计数算法，用户只需将运动视频导入标注工具，就可逐帧查看运动状态，并在满足计数条件的帧上点击“计数加一”，即可快速完成对数据的标注工作
。
[0033]通过本专利技术的标注工具可以做到对运动计数算法相关数据的快速标注，以跳绳为例，只需将跳绳视频导入标注工具，标注工具会自动将视频拆分为时域连续的单帧图片
,
每帧的默认标注结果都为
0,
用户可快速浏览每一帧图片
,
并在满足计数条件的帧上点击“计数加一”按钮
,
该帧对应的真值被改为
1。
只需快速浏览一遍视频内容
,
便可快速完成标注工作
。
[0034]步骤二
、
训练数据准备：首先使用人体关键点检测算法，获得运动人员的各个身体关键点坐标
。
人体关键点检测算法也称为人体姿态估计，其是计算机视觉中一个很基础的任务
。
通过一张人物图像，获取图像中人体的姿态
(
关键点，比如头
、
左手
、
右脚等
)
的位置估计
。
此处只采用单人姿态估计，将一张单人图像输入训练好的深度学习网络
(
如
MoveNet,HRNet)
，便获得该图像上对于各人体关键的坐标位置的预测结果
。
以
COCO
人体关键点数据格式为例，共有
17
个人体关键点，每个关键点有三个参数，分别为该关键点的
X
坐标
、Y
坐标
、
置信度，如图3所示，
17
个人体关键点分别为：0为鼻子；1为左眼；2为右眼；3为左耳；4为右耳；5为左肩；6为右肩；7为左手肘；8为右手肘；9为左手腕；
10
为右手腕；
11
为左臀；
12
为右臀；
13
为左膝盖；
14
为右膝盖；
15
为左脚踝；
16
为右脚踝
。
[0035]步骤三
、
训练数据预处理：对于跳绳
、...

【技术保护点】

【技术特征摘要】
1.
一种基于深度学习网络的运动项目计数方法，其特征在于，包括如下步骤：步骤一
、
数据标注：用户将运动视频导入标注工具，逐帧查看运动状态，并在满足计数条件的帧上对数据标注；步骤二
、
训练数据准备：使用人体关键点检测算法，获得运动人员的各个身体关键点坐标；步骤三
、
训练数据预处理：针对运动项目和周围环境的关系，对数据处理；步骤四
、
模型建立：模型采用多层全联接层组成，其输入维度为
1X60
，记为
X1
‑
X60
，输出维度为
1X10
，记为
Y1
‑
Y10
；全部采用
relu
激活函数；步骤五
、
模型训练：
(1)
每次从标注数据中取
n
帧，其中
n
为每次标注到上一次标注之间的所有连续帧的个数；
(2)
模型输入：将每帧结果展平为
1X51
，放人
X1
‑
X51
，拼接上上一帧模型输出
Y2
‑
Y10
，组成组成
1X60
的输入，首帧输入时
X52
‑
X60
为0；
(3)
模型输出真值：依次将
t1
到
tn
帧输入上述结构，输出结果的真值为：
t1
至
tn
‑1帧的
Y1
都为0，而
tn
帧的输出为
Y1
等于1，
Y2
‑
Y10
等于0；
(4)
损失计算：取
t1
至
tn
‑1的输出
Y1
，与
tn
的输出
Y1
至
Y10
，根据他们与真值的差异计算损失；
(5)
模型迭代：将
t1
到
tn
帧依次输入模型视为一次迭代，记录中间过程中所有参数，根据模型损失反向传播，计算
t1

【专利技术属性】
技术研发人员：栾博恒，易金城，李雨雨，周河，
申请(专利权)人：戈迪斯杭州智能技术有限公司，
类型：发明
国别省市：