基于关键点检测的视频动作整齐度评估方法及系统技术方案

本发明专利技术涉及一种基于关键点检测的视频动作整齐度评估方法及系统，该方法包括以下步骤：步骤S1：获取数据集并预处理，训练基于计算机视觉的关键点检测算法；步骤S2：采用所述关键点检测算法对输入的视频图像识别提取骨骼关键点，并输出信息；步骤S3：采用基于余弦相似度的肢体整齐度算法对关键点的信息进行处理，计算肢体整齐度；步骤S4：采用基于距离度量的关节整齐度算法计算关节整齐度，基于肢体和关节整齐度计算综合整齐度，完成最终的评估。该方法及系统可以有效地对视频中的动作整齐度进行评估。进行评估。进行评估。

【技术实现步骤摘要】
基于关键点检测的视频动作整齐度评估方法及系统


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于关键点检测的视频动作整齐度评估方法及系统。

技术介绍

[0002]近年来，随着互联网和多媒体科技的飞速发展，对图像、视频的需求也日益增长，需求的增长带动了图像、视频处理技术的高速发展，如图像识别、视频分析、动作评分等。随着人工智能技术的不断发展及其场景化应用的不断成熟，对视频中的动作进行分析这一相关课题吸引着越来越多的学者投身研究。越来越多的学者研究发表更快更准的目标检测算法、关键点检测算法，更进一步对视频动作检测、姿态识别、动作跟踪等相关领域有着不断突破。
[0003]尽管视频图像处理技术与关键点检测技术已经取得很大进步，在真实环境应用上仍有许多创新的突破口。如今，很多所谓的专家对各类团体舞蹈、军训军姿、运动竞技等需要整齐度的动作做出评价，但个人的评价通常会带有主观因素，所以往往会出现人们对这些专家评价带有不同的态度与看法，引出一系列争论。

技术实现思路

[0004]本专利技术的目的在于提供一种基于关键点检测的视频动作整齐度评估方法及系统，该方法及系统可以有效地对视频中的动作整齐度进行评估。
[0005]为实现上述目的，本专利技术采用的技术方案是：一种基于关键点检测的视频动作整齐度评估方法，包括以下步骤：
[0006]步骤S1：获取数据集并预处理，训练基于计算机视觉的关键点检测算法；
[0007]步骤S2：采用所述关键点检测算法对输入的视频图像识别提取骨骼关键点，并输出信息；
[0008]步骤S3：采用基于余弦相似度的肢体整齐度算法对关键点的信息进行处理，计算肢体整齐度；
[0009]步骤S4：采用基于距离度量的关节整齐度算法计算关节整齐度，基于肢体和关节整齐度计算综合整齐度，完成最终的评估。
[0010]进一步地，所述步骤S1具体包括以下步骤：
[0011]步骤S11：从网络上获取公开的团体动作场景数据集；
[0012]步骤S12：对数据集进行预处理，针对包括人物遮挡、镜像、模糊、个人不同动作、无关元素的影响因素进行处理，筛选合适的图像，剪辑出符合要求的视频片段，完成数据集的构建；
[0013]步骤S13：对数据集进行标注，将数据集按照一定比例划分训练集和测试集，并用训练集对基于YOLOF和HRNet的关键点检测算法进行训练。
[0014]进一步地，所述步骤S2具体包括以下步骤：
[0015]步骤S21：对于输入的视频图像，将其分成多个帧并进行逐帧处理，对于一个帧图像，用步骤S1中训练好的基于YOLOF的目标检测模型检测出目标人体位置框；
[0016]步骤S22：将S21检测出的位置框信息输入基于HRNet的人体关键点检测算法，得出以骨骼关键点表示的人体姿态估计图，人体姿态估计图包含人体常用的鼻子、左右眼睛、左右耳朵、左右肩膀、左右手肘、左右手腕、左右臀部、左右膝盖以及左右脚踝，共17个骨骼点；
[0017]步骤S23：将步骤S22得出的人体骨骼关键点进行编号，以JSON格式输出帧名、人物编号、各编号关键点的位置信息、检测置信度以及整个人的综合置信度。
[0018]进一步地，所述步骤S3具体包括以下步骤：
[0019]步骤S31：将人体的四肢各部分分别进行编号，各部位以ID∈(0,1,2,
……
,7)来表示，ID分别表示左前臂、左上臂、右前臂、右上臂、左大腿、左小腿、右大腿、右小腿；
[0020]步骤S32：对于一个帧图像，将各位目标人体两两之间的肢体转化为向量进行计算，每一个肢体部位涉及两个骨骼点，然后采用以下余弦相似度公式计算同一个肢体部位的整齐程度：
[0021][0022]其中，θ表示角度，x
1_man
与y
1_man
分别是第一个人的肢体向量的x坐标和y坐标，x
2_man
与y
2_man
分别是第二个人的肢体向量的x坐标和y坐标；
[0023]步骤S33：将同一肢体部位两两之间的相似度求均值，即为该肢体的相似度，计算各部位的相似度求均值即为该帧的动作整齐度，求各帧整齐度的均值即为视频整体的肢体整齐度：
[0024][0025]其中，S
cos
表示肢体余弦相似度，k表示同一个肢体两两之间的第k个相似度，m表示其总数，j_cos表示第j个肢体，i表示第i个帧，n表示帧总数。
[0026]进一步地，所述步骤S4具体包括以下步骤：
[0027]步骤S41：将运动中人体常用的各个关节分别进行编号，每个关节涉及步骤S3所述的两个肢体部分，各关节以ID∈(0,1,2,
……
,5)来表示，ID分别表示左手肘角度、左肩膀角度、右手肘角度、右肩膀角度、左膝盖角度、右膝盖角度；
[0028]步骤S42：对于一个关节，找出该关节涉及的两部分肢体，分别计算这两部分与X轴的夹角，采用以下公式计算该关节角度：
[0029][0030]其中，angle为关节角度，Δ1与Δ2分别是该关节对应的两肢体部分与X轴的夹角；
[0031]求出每个人该关节角度后，两两求差值得出关节基于距离度量的差异数组，将该数组进行离差归一化，并用以下公式得出该关节基于距离度量的相似度：
[0032][0033]其中，表示第j个关节基于距离度量的相似度，min和max分别表示距离度量差异数组的最小值和最大值，g
p
表示差异数组的值，t为数组元素个数；
[0034]步骤S43：对于一个帧图像，计算各关节的相似度求均值即为该帧的动作整齐度，求各帧整齐度的均值即为视频整体的关节整齐度：
[0035][0036]其中，S
gap
表示关节距离相似度，j_gap表示第j个关节，i表示第i个帧，n表示帧总数；
[0037]步骤S44：对于某一帧中的同一动作，先计算每个人的各肢体基于余弦相似度的整齐度后，再计算两两肢体间的关节基于距离度量的相似度，综合获得该部分肢体及涉及关节的整齐度，即视频图像的综合整齐度：
[0038]S＝λ1S
cos
+λ2S
gap
[0039]其中，S为综合整齐度，λ1和λ2分别表示肢体余弦相似度和关节距离相似度的权重参数。
[0040]本专利技术还提供了一种基于关键点检测的视频动作整齐度评估系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的程序指令，当处理器运行该程序指令时，能够实现上述的方法步骤。
[0041]与现有技术相比，本专利技术具有以下有益效果：
[0042]1、针对传统人体姿态估计精度不够的问题，本专利技术提出了针对动作整齐度评估应用场景进行训练的目标检测和关键点检测算法的结合，能够有效地对视频中的目标人物进行识别，过滤背景中无关的模糊、较小的动物，包括无关人员，提升了关键点检测的准确率，而且降低了输入的视频图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键点检测的视频动作整齐度评估方法，其特征在于，包括以下步骤：步骤S1：获取数据集并预处理，训练基于计算机视觉的关键点检测算法；步骤S2：采用所述关键点检测算法对输入的视频图像识别提取骨骼关键点，并输出信息；步骤S3：采用基于余弦相似度的肢体整齐度算法对关键点的信息进行处理，计算肢体整齐度；步骤S4：采用基于距离度量的关节整齐度算法计算关节整齐度，基于肢体和关节整齐度计算综合整齐度，完成最终的评估。2.根据权利要求1所述的基于关键点检测的视频动作整齐度评估方法，其特征在于，所述步骤S1具体包括以下步骤：步骤S11：从网络上获取公开的团体动作场景数据集；步骤S12：对数据集进行预处理，针对包括人物遮挡、镜像、模糊、个人不同动作、无关元素的影响因素进行处理，筛选合适的图像，剪辑出符合要求的视频片段，完成数据集的构建；步骤S13：对数据集进行标注，将数据集按照一定比例划分训练集和测试集，并用训练集对基于YOLOF和HRNet的关键点检测算法进行训练。3.根据权利要求2所述的基于关键点检测的视频动作整齐度评估方法，其特征在于，所述步骤S2具体包括以下步骤：步骤S21：对于输入的视频图像，将其分成多个帧并进行逐帧处理，对于一个帧图像，用步骤S1中训练好的基于YOLOF的目标检测模型检测出目标人体位置框；步骤S22：将S21检测出的位置框信息输入基于HRNet的人体关键点检测算法，得出以骨骼关键点表示的人体姿态估计图，人体姿态估计图包含人体常用的鼻子、左右眼睛、左右耳朵、左右肩膀、左右手肘、左右手腕、左右臀部、左右膝盖以及左右脚踝，共17个骨骼点；步骤S23：将步骤S22得出的人体骨骼关键点进行编号，以JSON格式输出帧名、人物编号、各编号关键点的位置信息、检测置信度以及整个人的综合置信度。4.根据权利要求3所述的基于关键点检测的视频动作整齐度评估方法，其特征在于，所述步骤S3具体包括以下步骤：步骤S31：将人体的四肢各部分分别进行编号，各部位以ID∈(0,1,2,
……
,7)来表示，ID分别表示左前臂、左上臂、右前臂、右上臂、左大腿、左小腿、右大腿、右小腿；步骤S32：对于一个帧图像，将各位目标人体两两之间的肢体转化为向量进行计算，每一个肢体部位涉及两个骨骼点，然后采用以下余弦相似度公式计算同一个肢体部位的整齐程度：其中，θ表示角度，x
1_man
与y
1_man
分别是第一个人的肢体向量的x坐标和y坐标，x
...

【专利技术属性】
技术研发人员：柯逍，许煌标，
申请(专利权)人：福州大学，
类型：发明
国别省市：