一种用于多视角视频图像的人体动作评估方法技术

本发明专利技术涉及计算机视觉图像处理技术领域，具体涉及一种用于多视角视频图像的人体动作评估方法，包括：获取测试者多个视角下的待测视频；从各个视角下的待测视频中分别选取关键视频帧；将各个视角下的关键视频帧进行拼接，得到对应的多视角拼接视频；基于多视角拼接视频从多视角的模板视频中选取对应的模板视频帧来构建多视角模板视频；基于多视角拼接视频和对应的多视角模板视频完成人体动作评估，以生成对应的动作评结果。本发明专利技术提供了一种能够应用于多视角视频图像的人体动作评估方法，以能够解决因拍摄视角局限而导致动作被遮挡的问题，从而能够提升人体动作评估的效果。从而能够提升人体动作评估的效果。从而能够提升人体动作评估的效果。

【技术实现步骤摘要】
一种用于多视角视频图像的人体动作评估方法


[0001]本专利技术涉及计算机视觉图像处理
，具体涉及一种用于多视角视频图像的人体动作评估方法。

技术介绍

[0002]随着互联网大数据信息技术的广泛应用，基于视觉图像的人体行为侦测和识别技术的应用场景也越来越多。通过对人体的表情、体态等动作特征进行分析，位于人们在公共场合或特定活动空间的行为侦测和预判等技术应用而言，能够提供丰富的识别特征信息，是人类活动大数据信息的一个重要组成部分。
[0003]例如，在运动竞技及健康筛查等领域就需要对人体的动作进行识别，以便对动作的标准情况进行评估。动作评估需要基于动作评估标准和动作评估决策依据进行。早期常用的评估方法是评估者用眼睛观察测试者的动作，并将测试者的动作与标准动作图样进行人为比较以给予分值；同时，评估者手持摄像机进行视频提取，然后用视频截图保存作为备查。上述现有方法不光浪费人力、物力，并且人为判断时也会由于主观性的原因造成评估结果不够客观和准确。
[0004]随着计算机技术的发展，现有技术中出现了基于视频进行动作评估的方法。例如，公开号为CN108205654B的中国专利就公开了《一种基于视频的动作检测方法及装置》，其方法包括：检测待检测视频的视频帧中的肢体关键点；根据肢体关键点获得对应的行为特征；基于行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。
[0005]上述现有方案中的动作检测方法基于视频帧中的肢体关键点获得行为特征，进而基于行为特征及全局动作评估模型进行动作评估。动作评估，一般是将待测视频中的各个视频帧与模板视频中的对应视频帧进行对比并计算相似度，进而根据相似度来判断动作完成情况。但是，对于某些较为复杂的动作而言，需要对动作进行多个方位的评估，以避免因拍摄视角局限而导致动作被遮挡的问题。然而，现有动作评估方法主要是针对单一视角的动作评估，将其应用于多视角视频图像的动作评估场景时，存在视频图像的视角难以有效切换的问题，导致人体动作评估的效果不好。因此，如何设计一种能够应用于多视角视频图像的人体动作评估方法是亟需解决的技术问题。

技术实现思路

[0006]针对上述现有技术的不足，本专利技术所要解决的技术问题是：如何提供一种能够应用于多视角视频图像的人体动作评估方法，以解决因拍摄视角局限而导致动作被遮挡的问题，从而提升人体动作评估的效果。
[0007]为了解决上述技术问题，本专利技术采用了如下的技术方案：
[0008]一种用于多视角视频图像的人体动作评估方法，包括以下步骤：
[0009]S1：获取测试者多个视角下的待测视频；
[0010]S2：从各个视角下的待测视频中分别选取关键视频帧；
[0011]S3：将各个视角下的关键视频帧进行拼接，得到对应的多视角拼接视频；
[0012]S4：基于多视角拼接视频从多视角的模板视频中选取对应的模板视频帧来构建多视角模板视频；
[0013]S5：基于多视角拼接视频和对应的多视角模板视频完成人体动作评估，以生成对应的动作评结果。
[0014]优选的，步骤S2中，通过如下步骤选取关键视频帧：
[0015]S201：对各个视角下待测视频的视频帧进行骨架分析和姿态分析，生成对应视频帧的人体关键点坐标图；
[0016]S202：计算人体关键点坐标图中各个关键点的置信度；
[0017]S203：根据对应的动作评估标准确定目标关键点；
[0018]S204：从一个视角开始，按时间顺序选取目标关键点的置信度大于或等于设置阈值的视频帧作为关键视频帧；若当前视角中目标关键点的置信度小于设置阈值，则选择其他视角中目标关键点的置信度大于或等于设置阈值的视频帧作为关键视频帧；
[0019]S205：重复步骤S204，直至各个视角下的关键视频帧选取完成。
[0020]优选的，步骤S201中，首先将对应的视频帧输入经过预先训练的姿态估计模型中，输出对应的热度图；然后通过热度图计算关键点坐标，以得到对应的人体关键点坐标图；
[0021]其中，训练姿态估计模型时，获取用于训练的姿态数据集；然后将姿态数据集中训练图上预先标注的标签转换为对应的热度图标签，以得到对应的标签热度图；最后基于标签热度图训练姿态估计模型；计算关键点的坐标时，首先获取热度图，并对热度图进行降维；然后计算热度图中对应关键点的最大热度值索引；最后通过热度图中最大热度值对应的索引结合热度图尺寸计算对应关键点的坐标。
[0022]优选的，步骤S202中，计算关键点的置信度时，首先对关键点热度图进行降维，然后通过如下公式计算对应的置信度；
[0023][0024]上述式中：e表示自然常数；β表示校准系数；i、j分别表示一维热度图的索引；x
i
、x
j
表示对应索引i和j的热度值。
[0025]优选的，步骤S3中，选取得到各个视角下的关键视频帧后，按照时间顺序对各个视角下的关键视频帧进行拼接得到多视角拼接视频。
[0026]优选的，步骤S5中，通过如下步骤完成人体动作评估：
[0027]S501：对多视角拼接视频的关键视频帧进行骨架分析和姿态分析，生成对应关键视频帧的人体关键点坐标图；
[0028]S502：基于人体关键点坐标图结合相应的动作评估标准选取多帧关键视频帧作为最优视频帧；
[0029]S503：基于各帧最优视频帧从多视角模板视频中选取对应的多帧模板视频帧作为最优模板视频帧；
[0030]S504：分别基于各帧最优视频帧和各帧最优模板视频帧计算多视角拼接视频的运动状态信息和多视角模板视频的运动标准信息；
[0031]S505：将多视角拼接视频的运动状态信息和多视角模板视频的运动标准信息进行对比，生成对应的动作评估结果。
[0032]优选的，步骤S502中，选取各帧最优视频帧时，首先基于人体关键点坐标图计算各个关键点间的角度信息；然后基于关键点间的角度信息确定人体关键点坐标图中的推荐关键点；最后基于人体关键点坐标图中推荐关键点和动作评估标准选取对应的多帧最优视频帧。
[0033]优选的，关键点间的角度信息为逆时针旋转角；
[0034]通过如下步骤计算逆时针旋转角：
[0035]S511：获取用于计算逆时针旋转角的关键点坐标A、B、C；
[0036]S512：基于关键点坐标A、B、C计算对应的关键点向量和关键点向量
[0037]S513：将关键点向量沿逆时针方向旋转，直至与关键点向量重合；然后将关键点向量旋转至关键点向量的角度作为对应的逆时针旋转角。
[0038]优选的，步骤S503中，选取最优模板视频帧时，基于最优视频帧的人体关键点坐标图计算对应的关键点特征值，然后从多视角模板视频中匹配预设特征值与关键点特征值相对应的视频帧作为最优视频帧的最优模板视频帧；
[0039]关键点特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于多视角视频图像的人体动作评估方法，其特征在于，包括以下步骤：S1：获取测试者多个视角下的待测视频；S2：从各个视角下的待测视频中分别选取关键视频帧；S3：将各个视角下的关键视频帧进行拼接，得到对应的多视角拼接视频；S4：基于多视角拼接视频从多视角的模板视频中选取对应的模板视频帧来构建多视角模板视频；S5：基于多视角拼接视频和对应的多视角模板视频完成人体动作评估，以生成对应的动作评结果。2.如权利要求1所述的用于多视角视频图像的人体动作评估方法，其特征在于，步骤S2中，通过如下步骤选取关键视频帧：S201：对各个视角下待测视频的视频帧进行骨架分析和姿态分析，生成对应的人体关键点坐标图；S202：计算人体关键点坐标图中各个关键点的置信度；S203：根据对应的动作评估标准确定目标关键点；S204：从一个视角开始，按时间顺序选取目标关键点的置信度大于或等于设置阈值的视频帧作为关键视频帧；若当前视角中目标关键点的置信度小于设置阈值，则选择其他视角中目标关键点的置信度大于或等于设置阈值的视频帧作为关键视频帧；S205：重复步骤S204，直至各个视角下的关键视频帧选取完成。3.如权利要求2所述的用于多视角视频图像的人体动作评估方法，其特征在于，步骤S201中，首先将对应的视频帧输入经过预先训练的姿态估计模型中，输出对应的热度图；然后通过热度图计算关键点坐标，以得到对应的人体关键点坐标图；其中，训练姿态估计模型时，获取用于训练的姿态数据集；然后将姿态数据集中训练图上预先标注的标签转换为对应的热度图标签，以得到对应的标签热度图；最后基于标签热度图训练姿态估计模型；计算关键点的坐标时，首先获取热度图，并对热度图进行降维；然后计算热度图中对应关键点的最大热度值索引；最后通过热度图中最大热度值对应的索引结合热度图尺寸计算对应关键点的坐标。4.如权利要求3所述的用于多视角视频图像的人体动作评估方法，其特征在于，步骤S202中，计算关键点的置信度时，首先对关键点热度图进行降维，然后通过如下公式计算对应的置信度；上述式中：e表示自然常数；β表示校准系数；i、j分别表示一维热度图的索引；x
i
、x
j
表示对应索引i和j的热度值。5.如权利要求2所述的用于多视角视频图像的人体动作评估方法，其特征在于：步骤S3中，选取得到各个视角下的关键视频帧后，按照时间顺序对各个视角下的关键视频帧进行拼接得到多视角拼接视频。6.如权利要求1所述的用于多视角视频图像的人体动作评估方法，其特征在于，步骤S5
中，通过如下步骤完成人体动作评估：S501：对多视角拼接视频的关键视频帧进行骨架分析和姿态分析，生成对应关键视频帧的人体关键点坐标图；S502：基于人体关键点坐标图结合相应的动作评估标准选取多帧关键视频帧作为最优视频帧；S503：基于各帧最优视频帧从多视角模板视频中选取对应的多帧模板视频帧作为最优模板视频帧；S50...

【专利技术属性】
技术研发人员：钟代笛，仲元红，冉琳，王新月，郭雨薇，徐乾锋，赵艳霞，魏晓燕，黄智勇，周庆，葛亮，唐枋，靳虎，
申请(专利权)人：重庆大学，
类型：发明
国别省市：