一种基于视觉人体姿势估计的实时辅助训练方法及设备技术

本发明专利技术公开了一种基于视觉人体姿势估计的实时辅助训练方法及设备，属于辅助训练领域技术领域。辅助训练方法的步骤包括利用摄像头获取运动人员训练的实时画面；利用穿戴设备，捕捉运动人员训练动作；基于摄像头获取的运动人员训练的实时画面，通过人体姿态估计算法，实时提取运动人员的姿势关键点和训练器材位置，并在Unity3D中重建虚拟人物；根据穿戴设备捕捉到的运动人员训练动作、运动人员姿势的变化以及Unity3D中重建虚拟人物，构建虚拟训练场景；将提取的球运动人员姿势关键点与训练器材位置输入到质量评分模型，得到姿势质量；在虚拟训练场景中，以姿势质量作为奖赏，通过强化学习自适应地给辅助训练设备发送校正电信号，调整运动人员的训练姿势。调整运动人员的训练姿势。调整运动人员的训练姿势。

【技术实现步骤摘要】
一种基于视觉人体姿势估计的实时辅助训练方法及设备


[0001]本专利技术涉及辅助训练
，具体为一种基于视觉人体姿势估计的实时辅助训练方法及设备。

技术介绍

[0002]体育运动一直深受大家喜爱，每项体育运动都需要经过大量的训练，才能够学会且练好。尤其是对于专业的运动人员，他们不仅需要进行大量的训练，还必须经过专业的指导，才能提升技术，如若不能经过专业指导不仅不会有技术上的提升，还会容易造成身体上的损伤。
[0003]随着科技的进步，体育运动的训练也逐渐变得智能化，现有技术中的体育训练智能化大多数体现在智能辅助训练设备上，对于智能化的辅助训练方法还存在很大的缺陷，在大多数运动训练中，是通过捕捉整体身体姿态、动作以及身体各部位的运动轨迹形成电子数据，对这些数据进行分析，从而对运动人员的训练进行质量评价或者根据数据分析结果，人为的选择合适的训练项目。
[0004]在对现有技术的研究和实践过程中，大多采用可追踪运动轨迹的可穿戴电子设备采集数据并不全面，仅限于佩戴该电子设备的区域的运动数据，无法对运动人员完成一整个运动的全过程进行分析判断，无法针对运动人员的技术水平，智能化的推荐合适的训练项目，来逐步、长期提升技战术水平，更无法做到人和机器的实时交互，机器根据运动人员训练的状态进行针对性提示训练。

技术实现思路

[0005]本专利技术的目的在于提供一种基于视觉人体姿势估计的实时辅助训练方法及设备，本专利技术综合利用计算机视觉人体姿势估计、强化学习的技术，开发一套智能、实时、交互性强的辅助训练设备及训练方法，以解决上述
技术介绍
中提出的无法进行智能化训练项目及无法实时进行人机实时交互的问题。
[0006]为了解决上述技术问题，本专利技术提供如下技术方案：一种基于视觉人体姿势估计的实时辅助训练方法：
[0007]利用摄像头获取运动人员训练的实时画面；
[0008]利用穿戴设备，捕捉运动人员训练动作；
[0009]基于摄像头获取的运动人员训练的实时画面，通过人体姿态估计算法，实时提取运动人员的姿势关键点和训练器材位置，并在Unity3D中重建虚拟人物；
[0010]根据穿戴设备捕捉到的运动人员训练动作、运动人员姿势的变化以及Unity3D中重建虚拟人物，构建虚拟训练场景；通过视觉重建，可以在屏幕上进行实时展示运动员的动作，并通过Unity3D构建不同的虚拟场景和道具，可以让运动员实现不同场景、不同环境的训练，并可以实时观察自己的动作在场景中的展示，也可以增加训练的趣味性。
[0011]将提取的球运动人员姿势关键点与训练器材位置输入到质量评分模型，得到姿势
质量；使得运动人员对自己的训练指令有明确的认知；
[0012]在虚拟训练场景中，以姿势质量作为奖赏，通过强化学习自适应地给辅助训练设备发送校正电信号，调整运动人员的训练姿势，通过使用强化学习，可以对运动员的一个完整的动作进行分析判断，推荐合适的训练项目，提升运动员的技战术水平，且能够通过佩带设备向运动人员进行训练提示。
[0013]根据上述技术方案，所述虚拟训练场景包括虚拟运动场地、虚拟训练器材、虚拟训练器材的状态、虚拟运动人员以及虚拟运动人员的运动姿态。
[0014]根据上述技术方案，所述质量评分模型建立的步骤包括：
[0015]从训练数据库中获取训练视频；
[0016]将获取的训练视频，利用人体姿势估计算法和物体监测算法，提取运动人员的动作序列；
[0017]将运动人员的动作序列输入到动作标注模型，得到运动人员的动作类型和质量标注；
[0018]基于运动人员的动作类型和质量，利用深度学习时间序列对每一个动作质量进行回归预测建立预测模型，预测的特征为运动人员的动作序列中的人体姿势关键点位置、训练器材的位置，回归的目标为运动人员的动作的质量标注，利用随机梯度法对预测模型进行模型训练，训练完成的模型，即为质量评分模型。
[0019]所述训练器材为训练场上所有训练用的器材；所述训练视频包括各种比赛视频、教程视频、指导视频等；所述人体姿势估计算法和物体监测算法属于现有技术在此不做详细说明；所述深度学习的网络结构可以采用三维卷积神经网络模型。
[0020]根据上述技术方案，所述提取运动人员的动作序列的步骤包括：
[0021]利用人体姿势估计算法提取训练视频内人体姿势估计的关键点；
[0022]利用物体检测算法提取训练器材的位置；
[0023]将人体姿势估计的关键点和训练器材的位置数据组合成帧；所述人体姿势估计的关键点和训练器材的位置数据映射在三维空间坐标系中，按照从左向右的顺序组合成帧；
[0024]利用谱聚类算法对连续的帧进行聚类，距离为连续两帧之间的表示向量的欧式距离：如果相邻的两帧之间差距大于θ，认为是不同的动作，如果两帧之间的差距小于θ，则认为是同一个动作，对动作不同的帧再进行聚类，提取关键帧；运动人员的每个动作序列对应的关键帧也是唯一的；连续的帧可以形成动画。
[0025]根据上述技术方案，所述动作标注模型是计算每个运动人员动作序列每个人体姿势估计的关键点之间的角度以及与训练器材的位置的角度的组合，与标准数据库中角度组合进行比对，判断运动人员动作类型和质量。
[0026]根据上述技术方案，所述校正电信号包括训练项目电信号、单独调整电信号、整体调整电信号和休息电信号等。
[0027]一种基于视觉人体姿势估计的实时辅助训练设备，包括摄像头、固定携带传感器的可穿戴设备、音频装置和显示装置；
[0028]所述摄像头用于采集运动人员训练的实时视频；
[0029]所述固定携带传感器的可穿戴设备，用于捕捉运动人员的动作，并接收单独调整电信号、整体调整电信号和休息电信号等，对运动人员进行肢体校正反馈；包括脚腕可佩戴
设备、手腕可穿戴设备等；
[0030]所述音频装置和显示装置，用于根据训练项目电信号、单独调整电信号、整体调整电信号和休息电信号等对运动人员进行校正信息反馈，所述音频设备包括收音设备、播音设备等。
[0031]与现有技术相比，本专利技术所达到的有益效果是：
[0032]本方案利用摄像头获取训练画面，并利用人体姿态估计算法，实时提取运动人员的姿势关键点和训练器材位置，并在Unity3D中重建虚拟人物，根据穿戴设备捕捉到的运动人员训练动作、运动人员姿势的变化以及Unity3D中重建虚拟人物，构建虚拟训练场景，实现视觉重建，可以在屏幕上进行实时展示运动员的动作，并通过Unity3D构建不同的虚拟场景和道具，可以让运动员实现不同场景、不同环境的训练，并可以实时观察自己的动作在场景中的展示，认识到自己的不足，可以更好的提升自己；也可以增加训练的趣味性，可以渲染多种场景，并且具有实时性；通过使用强化学习，以增加运动员的训练质量为奖赏，推荐合适的训练项目，提升运动员的技战术水平，且可以对运动员的一个完整的动作进行分析判断；并通过佩戴设进行动作反馈，增强交互性。本专利技术综合利用计算机视觉人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉人体姿势估计的实时辅助训练方法，其特征在于：利用摄像头获取运动人员训练的实时画面；利用穿戴设备，捕捉运动人员训练动作；基于摄像头获取的运动人员训练的实时画面，通过人体姿态估计算法，实时提取运动人员的姿势关键点和训练器材位置，并在Unity3D中重建虚拟人物；根据穿戴设备捕捉到的运动人员训练动作、运动人员姿势的变化以及Unity3D中重建虚拟人物，构建虚拟训练场景；将提取的球运动人员姿势关键点与训练器材位置输入到质量评分模型，得到姿势质量；在虚拟训练场景中，以姿势质量作为奖赏，通过强化学习自适应地给辅助训练设备发送校正电信号，调整运动人员的训练姿势。2.根据权利要求1所述的一种基于视觉人体姿势估计的实时辅助训练方法，其特征在于：所述虚拟训练场景包括虚拟运动场地、虚拟训练器材、虚拟训练器材的状态、虚拟运动人员以及虚拟运动人员的运动姿态。3.根据权利要求1所述的一种基于视觉人体姿势估计的实时辅助训练方法，其特征在于：所述质量评分模型建立的步骤包括：从训练数据库中获取训练视频；将获取的训练视频，利用人体姿势估计算法和物体监测算法，提取运动人员的动作序列；所述运动人员的动作序列包括人体姿势关键点位置和训练器材的位置；将运动人员的动作序列输入到动作标注模型，得到运动人员的动作类型和质量标注；基于运动人员的动作类型和质量，利用深度学习时间序列对每一个动作质量进行回归预测建立预测模型，预测的特征为运动人员的动作序列中的人体姿势关键点位置...

【专利技术属性】
技术研发人员：张伯雷，陈子钰，周剑，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：