一种基于草图体感手势的虚拟体育应用方法技术

本发明专利技术一种基于草图体感手势的虚拟体育应用方法，所述应用包括数据采集模块、人体关节点检测模块、指令转换模块和前端可视化应用模块。数据采集模块包括数据处理单元和摄像头，实现捕捉人体的肢体动作；人体关节点检测模块使用关节点检测算法获取肢体的关节点坐标；指令转换模块利用基于草图分类的手势识别模型实现由手部关节点运动轨迹到草图再到识别结果的转换以及基于肢体关节点位置关系的指令转换；前端可视化应用模块实现在虚拟场景中的交互。应用本发明专利技术可以在无需外部设备依赖的情况下使用新型的空气交互方式实现室内运动娱乐，具有更强的参与度和趣味性。具有更强的参与度和趣味性。

【技术实现步骤摘要】
一种基于草图体感手势的虚拟体育应用方法


[0001]本专利技术属于体育应用方法领域，具体为一种基于草图体感手势的虚拟体育应用方法。

技术介绍

[0002]虚拟体育对于场地的要求低，参与活动门槛低，通过新型的空气交互(AirTap)方式，能够帮助人们在足不出户的情况下实现安全地、科学地健身。
[0003]针对上述问题，我们设计并实现了基于草图体感手势的虚拟体育应用，旨在让用户在足不出户的情况下进行体育锻炼，通过实时手势交互，获得更胜于室外的运动体验。用户仅仅需要借助一台PC机、一个嵌入式板端和一个摄像头，即可实现应用内的所有交互。通过在摄像头前跑步、跳跃或完成特定的手势和其他肢体动作，即可实现对应用场景内的角色进行控制。以开放世界作为背景，用户具有很高的自由度，实现运动与娱乐相融，让用户具有更高的体育参与度，感受到更强的趣味性。

技术实现思路

[0004]针对以上问题，提出一种基于草图体感手势的虚拟体育应用方法，旨在让用户在足不出户的情况下进行体育锻炼，通过实时手势交互，获得更胜于室外的运动体验。/>[0005]本专本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于草图体感手势的虚拟体育应用方法，具体如下，其特征在于：利用关节点检测算法将摄像头获取的人体动作画面数据解析为关节点数据流，利用深度学习模型将关节点数据流解析为动作指令，并在前端根据指令进行可视化交互，所述应用包括以下模块：模块1、数据采集模块，通过数据采集单元采集体感数据，数据流为视频帧；数据采集单元为摄像头；采集的数据为每秒30FPS的视频画面；模块2、人体关节点检测模块基于嵌入式开发板，使用OpenPose工具包将视频帧数据解析为关节点数据流，具体包括：所述人体关节点检测模块的具体内容为：基于OpenPose将视频画面解析为17个关节点；基于浏览器，将关节点解析结果进行可视化；跟踪2秒内右手手腕关节点的运动轨迹并记录；模块3、指令转换模块，通过追踪手部关节点，获取手部关节点轨迹，使用OpenCV将轨迹连线成草图，利用基于草图分类的手势识别模型分类生成不同的动作指令；通过肢体关节点的不同位置关系生成不同的指令；所述指令转换模块能够根据模块1和模块2提供的关节点数据判定人体的动作，具体内容为：手势指令转换模块；首先，连接手部关节点生成草图；然后，将上述生成的草图输入基于草图分类的手势识别模型为深度学习模型，该模型能够实现对草图进行分类，包括圆形、方形和三角形3个类别；最后，根据草图分类的结果转换为对应的指令代码，指令代码为数字形式；肢体指令转换模块；首先，建立简单的数学模型，在17个肢体关节点中选取头部、左右手腕、左右肩、左右脚踝和右髋的关节点，根据这些关节点的位置关系判断当前人体运动状态，包括前进、后退、左转、右转和跳跃；然后，根据运动状态的判断结果转换为对应的指令代码，指令代码为数字形式；模块4、前端可视化应用模块，根据不同的指令在前端完成不同的可视化交互；所述前端可视化应用模块具体内容为：基于Unity实现前端可视化应用；虚拟交互包括跑步、跳跃和使用手势绘图，其中手势绘图完成后会在可视化界面上掉落对应的物体。2.根据权利要求1所述的一种基于草图体感手势的虚拟体育应用方法，其特征在于：所述应用方法用户通过跑步、跳跃和手势控制的空气交互方式实现对前端虚拟场景中的各项控制。3.根据权利要求1所述的一种基于草图体感手势的虚拟体育应用方法，其特征在于，所述判定人体的动作包括跑步、跳跃和绘图。4.根据权利要求1所述的一种基于草图体感手势的虚拟体育应用方法，其特征在于，所
述手势指令转换模块，具体如下：(1)数据集：所述的基于草图分类的手势识别模型使用了自构建的三分...

【专利技术属性】
技术研发人员：张燕，赵海峰，陆启迪，陈志祥，魏鑫，高梓玉，
申请(专利权)人：金陵科技学院，
类型：发明
国别省市：