基于虚拟现实中的肢体训练系统及方法技术方案

本发明专利技术公开了一种基于虚拟现实中的肢体训练系统及方法，包括：动作捕捉模块，包括分别设于老师肢体各部位的定位器，用以捕捉和记录老师肢体各部位在三维空间中动作的位置与旋转角度；动作重播模块，在虚拟现实中通过半透明重影的方式重播老师的动作，学生从第一人称观察这些动作，并且进行模仿学习；动作评估模块，通过比较学生与老师的动作差异，在虚拟现实中及时向学生提出反馈，帮助学生完成动作。本发明专利技术能够克服以往的视频，只能在二维平面记录并且回放动作的缺陷，通过将动作捕捉进行虚拟现实结合，实现了三维空间内动作的记录与回放。同时，通过在第一人称显示重影，帮助人们直观的理解动作，使得在虚拟现实中自学舞蹈、太极成为可能。

Limb training system and method based on virtual reality

The invention discloses a body training system and method based on virtual reality, including an action capture module, which includes a locator which is located in the various parts of the teacher's limbs to capture and record the position and rotation angle of the movements of the teachers' limbs in the three-dimensional space; the action replay module is used in the virtual reality. In the way of translucent replay, the teacher's action is replayed. The students observe these movements from the first person and carry on the imitation learning; the action evaluation module, by comparing the differences between the students and the teachers, gives feedback to the students in the virtual reality to help the students to complete the action. The invention can overcome the previous video, can only record and replay the defects in the two-dimensional plane, by combining the motion capture to the virtual reality, the motion recording and replaying in the three-dimensional space can be realized. At the same time, through the first person display ghost, to help people intuitive understanding of action, making it possible to self-study dance and Tai Chi in virtual reality.

【技术实现步骤摘要】
基于虚拟现实中的肢体训练系统及方法
本专利技术属于虚拟现实领域、具体涉及一种基于虚拟现实中的肢体训练系统及方法。
技术介绍
人们在学习太极、舞蹈等时，通常依赖于老师的言传身教，或者面对视频进行自学。依靠老师教学，可以得到比较好的效果，但是费用昂贵，而且一位老师同时能够指导的学员数量有限，更是限制了舞蹈等大众艺术的进一步普及。通过视频自学，价格低廉，而且随时随地可以进行，但是学习者完成的动作，是否准确到位，始终无法得到及时的反馈。另外，由于视频的平面限制，有些动作可能无法看清，影响了学习者掌握要领，学习训练效果不佳。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于虚拟现实中的肢体训练系统及方法，使用低价的动作捕捉系统，立体的记录并保存一系列肢体动作，并且通过在虚拟现实中，从第一人称角度以重影的形式重播，从而提供了一种全新的，观察、模仿肢体动作的方式，使得人们可以在虚拟现实中进行拳击、舞蹈等肢体训练。为了解决上述技术问题，本专利技术采用如下的技术方案：一方面，一种基于虚拟现实中的肢体训练系统及方法，包括：动作捕捉模块，包括分别设于老师肢体各部位的定位器，用以捕捉和记录老师肢体各部位在三维空间中动作的位置与旋转角度；动作重播模块，在虚拟现实中通过半透明重影的方式重播老师的动作，学生从第一人称观察这些动作，并且进行模仿学习；动作评估模块，通过比较学生与老师的动作差异，在虚拟现实中及时向学生提出反馈，帮助学生完成动作。所述定位器至少设于头部、双手、腰部、双脚六个部位。所述定位器还设于双肘处。所述设于头部的定位器采用面部表情追踪摄像头，设于双手的定位器采用手势追踪手套。所述动作重播模块采用供学生佩戴的虚拟现实头盔，通过虚拟现实头盔将老师的动作以半透明的方式与学生实体动作重叠播放。所述动作捕捉模块还包括分别设于学生肢体各部位的定位器，用以捕捉和记录学生肢体各部位在三维空间中动作的位置与旋转角度，供所述动作重播模块在虚拟现实中进行所述重叠播放。另一方面，一种基于虚拟现实中的肢体训练装置的训练方法，包括以下步骤：A.将动作捕捉模块的定位器设置在老师肢体各部位，用以捕捉和记录老师肢体各部位在三维空间中动作的位置与旋转角度；B.采用动作重播模块在虚拟现实中通过半透明重影的方式重播老师的动作，学生从第一人称观察这些动作，并且进行模仿学习；C.采用动作评估模块通过比较学生与老师的动作差异，在虚拟现实中及时向学生提出反馈，帮助学生完成动作。所述记录的频率不低于每秒60次。在步骤B中，还包括在学生肢体各部位设置定位器，用以捕捉和记录学生肢体各部位在三维空间中动作的位置与旋转角度，并供所述动作重播模块在虚拟现实中进行所述重叠播放。在所述的重叠播放之前，通过定位器对学生的身体指标进行测量，并且根据取得的数据，对老师的动作进行校正，以保证老师和学生的各主要关节点能够基本重合。采用本专利技术的基于虚拟现实中的肢体训练系统及方法，能够克服以往的视频，只能在二维平面记录并且回放动作的缺陷，通过将动作捕捉进行虚拟现实结合，实现了三维空间内动作的记录与回放。同时，通过在第一人称显示重影，帮助人们直观的理解动作，使得在虚拟现实中自学舞蹈、太极成为可能。本专利技术也能推演到其他基于肢体动作的文体领域，比如击剑、拳击等。附图说明下面结合附图和具体实施方式本专利技术进行详细说明：图1是本专利技术的基于虚拟现实中的肢体训练系统的原理图。具体实施方式本专利技术的基于虚拟现实中的肢体训练系统如图1所示，包括：动作捕捉模块，包括分别设于老师(或称之为教学者、演示者等)肢体各部位的定位器，用以捕捉和记录老师肢体各部位在三维空间中动作的位置与旋转角度，例如在老师在身体各关键位置佩戴定位器，在场地中完成太极、舞蹈等动作，老师的动作信号通过定位器传递给计算机，由计算机进行记录。定位器可以提供各身体部位在空间中的位置与旋转角度，但是根据这些数据推断出人体的动作，仍然依赖于软件反向动力学解决方案。由于现在主要的反向动力学方案，最低要求为定位头部、双手、腰部、双脚六个关键部位，所以在本专利技术中，要求舞蹈老师至少在以上六个部位佩戴定位器。如果为了追求精度，可以在身上各主要关节佩戴更多的定位器，如在双肘也佩戴定位器，以及佩戴手势追踪手套，佩戴面部表情追踪摄像头等。可以根据实际需求，选取适合需求的方案。动作重播模块，在虚拟现实中通过半透明重影的方式重播老师的动作，学生(或称之为学习者、模仿者等)从第一人称观察这些动作，并且进行模仿学习；动作评估模块，通过比较学生与老师的动作差异，在虚拟现实中及时向学生提出反馈，帮助学生完成动作。作为一个实施例，所述动作重播模块采用供学生佩戴的虚拟现实头盔，通过虚拟现实头盔将老师的动作以半透明的方式与学生实体动作重叠播放。根据老师佩戴的定位器，可以高频得到整段舞蹈过程中，老师各关键部位的位置以及角度。利用这些数据，结合反向运动学算法可以推算出老师的舞蹈姿势，从而对老师的动作进行三维的记录。记录可以采用传统的动画格式，以便于在常见的MAYA等动画软件中进行分段、改变播放速率等编辑工作。学生佩戴头盔后，软件读取这些动画文件，即可虚拟空间中播放老师的舞蹈动作。由于存储的是类似骨骼的三维舞蹈姿势，使得我们可以在其上叠加各种人体三维模型，使得学习舞蹈的体验更加丰富。作为一个实施例，所述动作捕捉模块还包括分别设于学生肢体各部位的定位器，用以捕捉和记录学生肢体各部位在三维空间中动作的位置与旋转角度，供所述动作重播模块在虚拟现实中进行所述重叠播放。采集学生的动作数据，但是该数据仅用于在虚拟现实中的显示，以及与老师动作的比较。通过在关键时间点，比较事先录制的老师的动作与实时采集的学生的动作之间的差异，我们就能知道学生动作的完成情况。比较动作所需数据包括，各主要关节在三维空间中的角度以及位置。学生将能从第一人称观察到老师的动作，并且进行模仿学习。另外，在这一步中，可以使用分解动作，慢动作，重复动作等多种手段，帮助学生掌握动作要领。同时可以配合事先录制的语音说明，帮助学生理解动作。另外，由于个人身高、臂长等各方面差异，在播放老师动作前，需要通过定位器对学生的身体指标进行测量，并且根据取得的数据，对老师的动作进行校正，以保证老师学生的各主要关节点能够重合。具体为：测量时，要求学生佩戴定位器后，目视前方，双手自然垂直于身体两侧，此时通过测量头部到双手的距离可以推算出学生的臂长，测量头部到腰部的距离得到学生上身长度，通过腰部与脚部的距离可以得到学生腿长。根据这些信息，以及在录制老师动作时得到的老师的相关信息，将老师的动作缩放到学生的身体比例，使得老师的动作动画可以与学生的动作基本重合。动作评估模块，通过比较学生与老师的动作差异，在虚拟现实中及时向学生提出反馈，帮助学生完成动作。在学生跟随老师的动作进行模仿时，动作评估模块负责实时取得学生各关节点的位置，与老师的位置的差异，并且在虚拟现实中给予视觉、听觉的反馈。该模块也可以对学生的动作进行录制，以便后期进行学生动作的分析，以及学生完成度的评估，帮助学生更全面的掌握学习情况。由于本专利技术的训练方法与上述训练系统原理相同，在此不再赘述。综上所述，采用本专利技术的肢体训练系统及方法，使用低价的动作捕捉系统，立体的记录并保存一系列肢体动作，并且通过在虚拟现实本文档来自技高网...

【技术保护点】
1.一种基于虚拟现实中的肢体训练系统，其特征在于，包括：动作捕捉模块，包括分别设于老师肢体各部位的定位器，用以捕捉和记录老师肢体各部位在三维空间中动作的位置与旋转角度；动作重播模块，在虚拟现实中通过半透明重影的方式重播老师的动作，学生从第一人称观察这些动作，并且进行模仿学习；动作评估模块，通过比较学生与老师的动作差异，在虚拟现实中及时向学生提出反馈，帮助学生完成动作。

【技术特征摘要】
1.一种基于虚拟现实中的肢体训练系统，其特征在于，包括：动作捕捉模块，包括分别设于老师肢体各部位的定位器，用以捕捉和记录老师肢体各部位在三维空间中动作的位置与旋转角度；动作重播模块，在虚拟现实中通过半透明重影的方式重播老师的动作，学生从第一人称观察这些动作，并且进行模仿学习；动作评估模块，通过比较学生与老师的动作差异，在虚拟现实中及时向学生提出反馈，帮助学生完成动作。2.根据权利要求1所述的基于虚拟现实中的肢体训练系统，其特征在于：所述定位器至少设于头部、双手、腰部、双脚六个部位。3.根据权利要求2所述的基于虚拟现实中的肢体训练系统及方法，其特征在于：所述定位器还设于双肘处。4.根据权利要求2所述的基于虚拟现实中的肢体训练系统，其特征在于：所述设于头部的定位器采用面部表情追踪摄像头，设于双手的定位器采用手势追踪手套。5.根据权利要求4所述的基于虚拟现实中的肢体训练系统，其特征在于：所述动作重播模块采用供学生佩戴的虚拟现实头盔，通过虚拟现实头盔将老师的动作以半透明的方式与学生实体动作重叠播放。6.根据权利要求5所述的基于虚拟现实中的肢体训练系统，其特征在于：所述动作捕捉模块还包括分别设于学生肢体各部位的定位器，用以捕捉和记录学生肢体...

【专利技术属性】
技术研发人员：冯侃，
申请(专利权)人：冯侃，
类型：发明
国别省市：上海,31