一种基于混合现实的技能熟练度评价和训练系统及方法技术方案

本发明专利技术涉及人机交互技术领域，公开了一种基于混合现实的技能熟练度评价和训练系统及方法。所述系统包括手部关节数据采集模块，数据处理模块，评价模块和示教训练模块。该系统通过采集熟练者和学员的操作数据，提取衡量手势熟练度的左右手指尖配合度和手指关节稳定度特征，将操作者的操作手势进行量化计算，以熟练者的数据为评价基准，实时对学员的操作进行熟练度等级评价。同时采用手势复现，视频示教两种方式进行训练，使学员可以进行自我学习，无须教学员时刻指导，纠错，示教，提高学习效率。效率。效率。

【技术实现步骤摘要】
一种基于混合现实的技能熟练度评价和训练系统及方法


[0001]本专利技术涉及人机交互领域，具体涉及一种基于混合现实的技能熟练度评价和训练系统及方法。

技术介绍

[0002]现有精密加工导轨手工技能培训教学基本都是通过理论讲解和演示操作的模式，在实际操作前，熟练者要亲自示范讲解，当学员人数较多、实训场地比较繁多时，熟练者在示范过程中，不能确保每个人都可以看到演示的关键动作。并且目前缺乏针对技能熟练度的评估机制，学员无法获取自身技能熟练度的情况，难以对自身水平进行评估，不利于学员的技能提升。

技术实现思路

[0003]本专利技术的目的在于克服教学过程中反馈不及时，教学效率受熟练者指导的限制，提供一种基于混合现实的技能熟练度评价和训练系统及方法，该系统通过采集熟练者和学员的操作数据，以熟练者的数据为评价基准，实时对学员的操作进行熟练度等级评价，同时采用手势复现，视频示教两种方式进行训练，提高学员的学习效率。
[0004]为了实现本专利技术目的，本专利技术提供的一种基于混合现实的精密加工导轨手工技能熟练度评价和训练系统，包括：手本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合现实的技能熟练度评价和训练系统，其特征在于，包括手部关节数据采集模块，数据处理模块，评价模块和示教训练模块所述手部关节数据采集模块，用于采集熟练者和学员操作过程的手部关节空间数据，并将所述手部关节空间数据送入数据处理模块；所述数据处理模块，用于对手部关节空间数据进行处理，计算得出左右手指尖配合度和左右手关节稳定度特征值；所述评价模块，用于根据学员各项特征值与熟练者的相似度评价学员操作熟练等级；所述示教训练模块，用于根据熟练者手势将操作过程进行立体复现，供学员进行操作学习跟练；且能够复现学员的操作，同时标记需改进操作手势；基于复现的手势，录制成视频供学员观看学习。2.根据权利要求1所述的一种基于混合现实的技能熟练度评价和训练系统，其特征在于，所述手部关节数据采集模块的手部关节空间数据为操作者操作的一时间段内的至少两帧的手部关节位置数据P＝[x，y，z]，所述手部关节数据采集模块为外置或内嵌在头戴式显示器的手部跟踪设备。3.根据权利要求1所述的一种基于混合现实的技能熟练度评价和训练系统，其特征在于，所述数据处理模块对手部关节空间数据提取指尖配合度特征值，所述左右手指尖配合度的特征模型为其中，V
i
为从拇指到小指第i根手指的指尖配合度，表示第n帧左手第i根手指的指尖速度；表示左手第i根手指指尖的平均速度；表示左手第i根手指指尖的平均速度；表示第n帧右手第i根手指的指尖速度；表示右手第i根手指指尖的平均速度，N表示序列长度。4.根据权利要求1所述的一种基于混合现实的技能熟练度评价和训练系统，其特征在于，所述数据处理模块对手部关节空间数据提取手指关节稳定度特征，所述手指关节稳定度的特征模型为度的特征模型为其中，θ
i
‑
j
为左手关节j的稳定度，θ
r
‑
j
为右手关节j的稳定度，关节j分别为MCP,PIP,DIP，为左手从拇指到小指第i根手指的关节j的角度，为右手从拇指到小指第i根手指的关节j的角度，I为计算的关节j角度的手指总数，...

【专利技术属性】
技术研发人员：谢晋，黄佳璇，杨林丰，冯润辉，宋琦，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：