一种基于元宇宙的虚拟课堂动作交互系统和方法技术方案

本发明专利技术公开了一种基于元宇宙的虚拟课堂动作交互系统，包括可穿戴式感应设备、图像识别设备、虚拟平台和显示设备，其中，可穿戴式感应设备可以获取人体关键部位的第一动作信息；图像识别设备与可穿戴式感应设备连接，图像识别设备可以获取人体关键部位的第二动作信息，并对第一动作信息和第二动作信息进行加权平均处理，得到人体数据；虚拟平台与图像识别设备连接，虚拟平台可以根据人体数据模拟出对应的虚拟人物，显示设备与虚拟平台连接，适于实时显示虚拟人物。虚拟平台还可以检测虚拟人物的动作数据，并将动作数据反馈到可穿戴式感应设备，以便可穿戴式感应设备向对应的人体部位反馈要执行的动作。该系统可以增强学生的沉浸式学习体验。式学习体验。式学习体验。

【技术实现步骤摘要】
一种基于元宇宙的虚拟课堂动作交互系统和方法


[0001]本专利技术涉及虚拟现实
，具体涉及一种基于元宇宙的虚拟课堂动作交互系统和方法。

技术介绍

[0002]元宇宙作为一个新兴概念，本质上是对现实世界的虚拟化和数字化，强调虚实相融，主要利用扩展现实技术VR和AR，提供沉浸式体验；能够把现实世界镜像到虚拟世界里，人类的视觉、听觉、嗅觉、味觉、触觉、意识等需求都有不同的技术支撑。与现实世界平行、反作用于现实世界、多种高技术综合是元宇宙的三大特征。
[0003]近年来，以虚拟现实、增强现实等为代表的新兴教育技术引领了未来教育的新方向，整合了虚拟现实、人工智能、区块链等技术的元宇宙为学习者提供了一个虚拟的学习环境，将有可能带来新的教育教学变革。在此背景下，元宇宙在教育领域应用的可行性成为研究者关注的热点，教育元宇宙的潜力值得深入挖掘和分析。
[0004]虚拟现实、人工智能、增强现实等技术应用到线上课堂教学中，学生可以通过观看虚拟现实课堂沉浸式学习知识，这不仅可以提高学生的学习兴趣，还有助于提高课堂教学效率。目前，校园课堂的VR/AR教学应用产品以科普类的体验为主，很多停留在演示和简单交互阶段，而对于课程教学内容的深入探究不足，尤其对于化学实验、物理实验、劳动技能、体育等针对学生动作类的课程无法实现线上动作互动教学。
[0005]因此，需要一种基于元宇宙的虚拟课堂互动系统，能够对人物的动作进行准确识别，通过模拟与真实环境相同的虚拟环境，能够根据人物与人物之间的接触、人物与物品之间的接触对人体部位进行动作反馈，实现手把手教学的目的，以解决以上现有技术中存在的问题。

技术实现思路

[0006]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于元宇宙的虚拟课堂动作交互系统和方法。
[0007]根据本专利技术的一个方面，提供一种基于元宇宙的虚拟课堂动作交互系统，该系统可以包括可穿戴式感应设备、图像识别设备、虚拟平台和显示设备。其中，可穿戴式感应设备可以实时获取人体关键部位的第一动作信息；图像识别设备与可穿戴式感应设备连接，图像识别设备可以实时获取人体关键部位的第二动作信息，并对第一动作信息和第二动作信息进行加权平均处理，得到人体数据。虚拟平台与图像识别设备连接，虚拟平台可以接收图像识别设备上传的人体数据，并根据人体数据模拟出对应的虚拟人物。显示设备与虚拟平台连接，适于实时显示所述虚拟人物；虚拟平台还适于检测虚拟人物的动作数据，并将动作数据反馈到可穿戴式感应设备，以便可穿戴式感应设备向对应的人体部位反馈需要执行的动作。
[0008]该系统可以通过传感器技术和图像识别技术获取人体的动作数据，并根据动作数
据模拟出对应的虚拟人物，通过对虚拟人物进行动作监测，可以将监测到额动作数据反馈到真实环境中的人体部位，执行相应的动作，从而完成远程动作交互和教学指导。
[0009]可选地，虚拟平台可以包括虚拟环境构建模块和虚拟人物构建模块，虚拟环境构建模块适于构建与真实环境对应的虚拟环境，虚拟环境中包含虚拟人物动作所需的虚拟物体。虚拟人物构建模块可以根据接收到的人体数据模拟出对应的虚拟人物。
[0010]可选地，系统中的显示设备为虚拟现实头戴式显示设备，虚拟现实头戴式显示设备与虚拟平台连接，适于实时显示虚拟人物和虚拟环境。
[0011]可选地，虚拟平台检测的虚拟人物的动作数据包括虚拟人物自身的动作信息、不同虚拟人物之间的动作接触信息、虚拟人物与虚拟物体之间的动作接触信息。
[0012]可选地，图像识别模块包括图像采集单元、特征点提取单元和识别单元，图像采集单元适于实时获取包含人体的图像，特征点提取单元适于基于深度学习算法提取图像中的人体骨骼特征点，识别单元适于通过提取的人体骨骼特征点之间的连线确定人体姿态信息，得到人体关键部位的第二动作信息。其中，骨骼特征点可以包括肩部、膝盖、手腕、脚踝、腰部、脖子等，人体关键部位包括小臂、大臂、小腿、大腿、躯干和头部等。
[0013]可选地，可穿戴式感应设备包括手部动作感应器和肢体动作感应器，手部动作感应器包括设置在手指关节位置的第一电位计传感器、陀螺仪传感器和第一舵机，第一电位计传感器适于获取手指关节弯曲角度数值，陀螺仪传感器适于获取手部的空间位置和姿态数值，第一舵机适于根据虚拟平台反馈的动作数据控制手指关节动作；肢体动作感应器包括设置在身体关键部位的第二电位计传感器和第二舵机，第二电位计传感器适于获取肢体关节弯曲程度数值，第二舵机适于根据虚拟平台反馈的动作数据控制身体关键部位动作。
[0014]可选地，虚拟平台包括监控模块，监控模块适于将实时获取的人体动作数据与预先设定的人体动作数据进行匹配，当实时获取的人体动作数据与预先设定的人体动作数据不匹配时，虚拟平台向可穿戴式感应设备发送提示信号。
[0015]可选地，虚拟平台包括评分模块，评分模块适于将虚拟人物的人体动作数据与预先设定的人体动作数据进行匹配度评分，得到虚拟人物的动作成绩。
[0016]根据本专利技术的另一个方面，提供一种基于元宇宙的虚拟课堂动作交互方法，在该方法中，首先使用可穿戴式感应设备获取人体关键部位的第一动作信息；然后使用图像识别设备获取人体关键部位的第二动作信息，并对第一动作信息和第二动作信息进行加权平均处理，得到人体数据。随后，基于人体数据模拟出对应的虚拟人物，并在显示设备中实时显示虚拟人物。最后，检测虚拟人物的动作数据，将动作数据反馈给对应的人体部位，以便执行相应的动作。
[0017]根据本专利技术的方案，通过传感器设备和图像识别设备获取人体动作数据，并根据人体动作数据模拟出对应的虚拟人物，并模拟出与真实环境相同的虚拟学习环境。通过对虚拟环境中虚拟人物的动作数据进行检测并反馈给真实环境中的真实人物，可以通过在虚拟环境中的动作互动实现真实环境下的动作互动，实现远程在线手把手教学的目的。该方案有利于提高线上动作或操作类课程教学的沉浸感和体验感。
[0018]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0019]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本专利技术一个实施例的基于元宇宙的虚拟课堂动作交互系统100的结构示意图；图2示出了根据本专利技术又一个实施例的基于元宇宙的虚拟课堂动作交互系统100的结构示意图；图3示出了根据本专利技术一个实施例的基于元宇宙的虚拟课堂动作交互方法300的流程示意图。
具体实施方式
[0020]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元宇宙的虚拟课堂动作交互系统，包括可穿戴式感应设备、图像识别设备、虚拟平台和显示设备，其特征在于，所述可穿戴式感应设备适于实时获取人体关键部位的第一动作信息；所述图像识别设备与所述可穿戴式感应设备连接，所述图像识别设备适于实时获取人体关键部位的第二动作信息，并对所述第一动作信息和第二动作信息进行加权平均处理，得到人体数据；所述虚拟平台与所述图像识别设备连接，所述虚拟平台适于接收所述图像识别设备上传的人体数据，并根据所述人体数据模拟出对应的虚拟人物；所述显示设备与所述虚拟平台连接，适于实时显示所述虚拟人物；所述虚拟平台还适于检测虚拟人物的动作数据，并将动作数据反馈到所述可穿戴式感应设备，以便所述可穿戴式感应设备向对应的人体部位反馈需要执行的动作。2.根据权利要求1所述的系统，其特征在于，所述虚拟平台包括虚拟环境构建模块和虚拟人物构建模块，所述虚拟环境构建模块适于构建与真实环境对应的虚拟环境，所述虚拟环境中包含虚拟人物动作所需的虚拟物体；所述虚拟人物构建模块可以根据接收到的人体数据模拟出对应的虚拟人物。3.根据权利要求2所述的系统，其特征在于，所述显示设备为虚拟现实头戴式显示设备，所述显示设备还适于实时显示所述虚拟环境。4.根据权利要求3所述的系统，其特征在于，所述虚拟人物的动作数据包括虚拟人物自身的动作信息、不同虚拟人物之间的动作接触信息、虚拟人物与虚拟物体之间的动作接触信息。5.根据权利要求1所述的系统，其特征在于，所述图像识别模块包括图像采集单元、特征点提取单元和识别单元，所述图像采集单元适于实时获取包含人体的图像，所述特征点提取单元适于基于深度学习算法提取图像中的人体骨骼特征点，所述识别单元适于通过提取的人体骨骼特征点之间的连线确定人体姿态信息，得到人体关键部位的第二动作信息。6...

【专利技术属性】
技术研发人员：杨吉利，刘利非，李丽，徐娟，
申请(专利权)人：上海锡鼎智能科技有限公司，
类型：发明
国别省市：