实时协作式虚拟课堂交互法制造技术

本发明专利技术涉及虚拟课堂技术领域，公开了一种实时协作式虚拟课堂交互法，包括：根据预设的虚拟课堂手势构建课堂手势操作对照表；实时捕捉用户手部的红外图像及关节点坐标数据并进行预处理；将预处理后的红外图像进行特征提取以实现手势分类，得到手势描述；根据手势描述在课堂手势操作对照表中查找，以确定是否开启手势运动判断，并确定手势对应的虚拟对象；检测同一虚拟对象在同一时间区间的操作请求用户，并执行预设的冲突执行机制；执行对应的虚拟操作结果，以映射为虚拟课堂操作。本发明专利技术通过构建手势对照表，优化数据采集识别及多用户冲突处理，实现手势到虚拟操作的精准映射，提升交互准确性与协作流畅性，增强虚拟课堂沉浸式体验。

【技术实现步骤摘要】

本专利技术涉及虚拟课堂，特别涉及一种实时协作式虚拟课堂交互法。

技术介绍

1、在现代教育技术不断发展的背景下，虚拟课堂逐渐成为教育领域的重要组成部分。传统的虚拟课堂交互方式，如鼠标点击、键盘输入等，在互动性、自然性和实时协作性方面存在明显不足。这些方式不仅操作繁琐，限制了学生与教师之间的互动效率，还难以营造出真实课堂中的生动氛围和高效协作环境。

2、随着体感技术的发展，尤其是leap motion体感控制器的出现，为虚拟课堂交互带来了新的可能。然而，目前基于体感技术的虚拟课堂交互应用仍处于初步阶段，存在诸多问题亟待解决。例如，对于用户手势的识别不够精准，无法有效区分复杂的手势动作，导致交互操作出现错误。同时，在多用户实时协作场景下，缺乏完善的冲突解决机制，当多个用户同时对同一虚拟对象进行操作时，容易出现操作混乱、结果不一致的情况。

3、此外，现有的虚拟课堂交互系统缺乏对手势操作的系统性梳理和映射，使得手势与虚拟操作之间的对应关系不明确，影响了交互的流畅性和有效性。而且，在数据处理方面，对于leap motion体感控制器采集到的数据本文档来自技高网...

【技术保护点】

1.一种实时协作式虚拟课堂交互法，其特征在于，包括：

2.根据权利要求1所述的实时协作式虚拟课堂交互法，其特征在于，所述通过LeapMotion体感控制器实时捕捉用户手部的红外图像及关节点坐标数据，并对所述红外图像进行预处理的步骤中，对所述红外图像进行预处理包括：

3.根据权利要求1所述的实时协作式虚拟课堂交互法，其特征在于，所述将预处理后的所述红外图像采用预设的手势识别网络模型进行特征提取以实现手势分类，得到手势描述的步骤中，预设的手势识别网络模型由输入端、backbone、neck和prediction四个部分组成；

4.根据权利要求3所述的实时协...

【技术特征摘要】

1.一种实时协作式虚拟课堂交互法，其特征在于，包括：

2.根据权利要求1所述的实时协作式虚拟课堂交互法，其特征在于，所述通过leapmotion体感控制器实时捕捉用户手部的红外图像及关节点坐标数据，并对所述红外图像进行预处理的步骤中，对所述红外图像进行预处理包括：

3.根据权利要求1所述的实时协作式虚拟课堂交互法，其特征在于，所述将预处理后的所述红外图像采用预设的手势识别网络模型进行特征提取以实现手势分类，得到手势描述的步骤中，预设的手势识别网络模型由输入端、backbone、neck和prediction四个部分组成；

4.根据权利要求3所述的实时协作式虚拟课堂交互法，其特征在于，所述预设的手势识别网络模型中prediction部分的损失函数由分类损失函数classificationloss和回归损失函数bounding box regression loss两部分构成，并采用focal loss评价目标框和预测框的类损失和置信度损失，采用giou_loss评价bounding box的位置损失；focal loss损失的公式如下：

5.根据权利要...

【专利技术属性】
技术研发人员：汪亚非，崔延鹤，朱岩，陈鑫，蔡晶，张川，李星星，
申请(专利权)人：硅亚智能科技武汉有限公司，
类型：发明
国别省市：