一种基于元宇宙的虚拟课堂显示方法及系统技术方案

本申请公开了一种基于元宇宙的虚拟课堂显示方法及系统，该方法包括：场景收集步骤：获取第一场景信息和第二场景信息，每个主端设备用于拍摄其对应的第一目标对象，每个从端设备用于拍摄其对应的第二目标对象；信息提取步骤：提取得到至少一个第一目标对象的相关信息，提取得到多个第二目标对象的相关信息；第一虚拟场景搭建步骤：生成元宇宙环境，整合第一模拟区域和第二模拟区域以生成第一虚拟场景；第一虚拟显示步骤：将第一虚拟场景传输至少一个主端设备进行显示，同时将第一模拟区域传输至多个从端设备进行显示。本申请通过结合人工智能与元宇宙技术为老师提供更便捷的观察方式以利于监督学生状态，辅助老师提升上课质量和学员参与度。质量和学员参与度。质量和学员参与度。

【技术实现步骤摘要】
一种基于元宇宙的虚拟课堂显示方法及系统


[0001]本申请属于元宇宙领域，涉及元宇宙教学系统技术，具体涉及一种基于元宇宙的虚拟课堂显示方法及系统。

技术介绍

[0002]远程网课成为一种重要的教学手段。在基于元宇宙的教学应用中，虽然目前现有技术中提供的教学互动系统相比传统采用二维平面直播形式的网课授课方式提高了网课的互动性，但课堂质量依然是一个突出问题。例如：基于元宇宙生成的网课虚拟环境中综合了大量的师生信息，一旦学生人数过多时，学生信息统一显示容易产生密密麻麻的观看效果，这不利于老师监督学生的学习过程，而且老师本身能关注到的范围较局限，这对于老师而言，无法及时观察到学生的行为。

技术实现思路

[0003]为了克服现有技术存在的缺陷与不足，本申请的第一目的在于提出了一种基于元宇宙的虚拟课堂显示方法，该方法一方面通过结合人工智能与元宇宙技术为老师提供更便捷的观察方式以利于监督学生状态，降低老师管理课堂的难度，另一方面通过搭建互动场景以辅助老师在虚拟环境下建立讨论区域或互动学习区以同步学习，从而提升上课质量和学员参与度。
[0004]本申请的第二目的在于提出了一种基于元宇宙的虚拟课堂显示系统。
[0005]为了达到上述第一目的，本申请采用以下技术方案：一种基于元宇宙的虚拟课堂显示方法，包括以下步骤：场景收集步骤：获取第一场景信息和第二场景信息，其中所述第一场景信息为通过至少一个主端设备进行采集视频信息整合得到，所述第二场景信息为通过多个从端设备进行采集视频信息整合得到，每个主端设备用于拍摄其对应的第一目标对象，每个从端设备用于拍摄其对应的第二目标对象；信息提取步骤：对所述第一场景信息进行提取得到至少一个所述第一目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息，对所述第二场景信息进行提取得到多个所述第二目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息；第一虚拟场景搭建步骤：生成元宇宙环境，结合所述第一目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在所述元宇宙环境中模拟对应的物理环境以形成第一模拟区域，结合多个所述第二目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在所述元宇宙环境中模拟对应的物理环境以形成第二模拟区域，在所述元宇宙环境中整合所述第一模拟区域和所述第二模拟区域以生成第一虚拟场景；第一虚拟显示步骤：将所述第一虚拟场景传输至所述至少一个主端设备进行显
示，同时将所述第一模拟区域传输至所述多个从端设备进行显示。
[0006]作为优选的技术方案，还包括：第一目标聚焦步骤：确定聚焦对象、放大倍数和重要度标识，其中所述放大倍数和所述重要度标识均为通过所述至少一个主端设备中选取，所述聚焦对象为从所述第一虚拟场景中选中的第二目标对象，所述重要度标识包括第一重要度标识值和第二重要度标识值；根据所述放大倍数对该选中的第二目标对象的头部信息、上半身信息、上半身接触物信息进行聚焦放大形成第三模拟区域；将所述第三模拟区域和重要度标识发送指定主端设备并显示；当所述重要度标识为所述第一重要度标识值时，所述指定主端设备进行立即显示；当所述重要度标识为所述第二重要度标识值时，所述指定主端设备根据显示触发条件进行响应显示，若不符合所述显示触发条件则所述指定主端设备将所述第三模拟区域进行缓存，其中所述显示触发条件为所述指定主端设备获取的下课标识是否为真。
[0007]作为优选的技术方案，还包括目标识别步骤和提示关注步骤；所述目标识别步骤，具体包括：分别将多个所述第二目标对象所对应的视频信息按预设频率进行抽取，进而得到每个第二目标对象所对应的待识别图片组；分别将所述待识别图片组输入到三阶行为识别模型中得到行为组，其中行为组的类别包括头部方向、眼睛焦点方向和手部动作；根据所述行为组计算每个第二目标对象所对应的关注度分值；当所述关注度分值超过预设关注度阈值时，判定该第二目标对象为关注目标，生成提示标识并在所有的主端设备中显示；在所述三阶行为识别模型中，包括头部方向识别模型、眼睛焦点方向识别模型以及手部动作识别模型，所述头部方向识别模型、所述眼睛焦点方向识别模型以及所述手部动作识别模型均分别为使用多组数据通过机器学习训练得出；在所述头部方向识别模型中，多组数据中的每组数据包括待识别图片和对应头部方向的第一标识信息；在所述眼睛焦点方向识别模型中，多组数据中的每组数据包括待识别图片和对应头部方向的第二标识信息；在所述手部动作识别模型中，多组数据中的每组数据包括待识别图片和对应手部动作的第三标识信息；所述提示关注步骤，具体包括：在主端设备中触发所述提示标识的响应，并将所述关注目标作为聚焦对象以执行所述第一目标聚焦步骤。
[0008]作为优选的技术方案，在根据所述行为组计算每个第二目标对象所对应的关注度分值中，具体包括：根据所述行为组的类别分别设置所述第一标识信息、所述第二标识信息以及所述第三标识信息所对应的分值；在预设时间段内统计每个第二目标对象的累加分值得到所述关注度分值。
[0009]作为优选的技术方案，还包括：第二目标聚焦步骤：获取第一聚焦点和第一放大值；以所述第一聚焦点为中心，确定第一预设区域；根据所述第一预设区域从多个所述第二目标对象中筛选得到待聚焦对象群；
重复筛选直至确定所述待聚焦对象群；基于所述第一放大值对所述待聚焦对象群进行聚焦放大形成第四模拟区域；指定至少一个主端设备进行显示所述第四模拟区域；获取第二聚焦点和第二放大值；以所述第二聚焦点在所述待聚焦对象群中确定聚焦对象；基于所述第二放大值对所述聚焦对象进行聚焦放大形成第五模拟区域；指定至少一个主端设备进行显示所述第五模拟区域。
[0010]作为优选的技术方案，还包括第二虚拟场景搭建步骤和第二虚拟显示步骤；所述第二虚拟场景搭建步骤，具体包括：确定至少一个第一参与对象的标识符号，所述第一参与对象的标识符号与从端设备相对应；结合所有第一参与对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在所述元宇宙环境中模拟对应的物理环境以形成第六模拟区域，在所述元宇宙环境中整合所述第一模拟区域和所述第六模拟区域以生成第二虚拟场景；所述第二虚拟显示步骤，具体包括：将所述第二虚拟场景传输至所有的主端设备和所有的从端设备进行显示。
[0011]作为优选的技术方案，在所述第二虚拟场景搭建步骤中，还包括：确定至少一个第二参与对象的标识符号，所述第二参与对象的标识符号与主端设备相对应；结合所有第二参与对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在所述元宇宙环境中模拟对应的物理环境以形成第七模拟区域，在所述元宇宙环境中设置新区域，所述新区域与所述第二虚拟场景无重叠显示位置，将所述第七模拟区域在所述新区域中显示，以更新所述第二虚拟场景。
[0012]作为优选的技术方案，还包括：传输暂停步骤：获取暂停指令，所述暂停指令通过所述至少一个主端设备生成得到；从所述暂停指令中确定暂停目标标识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元宇宙的虚拟课堂显示方法，其特征在于，包括以下步骤：场景收集步骤：获取第一场景信息和第二场景信息，其中所述第一场景信息为通过至少一个主端设备进行采集视频信息整合得到，所述第二场景信息为通过多个从端设备进行采集视频信息整合得到，每个主端设备用于拍摄其对应的第一目标对象，每个从端设备用于拍摄其对应的第二目标对象；信息提取步骤：对所述第一场景信息进行提取得到至少一个所述第一目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息，对所述第二场景信息进行提取得到多个所述第二目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息；第一虚拟场景搭建步骤：生成元宇宙环境，结合所述第一目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在所述元宇宙环境中模拟对应的物理环境以形成第一模拟区域，结合多个所述第二目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在所述元宇宙环境中模拟对应的物理环境以形成第二模拟区域，在所述元宇宙环境中整合所述第一模拟区域和所述第二模拟区域以生成第一虚拟场景；第一虚拟显示步骤：将所述第一虚拟场景传输至所述至少一个主端设备进行显示，同时将所述第一模拟区域传输至所述多个从端设备进行显示。2.根据权利要求1所述的基于元宇宙的虚拟课堂显示方法，其特征在于，还包括：第一目标聚焦步骤：确定聚焦对象、放大倍数和重要度标识，其中所述放大倍数和所述重要度标识均为通过所述至少一个主端设备中选取，所述聚焦对象为从所述第一虚拟场景中选中的第二目标对象，所述重要度标识包括第一重要度标识值和第二重要度标识值；根据所述放大倍数对该选中的第二目标对象的头部信息、上半身信息、上半身接触物信息进行聚焦放大形成第三模拟区域；将所述第三模拟区域和重要度标识发送指定主端设备并显示；当所述重要度标识为所述第一重要度标识值时，所述指定主端设备进行立即显示；当所述重要度标识为所述第二重要度标识值时，所述指定主端设备根据显示触发条件进行响应显示，若不符合所述显示触发条件则所述指定主端设备将所述第三模拟区域进行缓存，其中所述显示触发条件为所述指定主端设备获取的下课标识是否为真。3.根据权利要求2所述的基于元宇宙的虚拟课堂显示方法，其特征在于，还包括目标识别步骤和提示关注步骤；所述目标识别步骤，具体包括：分别将多个所述第二目标对象所对应的视频信息按预设频率进行抽取，进而得到每个第二目标对象所对应的待识别图片组；分别将所述待识别图片组输入到三阶行为识别模型中得到行为组，其中行为组的类别包括头部方向、眼睛焦点方向和手部动作；根据所述行为组计算每个第二目标对象所对应的关注度分值；当所述关注度分值超过预设关注度阈值时，判定该第二目标对象为关注目标，生成提示标识并在所有的主端设备中显示；
在所述三阶行为识别模型中，包括头部方向识别模型、眼睛焦点方向识别模型以及手部动作识别模型，所述头部方向识别模型、所述眼睛焦点方向识别模型以及所述手部动作识别模型均分别为使用多组数据通过机器学习训练得出；在所述头部方向识别模型中，多组数据中的每组数据包括待识别图片和对应头部方向的第一标识信息；在所述眼睛焦点方向识别模型中，多组数据中的每组数据包括待识别图片和对应头部方向的第二标识信息；在所述手部动作识别模型中，多组数据中的每组数据包括待识别图片和对应手部动作的第三标识信息；所述提示关注步骤，具体包括：在主端设备中触发所述提示标识的响应，并将所述关注目标作为聚焦对象以执行所述第一目标聚焦步骤。4.根据权利要求3所述的基于元宇宙的虚拟课堂显示方法，其特征在于，在根据所述行为组计算每个第二目标对象所对应的关注度分值中，具体包括：根据所述行为组的类别分别设置所述第一标识信息、所述第二标识信息以及所述第三标识信息所对应的分值；在预设时间段内统计每个第二目标对象的累加分值得到所述关注度分值。5.根据权利要求2所述的基于元宇宙的虚拟课堂显示方法，其特征在于，还包括：第二目标聚焦步骤：获取第一聚焦点和第一放大值；以所述第一聚焦点为中心，确定第一预设区域；根据所述第一预设区域从多个所述第二目标对象中筛选得到待聚焦对象群；重复筛选直至确定所述待聚焦对象群；基于所述第一放大值对所述待聚焦对象群进行聚焦放大形成第四模拟区域；指定至少一个主端设备进行显示所述第四模拟区域；获取第二聚焦点和第二放大值；以所述第二聚焦点在所述待聚焦对象群中确定聚焦对象；基于所述第二放大值对所述聚焦对象进行聚焦放大形成第五模拟区域；指定至少一个主端设备进行显示所述第五模拟区域。6.根据权利要求1所述的基于元宇宙的虚拟课堂显示方法，其特征在于，还包括第二虚拟场景搭建步骤和第二虚拟显示步骤；所述第二虚拟场景搭建步骤，具体包括：确定至少一个第一参与对象的标识符号，所述第一参...

【专利技术属性】
技术研发人员：郑程予，唐武雷，邓意芝，胡文良，
申请(专利权)人：广州乐庚信息科技有限公司，
类型：发明
国别省市：