翻转讲台的立体综合教学场系统及其工作方法技术方案

本发明专利技术属于虚拟现实技术的教学应用领域，提供一种翻转讲台的立体综合教学场系统及其工作方法。该系统包括设备部署模块、教学资源适配模块、采集处理模块、边缘计算模块，该方法包括立体综合教学场系统在线下教室的空间划分、设备部署、边缘计算、全息显示、数据采集、动作定位、教学互动环境的构建。本发明专利技术构建的教学系统，实现真人教师与虚拟资源的全息叠加显示、提升教室环境下虚实融合的真实感效果，支持多模态交互支持下的虚实同步。本发明专利技术有助于立体综合教学场系统在线下教室的建设和应用，促进新一代教室与教育教学的深度融合。促进新一代教室与教育教学的深度融合。促进新一代教室与教育教学的深度融合。

【技术实现步骤摘要】
翻转讲台的立体综合教学场系统及其工作方法


[0001]本专利技术属于虚拟现实技术的教学应用领域，更具体地，涉及一种翻转讲台的立体综合教学场系统及其工作方法。

技术介绍

[0002]立体综合教学场能够实现“人
‑
机
‑
场”的深度融合，支持师生在真实物理空间与虚拟教学资源相融合的环境中开展教学活动。随着5G、人工智能、全息显示、虚拟现实等新型技术在教育场景的深入应用，基于多种采集传感器、显示终端、交互设备等协同工作，教师利用手势、体感、触控等多模态交互方式操纵虚拟教学资源，真实教师与虚拟资源的交互结果呈现在全息屏幕上。立体综合教学场系统部署到线下实体教室已成为可能，将会翻转传统讲台，创造出真实教师、虚拟教学资源与教室环境的叠加与融合，能够提升教学过程中学生的专注度与参与感，将会创造出信息技术与课程教学的新型整合形式，推动智慧教室环境下混合式教学模式的进一步发展。
[0003]目前在线下教室构建立体综合教学场系统还存在着如下不足：(1)真人教师与虚拟资源的全息呈现效果不佳：身处全息屏幕两侧师生观看到虚拟教学内容是旋转180
°
，为保证教学效果，教学过程中多要求教师逆向操作虚拟教学资源，对教师的心理映像、心理旋转的能力要求较高，增加认知难度；(2)虚实融合叠加的真实感效果有待提升：当前实时建模、全息显示等单项技术趋于成熟，但真实教师与虚拟资源的融合显示在集成上仍存在障碍，直接影响显示效果的真实感；(3)多模态的数据处理模块需要精心设计：为满足教学隐私保护需要，应在学校部署边缘计算服务器，确保教学视频、视频动作数据不出学校。这些缺陷限制立体综合教学场系统在线下教室的应用。

技术实现思路

[0004]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种翻转讲台的立体综合教学场系统及其工作方法。为立体综合教学场系统在线下教室的空间划分、设备部署、边缘计算、全息显示、数据采集、动作定位、教学互动环境的构建提供一种新的、真实感更强的方法。
[0005]本专利技术的目的是通过以下技术措施实现的。
[0006]本专利技术提供一种翻转讲台的立体综合教学场系统，包括设备部署模块、教学资源适配模块、采集处理模块、边缘计算模块。
[0007]设备部署模块：在教室教师活动区域部署显示、采集、计算、交互设备和灯光系统，支撑立体综合教学场系统。
[0008]教学资源适配模块：根据用户请求的指令，按照参数的权重顺序，匹配合适的教学资源，沿着云
‑
边
‑
端链路，依据本地缓存、边缘计算服务器热更新、云端批量更新的方式，实现虚拟教学资源加载服务。
[0009]采集处理模块：使用RGB
‑
D摄像机采集教师活动区域的环境、教师的点云数据，在
边缘计算服务器，利用Mask R
‑
CNN技术，提取教师的骨骼数据，回传到本地处理模块提取教师骨骼及其关节点坐标，实现关节点分组。
[0010]边缘计算模块：接收采集模块获取的点云序列数据，计算并标注教师的骨骼关节点，分析骨骼关节点的运动轨迹，检测教学活动区域中教师的状态，追踪教师的教学行为及其变化。
[0011]在上述技术方案中，还包括定位模块，定位模块：构建虚实融合坐标系，确定全息显示内容的位置、姿态和缩放转换系数，定位教师骨骼的位置、姿态信息，依据采集到的教师骨骼关节点的运动轨迹，定位交互命令。
[0012]在上述技术方案中，还包括显示模块，显示模块：将边缘计算服务器端渲染的虚拟教学内容画面推送到本地，根据教师的观察参数，更新全息屏幕上虚拟教学资源的画面，依据真实教师与虚拟教学资源的位置和互动关系，实现两者的融合显示。
[0013]在上述技术方案中，还包括互动模块，互动模块：依据教师骨骼关节点的运动轨迹、连接关系和变化序列，识别其教学特风格，识别教师输入的多感官动作，转换为交互命令，驱动虚拟教学资源执行操作，更新全息显示内容画面。
[0014]本专利技术还提供一种上述的翻转讲台的立体综合教学场系统的工作方法，包括以下步骤：
[0015](1)教室环境部署，使用内嵌贴有全息膜的玻璃屏和进出门的分隔墙，将教室划分为教师与学生活动区域；使用电子沙盘、边缘计算服务器、全息成像设备和灯光构建教室的立体教学场系统；在教师活动区域布设深度、声音、动捕和触控传感设备；
[0016](2)教学资源适配，根据用户请求的学科、年级、教材版本和知识点，按照终端、分辨率和比例的权重顺序，匹配合适的教学资源；构建云
‑
边
‑
端链路，依据用户的请求，下载虚拟教学资源；依据本地缓存、边缘计算服务器热更新、云端批量更新的方式，实现教学资源加载服务；
[0017](3)信息采集处理，使用RGB摄像机采集教师活动区域的背景、纹理、深度、点云；上传到边缘计算服务器，利用Mask R
‑
CNN神经网络技术，提取教师的骨骼数据；在本地处理模块运用分割策略提取回传的教师骨骼及其关节点的3D坐标，利用层级控制原则，实现关节点分组；
[0018](4)边缘计算，边缘计算服务器接收到教室端采集模块获取的点云序列数据，使用非线性解算器计算并标注教师的骨骼关节点；根据骨骼关节点的运动速度和角度，使用神经网络算法分析骨骼关节点的运动轨迹；检测教学活动区域中教师的状态，追踪教师的教学行为及其变化；
[0019](5)定位处理，构建虚实融合坐标系，根据全息投影机的内外参数，确定全息显示内容的位置、姿态和缩放转换系数；结合拟透视变换方程，重新定位虚实融合坐标系中教师骨骼的位置、姿态信息；依据处理得到的教师骨骼关节点的运动轨迹，确定点击、拖、拽、推和拉交互命令；
[0020](6)融合显示，采用云渲染教学服务模式，在边缘计算服务器上完成全息显示内容的渲染；依据教师的身体站位、头部姿态和视线方向，更新全息屏幕上虚拟教学资源的画面；依据真实教师与虚拟教学资源的位置和互动关系，实现两者的融合显示；
[0021](7)互动处理，依据教师骨骼关节点的运动轨迹、连接关系和变化序列，识别其教
学风格；识别输入的眼动、体感和手势动作，转换为点击、拖、拽、推和拉交互命令；驱动虚拟教学资源执行移动、缩放和旋转操作，实现全息显示内容画面的更新。
[0022]本专利技术的有益效果在于：
[0023]构建翻转讲台的立体综合教学场系统，应用内嵌全息膜的分隔墙将教室划分为教师与学生活动区域，使用显示、采集、计算、交互设备和灯光系统构建教室立体教学场系统；根据用户请求的指令，按照参数的权重顺序，沿着云
‑
边
‑
端链路，依据本地缓存、边缘计算服务器热更新、云端批量更新的方式，实现虚拟教学资源加载服务；使用RGB
‑
D摄像机采集教师活动区域的环境、教师的点云数据，在边缘计算服务器利用Mask R
‑
CNN技术，提取教师的骨骼数据，回传到本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.翻转讲台的立体综合教学场系统，其特征在于：包括设备部署模块、教学资源适配模块、采集处理模块、边缘计算模块；所述设备部署模块，在教室教师活动区域部署显示、采集、计算、交互设备和灯光系统，支撑立体综合教学场系统；所述教学资源适配模块，根据用户请求的指令，按照参数的权重顺序，匹配合适的教学资源，沿着云
‑
边
‑
端链路，依据本地缓存、边缘计算服务器热更新、云端批量更新的方式，实现虚拟教学资源加载服务；所述采集处理模块，使用RGB
‑
D摄像机采集教师活动区域的环境、教师的点云数据，在边缘计算服务器，利用Mask R
‑
CNN技术，提取教师的骨骼数据，回传到本地处理模块提取教师骨骼及其关节点坐标，实现关节点分组；所述边缘计算模块，接收采集处理模块获取的点云序列数据，计算并标注教师的骨骼关节点，分析骨骼关节点的运动轨迹，检测教学活动区域中教师的状态，追踪教师的教学行为及其变化。2.根据权利要求1所述的翻转讲台的立体综合教学场系统，其特征在于：包括定位模块，所述定位模块构建虚实融合坐标系，确定全息显示内容的位置、姿态和缩放转换系数，定位教师骨骼的位置、姿态信息，依据采集到的教师骨骼关节点的运动轨迹，定位交互命令。3.根据权利要求1所述的翻转讲台的立体综合教学场系统，其特征在于：包括显示模块，所述显示模块将边缘计算服务器端渲染的虚拟教学内容画面推送到本地，根据教师的观察参数，更新全息屏幕上虚拟教学资源的画面，依据真实教师与虚拟教学资源的位置和互动关系，实现两者的融合显示。4.根据权利要求1所述的翻转讲台的立体综合教学场系统，其特征在于：包括互动模块，所述互动模块依据教师骨骼关节点的运动轨迹、连接关系和变化序列，识别其教学风格，识别教师输入的多感官动作，转换为交互命令，驱动虚拟教学资源执行操作，更新全息显示内容画面。5.一种如权利要求1所述的翻转讲台的立体综合教学场系统的工作方法，其特征在于该方法包括以下步骤：(1)教室环境部署，使用内嵌贴有全息膜的玻璃屏和进出门的分隔墙，将教室划分为教师与学生活动区域；使用电子沙盘、边缘计算服务器、全息成像设备和灯光构建教室的立体教学场系统；在教师活动区域布设深度、声音、动捕和触控传感设备；(2)教学资源适配，根据用户请求的学科、年级、教材版本和知识点，按照终端、分辨率和比例的权重顺序，匹配合适的教学资源；构建云
‑
边
‑
端链路，依据用户的请求，下载虚拟教学资源；依据本地缓存、边缘计算服务器热更新、云端批量更新的方式，实现教学资源加载服务；(3)信息采集处理，使用RGB摄像机采集教师活动区域的背景、纹理、深度、点云；上传到边缘计算服务器，利用Mask R
‑
CNN神经网络技术，提取教师的骨骼数据；在本地处理模块运用分割策略提取回传的教师骨骼及其关节点的3D坐标，利用层级控制原则，实现关节点分组；(4)边缘计算，边缘计算服务器接收到教室端采集模块获取的点云序列数据，使用非线
性解算器计算并标注教师的骨骼关节点；根据骨骼关节点的运动速度和角度，使用神经网络算法分析骨骼关节点的运动轨迹；检测教学活动区域中教师的状态，追踪教师的教学行为及其变化；(5)定位处理，构建虚实融合坐标系，根据全息投影机的内外参数，确定全息显示内容的位置、姿态和缩放转换系数；结合拟透视变换方程，重新定位虚实融合坐标系中教师骨骼的位置、姿态信息；依据处理得到的教师骨骼关节点的运动轨迹，确定点击、拖、拽、推和拉交互命令；(6)融合显示，采用云渲染教学服务模式，在边缘计算服务器上完成全息显示内容的渲染；依据教师的身体站位、头部姿态和视线方向，更新全息屏幕上虚拟教学资源的画面；依据真实教师与虚拟教学资源的位置和互动关系，实现两者的融合显示；(7)互动处理，依据教师骨骼关节点的运动轨迹、连接关系和变化序列，识别其教学风格；识别输入的眼动、体感和手势动作，转换为点击、拖、拽、推和拉交互命令；驱动虚拟教学资源执行移动、缩放和旋转操作，实现全息显示内容画面的更新。6.根据权利要求5所述的翻转讲台的立体综合教学场系统的工作方法，其特征在于步骤(1)中所述教室环境部署具体包括以下步骤：(1
‑
1)功能区域划分，在传统教室的黑板或电子白板前方3米处添加分隔墙，内嵌贴有全息膜的玻璃屏和进出门，将教室划分为2个区域，即分隔墙内、靠近黑板的教师教学活动区域，分隔墙外为学生活动区域，通过进出门，教师从教师活动区域走到学生活动区域，与学生面对面交流；(1
‑
2)全息显示环境构建，分隔墙中内嵌贴有全息膜的玻璃屏，用于呈现虚拟教学资源和真实教师的融合效果，超短焦全息投影机安装在学生活动区域的中间顶部，初始位置设置在移动导轨的正中间；根据教师活动区域、学生活动区域的教师操作与学生观看的需要，分别采用亮度不同的LED白炽灯和LED平板柔光灯，作为全息环境的光源；(1
‑
3)交互设备布设，在教师活动区域，布设边缘计算服务器、电子沙盘和网络环境，教学过程中使用电子沙盘加载、控制教学资源，在分隔墙教师活动区域侧的顶部，安装集成TOF深度、麦克风圆形阵列、惯性测量单元的RGB
‑
D摄像机，采集教学环境和活动过程中教师的语音、口型和体态动作。7.根据权利要求5所述的翻转讲台的立体综合教学场系统的工作方法，其特征在于步骤(2)中所述教学资源适配具体包括以下步骤：(2
‑
1)教学资源匹配，按照学科、年级、教材版本、章节、知识点建立教学资源的知识树模型，按照媒体类型将教学资源挂接在知识树上，并将适配终端、画面尺寸、长宽比例属性赋给教学资源，依据用户的请求，按照终端、分辨率、比例属性的权重顺序，确定最匹配的教学资源；(2
‑
2)云
‑
边
‑
端链路构建，采用MEC架构构建云边端的系统架构，在云端部署立体综合教学场的渲染和教学服务模块，实现用户信息、资源匹配和功能验证服务；在教室所属的学校部署边缘计算服务器，实现画面渲染、边缘计算、资源更新服务...

【专利技术属性】
技术研发人员：杨宗凯，钟正，吴砥，陈旭，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：