一种立体综合教学场系统及其工作方法技术方案

本发明专利技术属于信息技术的教学应用领域，提供一种立体综合教学场系统及其工作方法，本发明专利技术借助传感器采集真实教学空间的深度数据、教师点云数据和授课声音信息；基于边缘云实现虚拟教学空间数据存储、传输和渲染的基础架构计算和缓存；采用R树的空间索引结构，建立虚拟教学空间数据库模型，实现分布式数据存储；通过定位追踪使用者的动作，生成实时更新的个性化虚拟化身；利用5G链路，经编码、上传、5G渲染和解码技术，将虚拟教学空间画面推送到师生显示终端。本发明专利技术有助于满足远程虚拟教学中多教学场景的需要，构建一种新型智能教学环境。构建一种新型智能教学环境。构建一种新型智能教学环境。

【技术实现步骤摘要】
一种立体综合教学场系统及其工作方法


[0001]本专利技术属于信息技术的教学应用领域，更具体地，涉及一种立体综合教学场系统及其工作方法。

技术介绍

[0002]立体综合教学场是一种融合物理空间与虚拟空间中的教学场，支持师生、教学资源、虚实空间共同形成的情境化课堂教学。基于多种传感器、显示终端和辅助设备，采集真实教学环境、教学资源，以及师生的模型、动作和声音数据，结合三维建模、虚拟现实、全息成像、5G等技术，驱动虚拟化身与虚拟空间、场景和教学资源交互。通过唇语及动作同步模拟真实师生在教学活动中的行为，突破物理空间的阻隔，提高师生的沉浸感和临场感。立体综合教学场系统支持教师开展知识讲解、内容展示和自然交互的教学活动，增强学习者的知识理解和互动体验。立体综合教学场系统有利于发展智能教育，推动教学方法变革，有助于构建智能化、交互式新型教学环境。
[0003]目前在构建立体综合教学场系统方面还存在着如下不足：（1）虚拟教学空间的真实感不足：当前虚拟教学环境建模涉及的环境理解、空间定位、动作捕捉等各个单项技术均取得长足的进展，但虚拟化身较难逼真地反映教学活动中师生的动作和互动行为，难以获得良好的真实感体验。（2）数据传输延时问题：虚实教学空间的实时融合需要实现云
‑
边
‑
端之间的上下行海量数据实时传输和分布式数据存储，数据延时会对系统的实时性产生较大影响，直接影响着师生对立体教学场系统的教学体验。（3）缺乏基于内容的教学互动支持：立体教学场需要在知识讲解、内容展示，以及教学模式、教学工具和教学资源方面进行变革，进一步提升教学应用的效果。

技术实现思路

[0004]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种立体综合教学场系统及其工作方法，为立体教学场的数据采集、数据传输、空间定位追踪、真实感虚拟化身生成、教学互动提供一种新的、系统性的方法。
[0005]本专利技术的目的是通过以下技术措施实现的。
[0006]本专利技术提供一种立体综合教学场系统，包括数据采集模块、数据传输管理模块、数据存储模块、空间定位追踪模块、虚拟化身表示模块、虚拟教学活动构建模块、教学互动模块、教学管理模块和终端显示模块；所述数据采集模块用于采集真实教学场景的深度数据、教师全身点云数据，以及教师授课的声音数据；所述数据传输管理模块借助云—边—端网络架构，实现立体教学场中不同类型数据的云渲染、云编辑和自适应传输；所述数据存储模块用于实现虚拟教学空间数据的索引、更新、调度和分布式存储；所述空间定位追踪模块用于实现对师生的头部、肢体动作和手部的定位追踪；
所述虚拟化身表示模块用于师生虚拟化身的生成、唇语和动作的实时同步；所述虚拟教学活动构建模块用于在立体教学场中创设虚拟教学空间，创建虚拟教学活动，并支持师生加入虚拟教学活动；所述教学互动模块用于实现虚拟教学空间中多种形式的知识讲解、教学内容3D展示，以及师生之间的教学互动反馈；所述教学管理模块用于实现教学管理服务，以及虚拟教学空间和资源的管理服务；所述终端显示模块用于在师生终端实现内容显示、视频图像延迟处理和时延优化控制。
[0007]本专利技术还提供一种上述的立体综合教学场系统的工作方法，包括以下步骤：（1）数据采集，采用深度TOF传感器、激光LiDAR、颈挂式耳麦采集真实教学空间的深度数据、教师点云数据和授课声音数据，构建教学空间的表面网格模型、教师的虚拟化身模型和声音信息。
[0008]（2）数据传输管理，通过在学校部署边缘云，借助云
‑
边
‑
端网络架构实现立体教学场的数据存储、传输和渲染服务，支持师生终端从本地和边缘云加载对应的数据和服务，采用状态转换方法管理对象操作，采用注视点估计算法、注视点动态推流方法和DASH自适应传输协议控制数据传输。
[0009]（3）数据存储，基于R树的空间索引结构，构建立体教学场的虚拟教学数据库模型，通过尾部追加更新的要素文件，生成新的数据存储和索引节点；根据性能预测模型，调度数据，采用三维空间数据自适应压缩算法，实现分布式数据存储。
[0010]（4）空间定位追踪，采用超广角追踪传感摄像头、IMU惯导传感器、光学动作捕捉追踪系统，获取教师的视点和视场范围，跟踪和识别头部、躯干和四肢动作，定位教师的手部交互点。
[0011]（5）虚拟化身表示，定制师生的虚拟化身模型，实时替换脸部纹理，依据接受到的语音和动作信息，实时同步虚拟化身的唇语和动作。
[0012]（6）虚拟教学活动构建，在虚拟空间中创建并布置虚拟教学场景，教师创建虚拟教学活动后，师生通过教室号或者漫游方式进入到虚拟教学空间，参加教学活动。
[0013]（7）教学互动，师生通过多种协作工具开展教学活动，教师使用语音、手势、板书、草图、3D思维导图，讲解知识点和教学内容，采用移动终端实现师生互动和反馈。
[0014]（8）教学管理，支持教师管理个人空间的公告、留言、作业发布和学习者问答信息；支持教师新增、修改、删除和调整虚拟教学空间；支持在个人空间中管理、查找虚拟教学资源。
[0015]（9）终端显示，利用5G链路，经编码、上传、渲染和解码，在师生终端显示虚拟教学空间画面，采用Session级、秒级和帧级三层带宽和多级缓存技术控制视频解码和显示，根据头部动作预测和云端异步渲染技术，优化传输和显示时延。
[0016]本专利技术的有益效果在于：构建一种立体综合教学场系统，使用多种传感器采集真实教学环境、教师的点云数据和声音信息，实现教学环境、师生模型和声音的生成；采用云
‑
边
‑
端架构搭建虚拟教学空间数据存储、传输和渲染服务，师生的终端将从本地和边缘云加载不同的数据和服务，通
过状态控制机制管理对象操作；基于R树的空间索引结构，建立虚拟教学空间数据模型，根据性能预测模型，实现分布式立体教学场的数据调度和存储；采用多种传感器协同追踪和识别师生的头部、躯干和四肢动作，驱动虚拟化身实时更新唇语和动作；创建并布置虚拟教学空间的教学场景，教师可以邀请学生加入其所创设的教学活动，使用语音、手势、板书、草图和3D思维导图的协作工具讲解和展示知识点内容；教师通过移动终端主导教学互动和反馈，查看、编辑、管理和推送教学信息，管理虚拟教学空间的场景，在个人空间中管理、推送和查找虚拟教学资源。利用5G链路，经编码、上传、渲染和解码，在终端显示虚拟教学空间画面，采用Session、秒和帧级三层带宽和多级缓存技术控制显示延时，采用头部动作预测和云端异步渲染技术，优化传输和显示。随着虚拟现实、5G教育专网和云边端架构的快速发展，立体综合教学场能够满足多场景远程虚拟教学的需要，有助于构建新型智能教学环境。
附图说明
[0017]图1是本专利技术实施例中立体综合教学场系统架构图。
[0018]图2是本专利技术实施例中教师数据采集工作流程图。
[0019]图3是本专利技术实施例中边缘云架构图。
[0020]图4是本专利技术实施例中数据加载流程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种立体综合教学场系统，包括数据采集模块、数据传输管理模块、数据存储模块、空间定位追踪模块、虚拟化身表示模块、虚拟教学活动构建模块、教学互动模块、教学管理模块和终端显示模块；所述数据采集模块用于采集真实教学场景的深度数据、教师全身点云数据，以及教师授课的声音数据；所述数据传输管理模块借助云
‑
边
‑
端网络架构，实现立体教学场中不同类型数据的云渲染、云编辑和自适应传输；所述数据存储模块用于实现虚拟教学空间数据的索引、更新、调度和分布式存储；所述空间定位追踪模块用于实现对师生的头部、肢体动作和手部的定位追踪；所述虚拟化身表示模块用于师生虚拟化身的生成、唇语和动作的实时同步；所述虚拟教学活动构建模块用于在立体教学场中创设虚拟教学空间，创建虚拟教学活动，并支持师生加入虚拟教学活动；所述教学互动模块用于实现虚拟教学空间中多种形式的知识讲解、教学内容3D展示，以及师生之间的教学互动反馈；所述教学管理模块用于实现教学管理服务，以及虚拟教学空间和资源的管理服务；所述终端显示模块用于在师生终端实现内容显示、视频图像延迟处理和时延优化控制。2.一种如权利要求1所述的立体综合教学场系统的工作方法，其特征在于该方法包括以下步骤：（1）数据采集，使用深度TOF传感器采集真实教学场景的深度数据，生成整体深度图，构建表面网格模型，并按照语义特征划分对象，利用激光LiDAR采集教师点云数据，生成教师全身可视化模型，使用颈挂式耳麦采集教师授课的声音信息，采用ADPCM编码将声音绑定到教师虚拟化身模型；（2）数据传输管理，通过部署边缘云，构建云
‑
边
‑
端网络架构，为云渲染、云编辑和数据传输提供支持服务；师生从终端登陆虚拟教学空间，从本地和边缘云加载不同类型的数据和服务；通过状态控制机制，管理虚拟教学空间中对象的加载、保存、更新和删除操作；根据用户的显示控制参数，完成数据的自适应传输；（3）数据存储，建立虚拟教学数据库模型，实现分布式系统存储；通过尾部追加更新要素文件，生成数据存储和索引节点；基于性能预测模型，实现对立体教学场数据的存取、调度与性能变化的预估；依据空间聚类，采用三维空间数据自适应压缩算法，实现分布式数据存储；（4）空间定位追踪，利用超广角追踪传感摄像头和IMU惯导传感器，定位、追踪师生的头部运动信息，获取其视点位置和视场范围；使用光学动作捕捉追踪系统，跟踪和识别教学过程中师生的头部、躯干和四肢的动作；通过传感摄像头采集手部LED灯的光斑信息，构建运动预测模型，精准定位教学过程中师生的手部交互点；（5）虚拟化身表示，根据师生的个性化参数，选取化身模型，提取面部特征部位的关键点，映射脸部纹理；根据接收到的声音数据，分析解码后的语音特征，映射成嘴部特征点的形变，实现虚拟化身的唇语同步；采用光学捕捉设备动态追踪师生的动作，驱动虚拟教学空间中化身的实时更新；
（6）虚拟教学活动构建，在虚拟空间中创建与真实场景相似的学校、教学楼和教室，根据教学需要设置桌椅、白板、屏幕的位置；教师根据教学计划和课程表创建教学活动，通过班级管理功能向学习者发送活动通知；师生通过教室号跳转或漫游方式进入虚拟教学空间，以虚拟化身的形式参加教学活动；（7）教学互动，虚拟教学空间中师生化身通过多种协作工具开展教学活动，教师能使用语音、手势、板书和草图讲解知识点；采用3D思维导图创设、串联、组织、展示教学内容；通过移动终端控制教学资源放置和播放形式，实现师生之间的互动反馈；（8）教学管理，管理员导入学校师生信息，教师获取选课的学习者信息，管理个人空间的公告、留言、作业发布和学习者问答信息；支持教师新增、修改、删除和调整虚拟教学空间，管理员审核通过后可共享给其他师生；教师可在个人空间中管理虚拟教学资源，使用多种方式查找资源；（9）终端显示，选择视场范围及其两侧视角外的画面内容，通过5G链路，经编码、上传、5G渲染和解码，在终端显示；采用Session级、秒级和帧级三层带宽技术控制显示终端的带宽波动，使用多级缓存技术逐帧解码和显示视频图像；结合头部动作预测和云端异步渲染技术，控制上行动作、下行内容和画面的MTP时延。3.根据权利要求2所述的立体综合教学场系统的工作方法，其特征在于步骤（1）中所述数据采集具体包括以下步骤：（1
‑
1）真实教学空间数据采集，使用深度TOF传感器分段采集教学空间的黑板、讲台、教具和教室墙壁的深度数据，使用特征匹配算法，合并生成教学空间的整体深度图，构建表面网格模型，并按照语义划分对象；（1
‑
2）教师数据采集，依据性别、身高、体型和年龄，选取具有代表性身材的教师，利用激光LiDAR快速获取教师的全身点云数据，通过点云拼接和构网生成教师的表面模型，再使用三角形表面简化算法，生成教师全身的可视化模型；（1
‑
3）教师授课声音采集，采用颈挂式耳麦采集教师授课的声音数据，应用去回声、降噪操作去除录制中的噪声，采用高压缩比的ADPCM自适应差分脉冲编码方式，将声音信息传输、绑定到立体教学活动中教师的虚拟化身模型上。4.根据权利要求2所述的立体综合教学场系统的工作方法，其特征在于步骤（2）中所述数据传输管理具体包括以下步骤：（2
‑
1）边缘云部署，在立体教学场的集中使用区域部署边缘云平台，构建云
‑
边
‑
端网络架构，结合CPU和GPU的虚化功能，实现数据存储、传输和渲染的基础架构计算和缓存服务，为云渲染、云编辑和数据传输提供统一的支持服务；（2
‑
2）数据加载，师生用户登录虚拟教学空间时，显示终端将从本地加载虚拟场景、师生模型和教学资源数据，并向边缘云发送请求服务，获取跟自己相关的课程信息、师生在线或离线登录状态、待加入课堂的位置；（2
‑
3）数据状态控制，虚拟教学活动开始、执行和停止过程中，使用活跃、空闲、静止表示虚拟教学空间中的师生模型、教具学具和活动位置，通过状态控制机制，管理虚拟教学空间中对象的加载、保存、更新和删除操作；（2
‑
4）数据传输，根据用户的头部转动方向和速度、注视点位置，基于UDP协议，自适应调整视场内各分块的传输次序，采用GCC拥塞控制算法检测用户的网络状态，动态调整立体
教学场数据传输的发送码率，采用滑动窗口方法控制数据包在待发送和发送缓存队列之间的转移。5.根据权利要求2所述的立体综合教学场系统的工作方法，其特征在于步骤（3）中所述数据存储具体包括以下步骤：（3
‑
1）空间索引，针对立体综合教学场数据的多源、异构和海量特征，按照要素集
‑
要素对象
‑
三维模型、属性和音视频元素三个粒度层次，采用R树的空间索引结构，建立虚拟教学空间数据库模型，实现网...

【专利技术属性】
技术研发人员：杨宗凯，钟正，吴砥，陈旭，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：