【技术实现步骤摘要】
虚拟教学场景中生成式教学资源系统及其工作方法
[0001]本专利技术属于人工智能的教学应用领域，更具体地，涉及虚拟教学场景中生成式教学资源系统及其工作方法
。
技术介绍
[0002]人工智能通用大模型的快速发展，现有虚拟教学场景虽可利用数字人技术生成逼真的虚拟教师，但尚未给虚拟教师赋予感知
、
认知的智能能力
。
因此，在虚拟教学场景中为虚拟教师添加
AIGC
能力，在学科知识图谱的支持下，采用自然语言处理
、
深度学习等技术实现学生与虚拟教师的语音问答，并由形象逼真的虚拟教师讲解多样化的应答结果，并配以与内容匹配的表情和动作，可为虚拟教学场景中学习者提供个性化的辅导
、
支持以及更好的学习体验，在未来教育具有广泛的应用前景
。
[0003]当前虚拟教学场景中生成式教学资源领域还存在诸多的问题：
(1)
虚拟教学场景中数字人尚未能接入学科知识图谱：基于通用网站收集的语料库，难以支撑沉浸式教学环境中智能教学；
(2)
虚拟教师言语
、
体态和表情的不同步：现有虚拟教学场景中虚拟化身的表情
、
动作多以预设固定动作为主，无法根据生成式教学资源，准确捕捉情感信息，匹配虚拟化身的表情和肢体动作，降低师生用户的体验感；
(3)
虚拟教学场景中教学资源呈现形式单一，多是三维演示式
、
交互式课件或纹理视频形态，缺乏基于互动问答
【技术保护点】
【技术特征摘要】
1.
虚拟教学场景中生成式教学资源系统，其特征在于：包括虚拟教学场景环境生成模块
、
学科语料库构建模块
、
学生意图理解模块
、
教师应答反馈模块
、
虚拟教师体态同步模块；所述虚拟教学场景环境生成模块，从虚拟素材库选择背景和对象，创设虚拟教学场景，运用
SMPL
算法重构光场采集的师生三维模型，在虚拟环境中聚合师生虚拟化身；所述学科语料库构建模块，基于启发式搜索的爬虫算法采集学科语料，提取命名实体及其关系，运用
RDF
构建实体
‑
关系
‑
实体的学科知识三元组，采用图结构组织实体和关系；所述学生意图理解模块，运用深度神经网络模型提取学生提问的文本序列，采用随机森林分类器获取学生提问的意图；所述教师应答反馈模块，标记词项的语义角色，采用逻辑和推理规则推导语义角色中隐含信息，计算语义角色和各个实体之间的相似度，提取
、
生成应答结果；所述虚拟教师体态同步模块，识别应答文本的情感类别，驱动虚拟教师的面部表情更新，运用单元动作匹配算法实现表情和肢体动作的一致
。2.
根据权利要求1所述的虚拟教学场景中生成式教学资源系统，其特征在于：还包括应答结果呈现模块和应答结果交互模块；所述应答结果呈现模块，将应答视频分割成帧序列，采用像素坐标算法将程序代码和数学公式映射成为图片，使用动态视频纹理对象将应答内容映射到虚拟幕布上；所述应答结果交互模块，使用
LOD
算法动态调度视频和模型，使用关键行为检测算法提取师生用户的交互命令，执行组合命令，实现与教学资源的多模态交互
。3.
虚拟教学场景中生成式教学资源系统的工作方法，其特征在于该方法包括以下步骤：
(1)
虚拟教学场景环境生成；从虚拟素材库选择背景和对象，创设虚拟教室
、
实验室和会议讨论室教学场景；采用
OpenPose
算法定位光场采集的师生关节点，运用基于
SMPL
的三维人体重建算法重构师生三维模型；使用
WebRTC
算法聚合师生虚拟化身，采用
5G
云渲染算法实现高分辨率渲染画面的输出；
(2)
学科语料库构建；使用基于启发式搜索的爬虫算法收集语料，依据语料置信度，决定是否被收录；运用
LDA
主题模型提取学科原理
、
公式和概念命名实体，采用双向循环神经网络获取各实体之间的关系；使用
RDF
构建实体
‑
关系
‑
实体的学科知识三元组，运用图结构组织实体和关系；
(3)
学生意图理解；采集学生提问声音信号，运用模拟
‑
数字转换器将声音信号转换数字序列；采用深度神经网络模型提取声音特征向量，结合编码器和基于神经网络的语言模型，生成声音的文本序列；依据句法关系，采用
TextRank
算法提取关键词，运用随机森林分类器获取学生的意图；
(4)
教师应答反馈；使用语义角色标记算法标记词项的语义角色，运用逻辑和推理规则推导语义角色中隐含信息；采用词向量匹配算法计算语义角色与各个实体之间的相似度，依据相似度大小，获取候选实体；分别采用编码器
、
数学公式解析算法从句子中提取
、
生成应答结果；
(5)
虚拟教师体态同步；依次经过卷积神经网络层
、
循环神经网络提取情感特征，使用全连接层分类器将其分为不同的教学情感；使用基于深度学习的生成对抗网络推断脸部关键点坐标变化，驱动虚拟教师面部表情更新；运用单元动作匹配算法实现虚拟教师表情和
肢体动作的一致匹配；
(6)
应答结果呈现；在虚拟教室的讲台前方设置虚拟幕布，使用视频纹理动态切换应答内容，支持虚拟幕布的朝向变化；使用视频分析算法分割视频，运用神经网络识别程序代码和数学公式，采用像素坐标算法将字符和符号映射为图片；运用动态纹理对象将应答结果映射到虚拟幕布上；
(7)
应答结果交互；依据距离用户视线的远近和夹角，采用
LOD
形式动态调度不同清晰度的视频和模型；使用关键行为检测算法提取用户手势
、
常规体态和语音交互命令，驱动虚拟教学资源执行单个或多个操作的组合命令；多角度呈现教学资源，运用网格变形算法实现拉伸
、
扭曲和旋转操作
。4.
根据权利要求1所述的虚拟教学场景中生成式教学资源系统的工作方法，其特征在于步骤
(1)
中所述的虚拟教学场景环境生成具体包括：
(1
‑
1)
虚拟教学场景创设，根据教学内容和应用场景，从虚拟素材库中选择高山
、
平原
、
海洋和宇宙背景，以及教室
、
黑板
、
桌椅
、
教具和学具对象，创设新的虚拟教室
、
实验室和会议讨论室，使用边界表示方法表示教学场景中对象模型；
(1
‑
2)
师生三维模型生成，使用摄像头组成的实时光场采集工作站，从不同侧面拍摄师生全身的图像，采用
OpenPose
算法定位师生主要关节点，运用基于
SMPL
的三维人体重建算法重构师生三维模型，依据教学场景，采用纹理映射算法定制师生的外貌特征；
(1
‑
3)
虚拟环境构建，基于“云
‑
边
‑
端”架构，采用
WbeRTC
算法将参与同一课程的师生虚拟化身聚合到共同教学空间中，依据
SFTP
传输协议，将虚拟教学场景和同一空间中师生虚拟化身上传到云服务器，使用
5G
云渲染算法实现高分辨率渲染画面的输出，经
5G
链路发送到各用户的显示终端
。5.
根据权利要求1所述的虚拟教学场景中生成式教学资源系统的工作方法，其特征在于步骤
(2)
中所述的学科语料库构建具体包括：
(2
‑
1)
语料采集，使用基于启发式搜索的爬虫算法从学科文献
、
专家知识
、
教案
、
课程教材
、
知识库和试题集收集语料，依据权威机构
、
可靠出版社
、
学术期刊
、
知名专业网站的排名对语料来源赋予不同置信度，设置置信度阈值，当该条语料置信度大于等于阈值时，收录到语料库；反之，则不收录；
(2
‑
2)
学科知识抽取，使用
n
‑
gram
分词算法处理新收录语料，获取该语料的词项序列，使用布朗聚类和词嵌入算法将词项序列转换为词向量序列，运用
LDA
主题模型提取学科原理
、
公式和概念的命名实体，采用双向循环神经网络获取各实体之间的上下位
、
相似和包含关系；
(2
‑
3)
学科知识组织，运用实体消歧算法消除学科实体的语义冗余信息，获得已处理的候选实体，再使用词义相似度链接算法遍历
、
提取知识库中与之匹配实体，将候选实体
‑
关系
‑
匹配实体三者，使用
RDF
构建对应学科知识三元组，采用结点和边分别表示实体和关系，运用图...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。