一种基于数字孪生的新形态教材学习系统技术方案

本发明专利技术涉及人工智能技术，揭露了一种基于数字孪生的新形态教材学习系统，包括：对经过文本转化的教师发言音频进行领域预测，得到教师发言音频对应的发言领域，在线下教材库中选取与发言领域一致的目标线下教材。识别目标线下教材中发言请求对应的教材内容数据，识别教材内容数据的数据类型，根据不同的数据类型进行虚拟对话视频生成或者立体图像生成，并将虚拟对话视频和立体图像分别添加至线上教材中，得到了优化后的教材，对教材内容数据和优化后的线上教材进行教材编写，得到新形态教材并进行课堂教学。本发明专利技术还提出一种基于数字孪生的新形态教材学习装置、电子设备以及计算机可读存储介质。本发明专利技术可以解决教材优化的准确度较低的问题。低的问题。低的问题。

【技术实现步骤摘要】
一种基于数字孪生的新形态教材学习系统


[0001]本专利技术涉及人工智能
，尤其涉及一种基于数字孪生的新形态教材学习系统，更具体的，涉及一种基于数字孪生的新形态教材学习方法。

技术介绍

[0002]随着科技的发展，线上在线教学已经作为一种补充课堂教学的重要方式，目前的线上教学都是简单的老师进行直播教学，学生进行学习的方式，线上教学中较为重要的部分就是线上教材的制作，枯燥的线上教材在线上教学中无法调动起学生的积极性，同时目前的线上教材缺少与学生线下教材的结合，进而导致学生的学习主动性较低，因此需要提出一种教材优化方法。
[0003]现有的教材优化方法通常是直接将线下教材上的对应内容复制粘贴至线上教材中，现有技术下的数字化教材支持插入教材的资源类型有限，除了教材主体文字以外，拘泥于使用文档、图片、音视频等形式来展现，不能从互动或者操作体验的角度来帮助学习者更好地理解教材内容，因此这种方法无法提高教材优化的趣味性及优化的准确度，故亟待提出一种准确度更高的教材优化方法。

技术实现思路

[0004]本专利技术提供一种基于数字孪生的新形态教材学习系统，其主要目的在于解决教材优化的准确度较低的问题。
[0005]为实现上述目的，本专利技术提供的一种基于数字孪生的新形态教材学习方法，包括：
[0006]获取教师发言音频，对所述教师发言音频进行文本转化，得到教师发言文本，利用训练好的领域预测模型对所述教师发言文本进行领域预测，得到所述教师发言音频对应的发言领域；
[0007]从预设的线下教材库中选取与所述发言领域一致的线下教材作为目标线下教材，并识别所述目标线下教材中与所述教师发言音频中发言请求对应的教材内容数据；
[0008]识别所述教材内容数据的数据类型，当所述教材内容数据为对话类型，则利用预获取的对话音频数据对预设的3D人脸模型进行迭代优化，得到标准人脸模型，并将所述教材内容数据输入至所述标准人脸模型中，得到虚拟对话视频；
[0009]将所述虚拟对话视频添加至预先构建的线上教材中，得到优化后的线上教材；
[0010]当所述教材内容数据为非对话类型时，对所述教材内容数据中进行命名实体识别，并根据命名实体识别得到的实体名称检索到相关的二维平面图像；
[0011]计算出所述二维平面图像的深度图，并基于马尔科夫随机场模型和所述深度图生成立体图像，将所述立体图像添加至所述线上教材中，得到优化后的线上教材；
[0012]将所述教材内容数据存储在预设数据库中，并利用预设教材编辑器对所述预设数据库中的教材内容数据和优化后的线上教材进行教材编写，得到新形态教材；
[0013]当接收到教学预备请求时，调用所述新形态教材进行课堂教学。
[0014]可选地，所述计算出所述二维平面图像的深度图，包括：
[0015]将所述二维平面图像分割为预设个数的平面矩形块；
[0016]分别对预设个数的平面矩形块进行滤波处理，得到多个滤波矩形块；
[0017]利用预设的深度计算公式计算多个所述滤波矩形块的绝对深度，得到深度特征；
[0018]根据所述深度特征生成所述二维平面图像的深度图。
[0019]可选地，所述基于马尔科夫随机场模型和所述深度图生成立体图像，包括：
[0020]对所述深度图进行超分辨率处理及去噪处理，得到去噪深度图；
[0021]将所述二维平面图像定义为右视点图像，利用马尔科夫随机场模型建立所述右视点图像和所述去噪深度图之间的视差映射，并根据所述视差映射生成立体图像。
[0022]可选地，所述对所述教材内容数据中进行命名实体识别，包括：
[0023]将所述教材内容数据划分为多个教材分词，并分别对多个所述教材分词进行向量化，得到多个分词向量；
[0024]将多个所述分词向量输入至长短期记忆网络中进行特征提取，得到特征序列表征；
[0025]将所述特征序列表征输入至CRF层中进行解码，得到每个教材分词对应的序列；
[0026]根据所述教材分词对应的序列确定对应的实体名称。
[0027]可选地，所述利用预获取的对话音频数据对预设的3D人脸模型进行迭代优化，得到标准人脸模型，包括：
[0028]将所述对话音频数据拆分为音素，并对所述音素进行向量化处理，得到音素序列向量；
[0029]利用预设的3D人脸模型中的双向长短期记忆网络对所述音素序列向量进行第一序列变换处理，得到嘴型特征序列；
[0030]对所述嘴型特征序列进行第二序列变换处理，得到人脸面部表情参数；
[0031]根据所述人脸面部表情参数对所述3D人脸模型进行迭代优化，得到标准人脸模型。
[0032]可选地，所述将所述对话音频数据拆分为音素，包括：
[0033]对所述对话音频数据进行文本转换，得到初始对话文本；
[0034]去除所述初始对话文本中的标点符号，得到标准对话文本；
[0035]利用预设的音标规则标记所述标准对话文本中每个字符所对应的音素。
[0036]可选地，所述识别所述目标线下教材中与所述教师发言音频中发言请求对应的教材内容数据，包括：
[0037]提取所述教师发言音频中发言请求中的请求动作，根据所述请求动作将所述目标线下教材定位至对应的页数；
[0038]利用文字提取工具提取所述页数对应的目标线下教材的页面中的文字内容，并将所述文字内容作为教材内容数据。
[0039]可选地，所述利用训练好的领域预测模型对所述教师发言文本进行领域预测之前，所述方法还包括：
[0040]对预获取的训练发言集中的训练发言进行词频解析，得到词频矩阵；
[0041]基于预设的多个领域标签对所述词频矩阵进行随机编号处理，得到所述词频矩阵
对应的领域编号；
[0042]将所述领域编号作为所述领域预测模型的输入值，计算得到所述领域预测模型的吉布斯采样值和狄利克雷参数估计值；
[0043]将所述吉布斯采样值和所述狄利克雷参数估计值作为所述领域预测模型的模型参数，得到训练好的领域预测模型。
[0044]可选地，所述对预获取的训练发言集中的训练发言进行词频解析，得到词频矩阵，包括：
[0045]对所述训练发言集中的训练发言进行分词处理，得到训练分词集；
[0046]筛选所述训练分词集中与预设关键词库中关键词一致的训练分词作为训练关键词，并汇总所述训练关键词得到训练关键词集；
[0047]获取所述训练关键词集中每一个关键词对应的关键词标识和关键词词频，并根据所述关键词标识和所述关键词词频构建对应的词频矩阵。
[0048]为了解决上述问题，本专利技术还提供一种基于数字孪生的新形态教材学习装置，所述装置包括：
[0049]领域识别模块，用于获取教师发言音频，对所述教师发言音频进行文本转化，得到教师发言文本，利用训练好的领域预测模型对所述教师发言文本进行领域预测，得到所述教师发言音频对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数字孪生的新形态教材学习方法，其特征在于，所述方法包括：获取教师发言音频，对所述教师发言音频进行文本转化，得到教师发言文本，利用训练好的领域预测模型对所述教师发言文本进行领域预测，得到所述教师发言音频对应的发言领域；从预设的线下教材库中选取与所述发言领域一致的线下教材作为目标线下教材，并识别所述目标线下教材中与所述教师发言音频中发言请求对应的教材内容数据；识别所述教材内容数据的数据类型，当所述教材内容数据为对话类型，则利用预获取的对话音频数据对预设的3D人脸模型进行迭代优化，得到标准人脸模型，并将所述教材内容数据输入至所述标准人脸模型中，得到虚拟对话视频；将所述虚拟对话视频添加至预先构建的线上教材中，得到优化后的线上教材；当所述教材内容数据为非对话类型时，对所述教材内容数据中进行命名实体识别，并根据命名实体识别得到的实体名称检索到相关的二维平面图像；计算出所述二维平面图像的深度图，并基于马尔科夫随机场模型和所述深度图生成立体图像，将所述立体图像添加至所述线上教材中，得到优化后的线上教材；将所述教材内容数据存储在预设数据库中，并利用预设教材编辑器对所述预设数据库中的教材内容数据和优化后的线上教材进行教材编写，得到新形态教材；当接收到教学预备请求时，调用所述新形态教材进行课堂教学。2.如权利要求1所述的基于数字孪生的新形态教材学习方法，其特征在于，所述计算出所述二维平面图像的深度图，包括：将所述二维平面图像分割为预设个数的平面矩形块；分别对预设个数的平面矩形块进行滤波处理，得到多个滤波矩形块；利用预设的深度计算公式计算多个所述滤波矩形块的绝对深度，得到深度特征；根据所述深度特征生成所述二维平面图像的深度图。3.如权利要求1所述的基于数字孪生的新形态教材学习方法，其特征在于，所述基于马尔科夫随机场模型和所述深度图生成立体图像，包括：对所述深度图进行超分辨率处理及去噪处理，得到去噪深度图；将所述二维平面图像定义为右视点图像，利用马尔科夫随机场模型建立所述右视点图像和所述去噪深度图之间的视差映射，并根据所述视差映射生成立体图像。4.如权利要求1所述的基于数字孪生的新形态教材学习方法，其特征在于，所述对所述教材内容数据中进行命名实体识别，包括：将所述教材内容数据划分为多个教材分词，并分别对多个所述教材分词进行向量化，得到多个分词向量；将多个所述分词向量输入至长短期记忆网络中进行特征提取，得到特征序列表征；将所述特征序列表征输入至CRF层中进行解码，得到每个教材分词对应的序列；根据所述教材分词对应的序列确定对应的实体名称。5.如权利要求1所述的基于数字孪生的新形态教材学习方法，其特征在于，所述利用预获取的对话音频数据对预设的3D人脸模型进行迭代优化，得到标准人脸模型，包括：将所述对话音频数据拆分为音素，并对所述音素进行向量化处理，得到音素序列向量；利用预设的3D人脸模型中的双向长短期记忆网络对所述音素序列向量进行第一序列
变换处理，得到嘴型特征序列；对所述嘴型特征序列进行第二序列变换处理，得到人脸面部表情参数；根据所述人脸面部表情参数对所述3D人脸模型进行迭代优化，得到标准人脸模型。6.如权利要求5所述的基于数字孪生的新形态教材学习方法，其...

【专利技术属性】
技术研发人员：李宏伟，周博文，王丽慧，王毅，王宏建，李雪，启哲，
申请(专利权)人：辽宁向日葵教育科技有限公司，
类型：发明
国别省市：