一种基于虚拟数字人的英语助学系统及方法技术方案

本发明专利技术公开一种基于虚拟数字人的英语助学系统及方法，涉及人工智能领域；通过交互平台根据真人形象进行拟人形象处理，并根据教学请求数据向教学白板传送拟人形象；控制拟人形象根据语音数据进行语言交流；根据预先存储的动作数据和学习终端发送的动作帧进行编解码，生成动作指令，并控制拟人形象在教学白板上根据动作指令进行运动；再经测评模块对语音数据进行特征提取后，经语音评测模型输出评测数据；语音评测模型是基于深度神经网络构建的语音质量测评模型；最后经交互平台根据评测数据，对目标人物的语音数据进行语音纠正；本发明专利技术能够提高互动效果且提高语音评测精度

【技术实现步骤摘要】
一种基于虚拟数字人的英语助学系统及方法


[0001]本专利技术涉及人工智能领域，特别是涉及一种基于虚拟数字人的英语助学系统及方法
。

技术介绍

[0002]目前的乡村义务教育英语智能教学模式，采用了一些
AI
评测和交互方面的技术，主要包括语音评测
、
自然语言理解
、
智能对话等技术
。
[0003]其中，语音评测技术主要用于评估学生的口语表达能力，自然语言理解技术主要用于理解学生的语言输入，智能对话技术主要用于与学生进行交互
。
[0004]具体来说，现有技术的主要内容和原理如下：
1.
语音评测：通过语音评测技术，对学生的英语口语进行自动评测，并给出错误提示和修正建议
。
语音评测技术通常采用基于语音识别和语音合成技术的方法，如基于深度学习的端到端语音识别技术
、
流利度评估技术等
。
[0005]2.
自然语言理解：通过自然语言理解技术，理解学生的语言输入，识别并纠正语法错误
、
语义错误等
。
自然语言理解技术通常采用基于机器学习的方法，如基于逻辑回归的词性标注
、
基于神经网络的句法分析等
。
[0006]3.
智能对话：通过智能对话技术，与学生进行交互，回答学生的问题
、
提供学习建议等
。
智能对话技术通常采用基于规则或机器学习的方法，如基于知识图谱的问答系统
、
基于深度学习的对话生成技术等
。
[0007]现有技术存在以下问题和缺点：
1.
教学问题：智能对话技术缺乏足够的个性化和互动性，难以满足不同学生的学习需求和兴趣
。
[0008]2.
数据问题：智能教学模式需要大量的语音和文本数据进行训练，但针对乡村地区的学生，缺乏针对性的数据集和资源
。
[0009]3.
成绩评测：目前的教学模式缺少系统的英语评测的过程，无法对于学生的英语学习的过程进行常态化的评测
。

技术实现思路

[0010]本专利技术的目的是提供一种基于虚拟数字人的英语助学系统及方法，能够提高互动效果且提高语音评测精度
。
[0011]为实现上述目的，本专利技术提供了如下方案：一种基于虚拟数字人的英语助学系统，所述系统包括：相互连接的学习终端
、
交互平台和测评模块
。
[0012]所述学习终端处设置教学白板，且所述教学白板与所述学习终端连接；所述学习终端用于收集教学请求数据和教学白板处目标人物的语音数据
。
[0013]所述交互平台，用于：根据真人形象进行拟人形象处理，并根据所述教学请求数据向所述教学白板传送拟人形象；控制所述拟人形象在所述教学白板上与所述目标人物根据所述语音数据进行语言交流；
[0014]根据预先存储的动作数据和所述学习终端发送的动作帧进行编解码，生成动作指令，并控制所述拟人形象在所述教学白板上根据所述动作指令进行运动
。
[0015]所述测评模块，用于：对所述语音数据进行特征提取，得到特征数据；将所述特征数据输入至语音评测模型，输出评测数据；所述评测数据包括：语音流畅度
、
语法正确性和发音正确性；所述语音评测模型是基于深度神经网络构建的语音质量测评模型；所述交互平台还用于根据所述评测数据，对目标人物的语音数据进行语音纠正
。
[0016]可选地，所述交互平台包括：形象处理模块，用于根据真人形象进行拟人形象处理，得到拟人形象；传送模块，分别与所述形象处理模块和所述学习终端连接，用于根据所述教学请求数据将所述拟人形象经所述学习终端传送至所述教学白板；控制模块，分别与所述形象处理模块和所述学习终端连接，用于发出控制指令，并控制所述拟人形象根据所述控制指令在所述教学白板上与所述目标人物根据所述语音数据进行语言交流；运动模块，分别与所述控制模块和所述形象处理模块连接，用于根据动作指令控制所述拟人形象在所述教学白板上进行运动；所述动作指令是所述控制模块根据预先存储的动作数据和所述学习终端发送的动作帧进行编解码生成的第一控制指令
。
[0017]可选地，所述交互平台还包括：存储模块；所述存储模块与所述控制模块连接；所述存储模块用于存储动作数据
。
[0018]可选地，所述控制模块包括：语音控制子模块，分别与所述形象处理模块和所述学习终端连接，用于发出控制指令，控制所述拟人形象根据所述控制指令在所述教学白板上与所述目标人物根据所述语音数据进行语言交流；解码子模块，分别与所述存储模块和所述学习终端连接，用于分别对动作帧和预先存储的动作数据进行解析提取，得到各自的解析数据；所述解析数据包括：动作类型和动作参数；查找子模块，与所述解码子模块连接，用于根据动作帧的解析数据在预先存储的动作数据对应的解析数据中进行数据查找，直至动作帧的解析数据和预先存储的动作数据对应的解析数据相同，得到查找数据；指令生成子模块，与所述查找子模块连接，用于根据所述查找数据生成动作指令；渲染子模块，分别与所述指令生成子模块和所述形象处理模块连接，用于根据所述动作指令对所述拟人形象进行动作渲染，得到运动信息；所述运动信息为根据所述动作指令进行运动的拟人形象；反馈子模块，分别与所述渲染子模块和所述学习终端连接，用于将运动信息反馈至所述学习终端；所述学习终端将所述运动信息传送至所述教学白板，以使所述拟人形象在所述教学白板上进行运动
。
[0019]可选地，所述测评模块包括：特征提取子模块，与所述学习终端连接，用于对所述语音数据进行特征提取，得到特征数据；评测子模块，与所述特征提取子模块连接，用于将所述特征数据输入至语音评测模型，输出评测数据；输送子模块，分别与所述评测子模块和所述交互平台连接，用于将所述评测数据传输至所述交互平台
。
[0020]可选地，所述特征提取子模块包括：预处理单元和提取单元；所述预处理单元与所述学习终端连接；所述提取单元与所述预处理单元连接；所述预处理单元用于对所述语音数据进行去噪处理，得到处理语音数据；所述提取单元用于对所述处理语音数据进行特征提取，得到特征数据
。
[0021]一种基于虚拟数字人的英语助学方法，所述方法采用上述所述的基于虚拟数字人的英语助学系统实现，所述方法包括：获取教学请求数据和目标人物的语音数据；根据真人
形象进行拟人形象处理，得到拟人形象；根据所述教学请求数据向教学白板传送拟人形象；控制所述拟人形象在所述教学白板上与目标人物根据所述语音数据进行语言交流；根据预先存储的动作数据和学习终端发送的动作帧进行编解码，生成动作指令，并控制所述拟人形象在所述教学白板上根据所述动作指令进行运动；控制测评模块对所述语音数据进行特征提取，得到特征数据，并将所述特征数据输入至语音评测模型，输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于虚拟数字人的英语助学系统，其特征在于，所述系统包括：相互连接的学习终端
、
交互平台和测评模块；所述学习终端处设置教学白板，且所述教学白板与所述学习终端连接；所述学习终端用于收集教学请求数据和教学白板处目标人物的语音数据；所述交互平台，用于：根据真人形象进行拟人形象处理，并根据所述教学请求数据向所述教学白板传送拟人形象；控制所述拟人形象在所述教学白板上与所述目标人物根据所述语音数据进行语言交流；根据预先存储的动作数据和所述学习终端发送的动作帧进行编解码，生成动作指令，并控制所述拟人形象在所述教学白板上根据所述动作指令进行运动；所述测评模块，用于：对所述语音数据进行特征提取，得到特征数据；将所述特征数据输入至语音评测模型，输出评测数据；所述评测数据包括：语音流畅度
、
语法正确性和发音正确性；所述语音评测模型是基于深度神经网络构建的语音质量测评模型；所述交互平台还用于根据所述评测数据，对目标人物的语音数据进行语音纠正
。2.
根据权利要求1所述的基于虚拟数字人的英语助学系统，其特征在于，所述交互平台包括：形象处理模块，用于根据真人形象进行拟人形象处理，得到拟人形象；传送模块，分别与所述形象处理模块和所述学习终端连接，用于根据所述教学请求数据将所述拟人形象经所述学习终端传送至所述教学白板；控制模块，分别与所述形象处理模块和所述学习终端连接，用于发出控制指令，并控制所述拟人形象根据所述控制指令在所述教学白板上与所述目标人物根据所述语音数据进行语言交流；运动模块，分别与所述控制模块和所述形象处理模块连接，用于根据动作指令控制所述拟人形象在所述教学白板上进行运动；所述动作指令是所述控制模块根据预先存储的动作数据和所述学习终端发送的动作帧进行编解码生成的第一控制指令
。3.
根据权利要求2所述的基于虚拟数字人的英语助学系统，其特征在于，所述交互平台还包括：存储模块；所述存储模块与所述控制模块连接；所述存储模块用于存储动作数据
。4.
根据权利要求3所述的基于虚拟数字人的英语助学系统，其特征在于，所述控制模块包括：语音控制子模块，分别与所述形象处理模块和所述学习终端连接，用于发出控制指令，控制所述拟人形象根据所述控制指令在所述教学白板上与所述目标人物根据所述语音数据进行语言交流；解码子模块，分别与所述存储模块和所述学习终端连接，用于分别对动作帧和预先存储的动作数据进行解析提取，得到各自的解析数据；所述解析数据包括：动作类型和动作参数；
查找子模块，与所述解码子模块连接，用于根据动作帧的解析数据在预先存储的动作数据对应的解析数据中进行数据查找，直至动作帧的解析数据和预先存储的动作数据对应的解析数据相同，得到查找数据；指令生成子模块，与所述查找子模块连接，用于根据所述查找数据生成动作指令；渲染子模块，分别与所述指令生成子模块和所述...

【专利技术属性】
技术研发人员：李鑫，
申请(专利权)人：北京烽火万家科技有限公司，
类型：发明
国别省市：