具有语音功能的3D虚拟教师系统及其方法技术方案

本发明专利技术公开了一种具有语音功能的3D虚拟教师系统及其方法，涉及数字化教学和人工智能领域。本系统是3D虚拟教师服务器（10）、因特网网络（20）和客户终端（30）依次连通；用户打开本系统，本系统通过因特网网络（20）登陆到3D虚拟教师服务器（10）。本方法包括：一、智能语音自动答疑；二、虚拟教师情感处理。与现有技术相比，本发明专利技术①具有3D形象和情感的虚拟老师更吸引学习者的兴趣；②语音答疑更方便；③学习内容推荐提高学习者的学习效率。

【技术实现步骤摘要】

本专利技术涉及数字化教学和人工智能领域，尤其涉及一种具有语音功能的3D虚拟教师系统及其方法。
技术介绍
国内有关虚拟教师问题的研究始于2006年前后，其概念及研究内容随着研究的开展发生了巨大的变化。在现实的学校教育中，学生对教师的选择是有限的，教师的外在形象也是固定的。然而在虚拟世界中则大相径庭，学生可以选择喜爱的虚拟教师，由学生自主选择教师的形象，研究表明，由学生喜爱的教师授课，往往更能激发学生的学习兴趣。目前，数字化教学常见的是没有虚拟教师形象的学习系统，该系统一般具有教学、答疑、布置作业和测验等功能。具有语音功能和3D形象的虚拟教师正处于研究阶段。随着语音识别技术的发展，语音自动答疑的研究也发展起来，目前语音自动答疑方面苹果语音助理服务Siri可以语音解答使用苹果手机的问题，百度的移动解题类App“作业帮”具有了“语音答疑”的功能。用于英语教学的虚拟教师具有语音功能，学习者可以向虚拟教师说话，但这种语音交流只能用于特定部分，如：测试(Quiz)。国内外对自动答疑的研究已经有十多年了，其关键技术是关键字的提取、全文搜索技术及知识库的构建，由于传统的关键字匹配技术没有理解查询词背后的语义信息，存在查询效率低、准确度不够的问题。3D动画又称为三维动画，是随着计算机硬件和软件发展而产生的一门新兴技术。三维动画技术对真实物体的运动状态的虚拟模拟具有精确、真实和无限可能性。目前常用得3D工具有Maya、3dsMax等，运用这些工具可以制作出各种惟妙惟肖的人物和场景，也可通过程序控制人物的动作。但目前还没有将情感词触发3D虚拟人物的情感合成，目前带有教师头像的虚拟教师始终只能保持一种表情。人性化交互功能的虚拟教师引入现有的虚拟学习环境中来，可以帮助学习者更好地完成学习任务，在快乐中学习，学习者在感受到利用网络进行学习的充实感的同时，拥有教师形象的虚拟教师又可以使学生摆脱以往利用网络学习的孤独感，有接受正规学校教育的感觉。相信随着技术的进步和人们对于网络学习观念的更新，伴有教师形象的虚拟学习环境的利用率会越来越高，各类课程学习平台会使成千上万的学习者受益。
技术实现思路
本专利技术的目的是提供一种具有语音功能的3D虚拟教师系统及其方法，即提供一种能模拟真实教师的外貌、形象、动作以及表情等的3D虚拟教师，并能够向学习者授课和自动答疑的智能实体，解决目前在线学习时缺少互动、缺乏情感的交流、疑问不能及时解答、容易产生孤独感、不易对学习保持长久热情和教学效果差的问题。本专利技术的目的是这样实现的：本专利技术以3D动画的形式和模拟虚拟教师情感的方式实现网络教学过程中的智能答疑和在线学习；通过语音识别技术将用户提出的问题识别为短文本，将短文本分词，通过课程知识图谱，匹配出文本形式的答案，最后通过语音生成器生成语音回答；同时虚拟讲课时根据课程内容合成不同表情和动作处理；答疑时对用户提问信息进行分析，对积极提问和消极提问分别合成不同的表情；本专利技术可用于大、中、小学生不同课程的教学中，也可用于其他类型的教学中。一、具有语音功能的3D虚拟教师系统(简称系统)本系统包括现有的因特网网络和客户终端，客户终端包括第1客户终端、第2客户终端……和第N客户终端，N为自然数，1≤N≤1000000；设置有3D虚拟教师服务器；3D虚拟教师服务器、因特网网络和客户终端依次连通；用户打开本系统，本系统通过因特网网络登陆到3D虚拟教师服务器。本专利技术的工作原理是：①借助语音识别技术将用户语音提出的问题识别为文本，对文本进行取词根、标注词性处理，设计短文本相似度计算方法计算问题与课程答案库中答案的相似度，相似度最高的文本形式答案被找出来，最后通过语音生成器生成语音回答；②通过学习者提问内容分析将提问内容表示成关键词向量，通过相似度度量，得出潜在的具有相似性的学习内容，将有效学习内容信息推荐给学习者；③虚拟教师情感是通过计算机3D工具呈现的，首先构建3D虚拟教师情感空间，对虚拟教师进行情感的数据量化，包括面部表情、身体姿态、头部姿势、手势、运动和物体操作，然后构建3D虚拟教师情感转移矩阵，设计情感的更新规则，包括不同程度的负面影响和正面影响，虚拟教师的情感变化根据这些规则更新。二、具有语音功能的3D虚拟教师方法(简称方法)本方法包括以下两种：1、智能语音自动答疑①通过语音识别技术将用户提出的问题识别为文本，通过短文本相似度计算找出文本形式的答案；②通过语音生成器生成语音回答。2、虚拟教师情感处理①3D虚拟教师讲课时根据课程内容合成不同表情和动作处理；答疑时对用户提问信息进行分析，对积极提问和消极提问分别合成不同的表情；②如果系统识别出来的用户的提问中含有喜悦、高兴之类的词或者识别出来的词的是属于喜悦、高兴这种类别时，3D虚拟教师的表情会显示微笑；相反地，如果系统识别出来的用户的提问中含有不高兴、伤心之类的词，3D虚拟教师的表情会显示难过或者皱眉之类的表情；③同时，3D虚拟教师的表情显示的程度会随着系统识别出来的用户的提问中的词的程度而改变，如果系统识别出来的用户的提问中显示非常高兴，即高兴的程度很大，则3D虚拟教师的表情的微笑幅度会变大；如果系统识别出来的用户的提问中显示非常伤心，则3D虚拟教师的表情不高兴的幅度也会变大。与现有技术相比，本专利技术具有以下优点和积极效果：①具有3D形象和情感的虚拟老师更吸引学习者的兴趣；②语音答疑更方便；③学习内容推荐提高学习者的学习效率。附图说明图1是本系统的结构方框图，图1中：10—3D虚拟教师服务器；20—因特网网络；30—客户终端，31—第1客户终端，32—第2客户终端……3N—第N客户终端，N为自然数，1≤N≤1000000；图2是3D虚拟教师服务器10的结构方框图，图2中：11—语音答疑模块；12—授课模块；13—推荐学习模块；14—情感控制模块；15—在线测试模块；图3是情感控制模块14的结构方框图，图3中：141—情感更新规则；142—3D虚拟教师情感空间,1421—面部表情情感转移矩阵,1422—身体姿态情感转移矩阵,1423—头部姿势情感转移矩阵,1424—手势情感转移矩阵,1425—运动情感转移矩阵,1426—物体操作情感转移矩阵；图4是语音答疑模块11外交互的流程图；图5是语音答疑模块11内交互的流程图。具体实施方式...

【技术保护点】
一种具有语音功能的3D虚拟教师系统，包括现有的因特网网络（20）和客户终端（30），客户终端（30）包括第1客户终端（31）、第2客户终端（32）……和第N客户终端（3N），N为自然数，1≤N≤1000000；其特征在于：设置有3D虚拟教师服务器（10）；3D虚拟教师服务器（10）、因特网网络（20）和客户终端（30）依次连通；用户打开本系统，本系统通过因特网网络（20）登陆到3D虚拟教师服务器（10）。

【技术特征摘要】
1.一种具有语音功能的3D虚拟教师系统，包括现有的因特网网络（20）和客户终端
（30），客户终端（30）包括第1客户终端（31）、第2客户终端（32）……和第N客户终端（3N），N为
自然数，1≤N≤1000000；
其特征在于：
设置有3D虚拟教师服务器（10）；
3D虚拟教师服务器（10）、因特网网络（20）和客户终端（30）依次连通；
用户打开本系统，本系统通过因特网网络（20）登陆到3D虚拟教师服务器
（10）。
2.按权利要求1所述的一种具有语音功能的3D虚拟教师系统，其特征在于：
所述的3D虚拟教师服务器（10）是整个系统的核心，接受客户终端（30）
的请求并为客户终端（30）提供各种功能服务；
其硬件配置是台式计算机服务器；
内嵌的软件包括相互交的语音答疑模块（11）、授课模块（12）、推荐学习模块（13）、情感
控制模块（14）和在线测试模块（15）；语音答疑模块（11）、授课模块（12）分别与课程知识图
谱交互。
3.按权利要求1-2所述的一种具有语音功能的3D虚拟教师系统，其特征在于：
所述的情感控制模块（14）包括互相交互的情感更新规则（141）和3D虚拟教师情感空间
（142）；
所述的3D虚拟教师情感空间（142）包括面部表情（1421）、身体姿态（1422）、头部姿势
（1423）、手势（1424）、运动（1425）和物体操作（1426）。
4.基于权利要求1-3所述系统的具有语音功能的3D虚拟教师方法，其特征在于包括以
下两种：
一、智能语音自动答疑
①通过语音识别技术将用户提出的问题识别为文本，通过短文本相似度计算找出文本
形式的答案；
②通过语音生成器生成语音回答；
二、虚拟教师情感处理
①3D虚拟教师讲课时根据课程内容合成不同表情和动作处理；答疑时对用户提问信息
进行分析，对积极提问和消极提问分别合成不同的表情；
②如果系统识别出来的用户的提问中含有喜悦、高兴之类的词或者识别出来的词的是
属于喜悦、高兴这种类别时，3D虚拟教师的表情会显示微笑；相反地，如果系统识别出来的
用户的提问中含有不高兴、伤心之类的词，3D虚拟教师的表情会显示难过或者皱眉之类的
表情；
③同时，3D虚拟教师的表情显示的...

【专利技术属性】
技术研发人员：杨青，郑世珏，郭亚军，朱茜，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：湖北;42