一种基于VR虚拟课堂的语音交互提问系统及方法技术方案

本发明专利技术涉及一种基于VR虚拟课堂的语音交互提问系统及方法。包括服务器、语音识别系统、头盔以及手柄。本专利其特征包括：对提问语音进行识别，虚拟学生根据识别的语音提问举手示意，表示师范生可以让其回答问题，当回答完毕后，师范生根据回答的情况进行判断和评价，如回答不正确，还可以让其他虚拟学生继续回答，直到回答正确为止。所有回答提问的虚拟学生都是随机提问的，师范生可以在全部回答完毕后统一进行判断和评价。通过本发明专利技术借助VR虚拟课堂提问系统模仿真实课堂的提问，帮助师范生在VR虚拟课堂中与虚拟学生实现无障碍交流。

【技术实现步骤摘要】
一种基于VR虚拟课堂的语音交互提问系统及方法
本专利技术涉及一种提问系统及方法，属于虚拟现实
，具体是涉及一种基于VR虚拟课堂的语音交互提问系统及方法。
技术介绍
随着虚拟现实技术日渐成熟与应用的逐步推广，该技术在国内外已被应用于多个领域，如心理治疗训练、高成本或高危场所训练、教育培训以及新人面试训练等领域。通过虚拟环境训练协助练习者在训练过程中发现问题并且给予及时的指导和帮助，增强练习者的技能或提高练习者的训练效率，而不增加额外的任何成本，并且还能多次重复使用，这是虚拟环境下训练的明显优势。然而，虚拟现实技术在目前的许多应用领域中也存在缺陷，即受训者要在系统中或者没有语音互动，或者只能按照系统中的语音提示进行线性操作，无法实现受训者与系统中的一个或多个虚拟人物进行语音互动，实现非线性语音互动。而且，现在虚拟现实技术中的语音互动系统不够智能，功能不够全面，主要体现在线性操作上，使用上也存在不方便之处。本专利技术涉及的基于VR虚拟课堂的语音交互提问系统是想将虚拟现实技术应用于师范生的教学技能培训，特别是应用于模拟真实生态课堂中的师生互动提问研究。
技术实现思路
本专利技术主要是解决现有技术所存在的上述的技术问题，提供了一种基于VR虚拟课堂的语音交互提问系统及方法。该系统及方法在VR虚拟课堂环境下，模拟真实课堂教学中的师生提问环节，借助语音识别系统和强大的数据库，让师生之间能彼此进行无缝的语音互动，而且互动的语音能够实现非线性。通过该语音互动提问系统，能够解决师生间一对多或多对一的语音提问，即师范生提问后，多个虚拟学生能随机且逐一回答师范生的问题，或者多个虚拟学生逐一提问后师范生分别或统一回答问题。本专利技术的上述技术问题主要是通过下述技术方案得以解决的：一种基于VR虚拟课堂的语音交互提问系统，包括：语音识别系统，用于从拾音器获取的师范生提问语音信号中提取第一关键字；语音关键字库，其内存标准语音信号，用于将所述第一关键字与库中标准语音信号对应的第二关键字进行匹配，在匹配成功后，将标准语音转发给虚拟学生以产生示意动作；语音反馈模块，用于根据所述标准语音产生示意动作以回答所述提问语音对应的问题。优选的，上述的一种基于VR虚拟课堂的语音交互提问系统，包括：服务器，用于保存上课系统中的固定数据库和动态数据库，保存语音关键字库，执行语音识别后对应的各类操作，并输出对应的结果。优选的，上述的一种基于VR虚拟课堂的语音交互提问系统，所述服务器上建立不同学科的虚拟课堂场景和虚拟学生，动态数据库和固定数据库；所述动态数据库内存储教师提问问题和可以回答所述问题的虚拟学生人数、每个学生可回答的答案；所述答案结果可配置。优选的，上述的一种基于VR虚拟课堂的语音交互提问系统，还包括：虚拟展示模块，用于将虚拟课堂系统中听讲的虚拟人物以VR模式展示给师范生。优选的，上述的一种基于VR虚拟课堂的语音交互提问系统，还包括：监听系统，用于记录师范生的提问语音信号以及语音反馈模块的输出信号并将其反馈给监听师范生上课的指导老师。一种基于VR虚拟课堂的语音交互提问方法，包括：场景配置步骤，用于在服务器上通过人机交互模块设置场景信息，所述场景信息包括所训练学科的信息、学生人数、提问信息、答案信息；将所述场景信息加载入内存；互动问候步骤，将课件导入到虚拟课堂环境中，在VR头盔中虚拟真实课堂场景，从师范生的问候语音提取关键字并与服务器上数据库中的关键字库进行匹配，在匹配成功后，调用全体学生的语音并根据老师的问候进行回答；上课模拟步骤，语音识别系统从拾音器获取的语言信号中识别出问题的关键字并与服务器上数据库中的关键字库进行匹配，在匹配成功后，将关键字所对应的语音提问提交给虚拟学生，虚拟学生产生示意动作并回答，将虚拟学生的回答通过系统转换成语音信号输出。优选的，上述的一种基于VR虚拟课堂的语音交互提问方法，还包括：随机场景模拟步骤，用于触发在服务器上设置的不良表现动作，在虚拟课堂模拟不良动作，在拾音器拾取师范生制止不良动作的语音信号后，停止不良动作的模拟。优选的，上述的一种基于VR虚拟课堂的语音交互提问方法，下课交互步骤，服务器调用固定数据库，语音识别系统识别并匹配到下课关键字后，调用下课告别语音，师范生就和虚拟学生做下课提示和告别问候等互动语音。优选的，上述的一种基于VR虚拟课堂的语音交互提问方法，所述场景配置步骤中，针对若干关键知识点设置学生提问环节。优选的，上述的一种基于VR虚拟课堂的语音交互提问方法，所述上课模拟步骤中，第一个学生回答完毕后，继续让其他虚拟学生进行回答，当师范生认为可以结束本次回答后，对这个提问进行总结和评价。因此，本专利技术具有如下优点：本专利技术能够通过VR虚拟课堂的语音互动提问系统模拟真实的上课情景，无缝、无障碍地实现虚拟课堂中师范生和学生之间的语音交流，有效提升师范生在虚拟课堂中教学技能的效果，通过虚拟课堂的情景，再现真实的课堂教学环境，使他们快速掌握各种教学技能。附图说明图1是基于VR虚拟课堂语音互动提问系统的结构示意图；图2是基于VR虚拟课堂语音互动提问系统的提问及答案信息输入图；图3是基于VR虚拟课堂语音互动提问系统的语音识别图；图4是基于VR虚拟课堂语音互动提问系统的流程示意图；图1中，1.拾音器；2.语音识别系统；3.语音关键字库；4.服务器；5.反馈语音；6.虚拟学生；7.监听系统。图3中，1.语音输入；2.预处理部分；3.关键字提取；4.数据库；5.语音识别；6.结果输出。具体实施方式下面通过实施例，并结合附图，对本专利技术的技术方案作进一步具体的说明。实施例：本专利技术基于VR虚拟课堂的语音交互提问系统之实施例结构，如图1所示，包括拾音器1；语音识别系统2；语音关键字库3；服务器4；反馈语音5；虚拟学生6；监听系统7。拾音器1，用于将师范生上课时的语音输入到虚拟课堂系统中，为后面系统进行语音识别做准备。语音识别系统2，用于将前面拾音器拾取的声音进行识别，提取语音中的关键字，并转换为服务器能执行的类型。语音关键字库3，用于将语音识别系统中提取的关键字和该库中的关键字进行对比，当对比成功后，该语音就被转发给全体上课的虚拟学生，学生有了该语音信号输入后，会产生相应的示意动作，让师范生对其进行选择，然后回答对应关键字所相应的语音提问。服务器4，用于保存上课系统中的固定数据库和动态数据库，保存语音关键字库，执行语音识别后对应的各类操作，并输出对应的结果。反馈语音5，用于关键字匹配成功后，将虚拟学生的回答内容以常见的语音形式进行输出。虚拟学生6，虚拟课堂系统中听讲的虚拟人物。监听系统7，用于将反馈语音部分输出的语音以声音的形式输出，方便观看师范生进行训练的老师监听师范生的上课情况。请参阅图1和图4，下面结合附图对本专利技术做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。如图1所示，本专利技术提供的基于VR虚拟课堂的语音互动提问系统，包括：服务器，其上建立有不同学科的虚拟课堂场景和虚拟学生，动态数据库和固定数据库；动态数据库内建立有教师的提问问题和可以回答这个问题的虚拟学生人数以及每个学生可以回答的答案，答案可以根据教师的需要设置为正确或错误类型均可，同时还建立有多个学生针对某些关键知识点的提问，同样需要设置好提问的学生人数，以本文档来自技高网...

【技术保护点】
一种基于VR虚拟课堂的语音交互提问系统，其特征在于，包括：语音识别系统，用于从拾音器获取的师范生提问语音信号中提取第一关键字；语音关键字库，其内存标准语音信号，用于将所述第一关键字与库中标准语音信号对应的第二关键字进行匹配，在匹配成功后，将标准语音转发给虚拟学生以产生示意动作；语音反馈模块，用于根据所述标准语音产生示意动作以回答所述提问语音对应的问题。

【技术特征摘要】
1.一种基于VR虚拟课堂的语音交互提问系统，其特征在于，包括：语音识别系统，用于从拾音器获取的师范生提问语音信号中提取第一关键字；语音关键字库，其内存标准语音信号，用于将所述第一关键字与库中标准语音信号对应的第二关键字进行匹配，在匹配成功后，将标准语音转发给虚拟学生以产生示意动作；语音反馈模块，用于根据所述标准语音产生示意动作以回答所述提问语音对应的问题。2.根据权利要求1所述的一种基于VR虚拟课堂的语音交互提问系统，其特征在于，包括：服务器，用于保存上课系统中的固定数据库和动态数据库，保存语音关键字库，执行语音识别后对应的各类操作，并输出对应的结果。3.根据权利要求2所述的一种基于VR虚拟课堂的语音交互提问系统，其特征在于，所述服务器上建立不同学科的虚拟课堂场景和虚拟学生，动态数据库和固定数据库；所述动态数据库内存储教师提问问题和可以回答所述问题的虚拟学生人数、每个学生可回答的答案；所述答案结果可配置。4.根据权利要求1所述的一种基于VR虚拟课堂的语音交互提问系统，其特征在于，还包括：虚拟展示模块，用于将虚拟课堂系统中听讲的虚拟人物以VR模式展示给师范生。5.根据权利要求1所述的一种基于VR虚拟课堂的语音交互提问系统，其特征在于，还包括：监听系统，用于记录师范生的提问语音信号以及语音反馈模块的输出信号并将其反馈给监听师范生上课的指导老师。6.一种基于VR虚拟课堂的语音交互提问方法，其特征在于，包括：场景配置步骤，用于在服务器上通过人机交互模块设置场景信息，所述场景信息包...

【专利技术属性】
技术研发人员：叶新东，
申请(专利权)人：温州大学，
类型：发明
国别省市：浙江,33