一种基于VR移动端技术的教学系统及其运行方法技术方案

本发明专利技术提供一种基于VR移动端技术的教学系统，可以让学生进行“说”的学习，针对口语学习中的发音、语法错误，能得到来自系统的改进建议或老师的指导意见，能够实现教学互动；同时本发明专利技术还公开了其系统的运行方法。其包括后台服务器以及连接到后台服务器的APP客户端、存储模块、VR眼镜、键盘和立体音效耳机，其还包括自然语音输入信息以及完成交互过程的交互单元，所述交互单元包括自然语音处理单元、语音交互教学单元、智能测评单元、题库处理单元和用户管理单元，所述交互单元与所述APP客户端、所述存储模块、所述VR眼镜、所述键盘和所述立体音效耳机通信连接。

A teaching system based on VR mobile terminal technology and its operation method

The invention provides a teaching system based on VR mobile terminal technology, which enables students to \speak\ learning, obtains improvement suggestions from the system or teacher's guidance for the pronunciation and grammatical errors in spoken language learning, and realizes teaching interaction; and the invention also discloses the operation method of the system. It includes a back-end server and an APP client connected to the back-end server, a storage module, VR glasses, a keyboard, and a stereo headset. It also includes a natural voice input information and an interactive unit for completing the interaction process. The interactive unit includes a natural voice processing unit, a voice interactive teaching unit, and an intelligent evaluation form. The interaction unit is communicatively connected with the APP client, the storage module, the VR glasses, the keyboard and the stereo audio headset.

【技术实现步骤摘要】
一种基于VR移动端技术的教学系统及其运行方法
本专利技术涉及教学设备领域，具体为一种基于VR移动端技术的教学系统及其运行方法。
技术介绍
VR是VirtualReality的缩写，中文意思是虚拟现实，概念是在80年代初提出来的，其具体是指借助计算机及最新传感器技术创造的一种崭新的人机交互手段，虚拟现实系统是近年来出现的图形图像领域的高新技术，也被称为灵境技术或人工环境，虚拟现实是利用电脑模拟产生一个三度空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物；随着信息技术的发展，传统的教育从线下发展到线上，但依然没有能够改变教学的本质，依然是教师通过“黑板”来讲课，变化无非就是从教室搬到了网络，其教学方式没有发生本质的变化，以现有的线上语言教育方式举例，存在的问题是：1）学生仍然是被动的“听”，没有“说”的环节；2）学生口语发音中的问题无法得到指导意见；3）讲是单方面，听也是单方面，没有互动环节。
技术实现思路
针对现有线上教育方式只能“听”不能“说”、发音问题无法被指导、无互动环节等问题，本专利技术提供一种基于VR移动端技术的教学系统，可以让学生进行“说”的学习，针对口语学习中的发音、语法错误，能得到来自系统的改进建议或老师的指导意见，能够实现教学互动；同时本专利技术还公开了其系统的运行方法。一种基于VR移动端技术的教学系统，其技术方案是这样的：其包括后台服务器以及连接到后台服务器的APP客户端、存储模块、VR眼镜、键盘和立体音效耳机，其特征在于：其还包括自然语音输入信息以及完成交互过程的交互单元，所述交互单元包括自然语音处理单元、语音交互教学单元、智能测评单元、题库处理单元和用户管理单元，所述交互单元与所述APP客户端、所述存储模块、所述VR眼镜、所述键盘和所述立体音效耳机通信连接；所述自然语音处理单元，对接收的自然语音输入的信息进行处理，把系统采集到的自然语音数据转换成待处理的文本数据，并且提供把文本数据转换成音频数据的功能；所述语音交互教学单元，对所述自然语音处理单元处理后的待处理文本数据做进一步的分析，与系统中预设的数据进行匹配、比较，根据比较结果做出相应的响应，并且提供通过语音方式反馈用户的功能；所述智能测评单元，用于提供笔试、口试等方式的模拟考试，并实现了对试卷评分、纠正错误、以及提供改进建议、学习报告等功能；所述题库处理单元，对练习以及考试的内容进行管理，实现了按照用户权限分开管理的功能；所述用户管理单元，用于对系统的用户以及用户权限的管理。所述其进一步特征在于：所述自然语音处理单元包括语音合成单元、语音识别单元、自动分词单元、词性标注单元、句法分析单元、文本分类单元和信息抽取单元，所述自然语音处理单元内子单元之间通过数据通信对采集到的自然语音数据信息进行分析处理；所述语音合成单元将文字转换为语音音频数据，所述语音音频数据为bitrate8000单声道音频，所述语音识别单元将人类语音内容转换为相对应的文字；所述自动分词单元包括用于对文件中的词语进行提取的词语子单元和用于对词语进行切分的词语切分子单元，所述词性标注单元包括用于对所述自动分词单元处理后的词语进行词性分析的词性分析子单元，和用于对词性进行标注的词性标注子单元；所述句法分析单元包括用于对所述词性标注单元处理后的语音单位进行语音单位成分分析的句法结构子单元、分析语句语法的语法成分子单元及分析语句中各部分之间关系的语句分析子单元；所述文本分类单元包括对文本集按照预定的分类体系进行标记的自动分类标记子单元；所述信息抽取单元包括对文本信息进行表格处理的结构化处理子单元；所述语音交互教学单元包括问题/答案类型区分单元、提取关键词单元、答案匹配单元和返回交互答案单元，所述语音交互教学单元内各单元通过数据通信方式配合在一起，对接收到的数据进行处理；所述问题/答案类型区分单元采用朴素贝叶斯分类器进行问题、答案类型区分；所述提取关键词单元对问题、答案中的关键词进行提取；所述答案匹配单元包括根据问题类型、答案类型进行候选答案提取的候选答案提取子单元，和对候选答案进行最佳匹配的答案匹配子单元；所述返回交互答案单元包括将问题、答案转换成语音的语音转换子单元和将语音反馈给客户的语音反馈子单元；所述智能测评单元包括测试单元、评分单元和报告单元；所述测试单元包括模拟考试流程和要求的模拟测试子单元，和将测试后的文件通过所述语音反馈子单元反馈客户的交互模拟测试子单元；所述评分单元按照评分标准对用户答案进行评分；所述报告单元包括指出用户错误答案的答案纠正子单元、对用户答案提出修改意见的改进建议子单元和总结学习阶段中学习情况和考试情况的总结子单元；所述题库处理单元包括统一管理各种类型练习或测试题目的题库管理子单元和用户身份识别子单元；所述用户管理单元包括用户增加子单元、删除子单元、修改子单元和查询子单元，实现对用户以及用户权限的增加、删除、修改和查询；所述APP客户端包括学生客户端和教师客户端，分别通过有线、无线的方式连接到后台服务器；通过教师客户端，老师可以进行学生管理、题库管理和成绩管理；通过学生客户端，学生可根据当前个人进度，选择学习内容，选择跟读、对话等练习方式学习，其练习成绩和对话记录将被存储，可以在教师客户端由老师对其进行批改；其还包括模拟操作台、体感交互设备、显示器，可以通过有线、无线的方式连接到后台服务器，进行信息的输入、输出。一种基于VR移动端技术的教学系统的运行方法，其包括如下步骤：（1）根据在所述用户管理单元中设置的信息，对用户的权限进行判断；（2）进入对应的用户界面；（3）根据用户选择，根据所述智能测评单元、所述题库处理单元中预设的信息，进入对应的任务流程；（4）通过所述题库处理单元中预设的数据信息，匹配对应的VR场景；（5）通过所述交互单元实现人机交互过程；（6）存储相关信息和数据；其特征在于：所述人机交互过程包括：系统调用所述自然语音处理单元、所述语音交互教学单元、所述智能测评单元，对接收自然语音输入的信息做出相应的处理和响应；系统接收通过键盘输入的文本输入信息等其他的输入信息并做出相应的处理和响应；如需要对用户做出语音的反馈，调用所述语音交互教学单元、所述智能测评单元，在相应VR场景中通过语音对用户做出反馈；如需要对用户做出文本信息的反馈，调用所述智能测评单元，通过文本信息对用户做出反馈。其进一步特征在于：所述系统对接收的自然语音输入的信息的处理过程，包含以下步骤：a.采用现有的第三方语音识别技术，接收自然语音输入数据；b.系统调用所述语音识别单元，将接收的自然语音输入的信息转换为对应的文本数据；c.调用所述自动分词单元、所述词性标注单元、所述文本分类单元，对文本数据进行切分、词性分析、分类并形成文本集；d.调用所述句法分析单元、所述信息抽取单元，进行结构、语法、句法分析，形成待处理语句信息；e.调用所述问题/答案类型区分单元，判断待处理语句信息的文本数据所属类型；f.调用所述提取关键词单元、所述答案匹配单元，根据文本数据所属类型与系统中预设的数据进行匹配、比较；g.调用所述返回交互答案单元、所述交互模拟测试子单元、所述报告单元，根据比较结果匹配相应的系统需要做出的响本文档来自技高网...

【技术保护点】
1.一种基于VR移动端技术的教学系统，其包括后台服务器以及连接到后台服务器的APP客户端、存储模块、VR眼镜、键盘和立体音效耳机，其特征在于：其还包括自然语音输入信息以及完成交互过程的交互单元，所述交互单元包括自然语音处理单元、语音交互教学单元、智能测评单元、题库处理单元和用户管理单元，所述交互单元与所述APP客户端、所述存储模块、所述VR眼镜、所述键盘和所述立体音效耳机通信连接；所述自然语音处理单元，对接收的自然语音输入的信息进行处理，把系统采集到的自然语音数据转换成待处理的文本数据，并且提供把文本数据转换成音频数据的功能；所述语音交互教学单元，对所述自然语音处理单元处理后的待处理文本数据做进一步的分析，与系统中预设的数据进行匹配、比较，根据比较结果做出相应的响应，并且提供通过语音方式反馈用户的功能；所述智能测评单元，用于提供笔试、口试等方式的模拟考试，并实现了对试卷评分、纠正错误、以及提供改进建议、学习报告等功能；所述题库处理单元，对练习以及考试的内容进行管理，实现了按照用户权限分开管理的功能；所述用户管理单元，用于对系统的用户以及用户权限的管理。

【技术特征摘要】
1.一种基于VR移动端技术的教学系统，其包括后台服务器以及连接到后台服务器的APP客户端、存储模块、VR眼镜、键盘和立体音效耳机，其特征在于：其还包括自然语音输入信息以及完成交互过程的交互单元，所述交互单元包括自然语音处理单元、语音交互教学单元、智能测评单元、题库处理单元和用户管理单元，所述交互单元与所述APP客户端、所述存储模块、所述VR眼镜、所述键盘和所述立体音效耳机通信连接；所述自然语音处理单元，对接收的自然语音输入的信息进行处理，把系统采集到的自然语音数据转换成待处理的文本数据，并且提供把文本数据转换成音频数据的功能；所述语音交互教学单元，对所述自然语音处理单元处理后的待处理文本数据做进一步的分析，与系统中预设的数据进行匹配、比较，根据比较结果做出相应的响应，并且提供通过语音方式反馈用户的功能；所述智能测评单元，用于提供笔试、口试等方式的模拟考试，并实现了对试卷评分、纠正错误、以及提供改进建议、学习报告等功能；所述题库处理单元，对练习以及考试的内容进行管理，实现了按照用户权限分开管理的功能；所述用户管理单元，用于对系统的用户以及用户权限的管理。2.根据权利要求1所述的一种基于VR移动端技术的教学系统，其特征在于：所述自然语音处理单元包括语音合成单元、语音识别单元、自动分词单元、词性标注单元、句法分析单元、文本分类单元和信息抽取单元，所述自然语音处理单元内子单元之间通过数据通信对采集到的自然语音数据信息进行分析处理；所述语音合成单元将文字转换为语音音频数据，所述语音音频数据为bitrate8000单声道音频，所述语音识别单元将人类语音内容转换为相对应的文字；所述自动分词单元包括用于对文件中的词语进行提取的词语子单元和用于对词语进行切分的词语切分子单元，所述词性标注单元包括用于对所述自动分词单元处理后的词语进行词性分析的词性分析子单元，和用于对词性进行标注的词性标注子单元；所述句法分析单元包括用于对所述词性标注单元处理后的语音单位进行语音单位成分分析的句法结构子单元、分析语句语法的语法成分子单元及分析语句中各部分之间关系的语句分析子单元；所述文本分类单元包括对文本集按照预定的分类体系进行标记的自动分类标记子单元；所述信息抽取单元包括对文本信息进行表格处理的结构化处理子单元。3.根据权利要求1所述的一种基于VR移动端技术的教学系统，其特征在于：所述语音交互教学单元包括问题/答案类型区分单元、提取关键词单元、答案匹配单元和返回交互答案单元，所述语音交互教学单元内各单元通过数据通信方式配合在一起，对接收到的数据进行处理；所述问题/答案类型区分单元采用朴素贝叶斯分类器进行问题、答案类型区分；所述提取关键词单元对问题、答案中的关键词进行提取；所述答案匹配单元包括根据问题类型、答案类型进行候选答案提取的候选答案提取子单元，和对候选答案进行最佳匹配的答案匹配子单元；所述返回交互答案单元包括将问题、答案转换成语音的语音转换子单元和将语音反馈给客户的语音反馈子单元。4.根据权利要求1所述的一种基于VR移动端技术的教学系统，其特征在于：所述智能测评单元包括测试单元、评分单元和报告单元；所述测试单元包括模拟考试流程和要求的模拟测试子单元，和将测试后的文件通过所述语音反馈子单元反馈客户的交互模拟测试子单元；所述评分单元按照评分标准对用户答案进行评分；所述报告单元包括指出用户错误答案的答案纠正子单元、对用户答案提出修改意见的改进建议...

【专利技术属性】
技术研发人员：莫俊，
申请(专利权)人：无锡科技职业学院，
类型：发明
国别省市：江苏,32