一种具有在线语音测评及语音交互功能的语言学习系统技术方案

本发明专利技术提供的具有在线语音测评及语音交互功能的语言学习系统，包括点读笔、服务器和客户端；点读笔用于获取用户的语音信息，并上传给服务器，还用于播放来自服务器的标准发音信息；服务器上评分模块用于对收到的语音信息进行评分，当得到的分数低于预设的纠正分数时，标准发音获取模块获取对应的标准发音信息，传输给点读笔；还用于生成评分报告，发送给客户端；客户端查看评分报告。该系统能够对学员发音进行打分，实现了在线语音测评的功能；同时老师或家长还可以实时跟踪了解每个学员的学习情况。该系统还用于实现对讲功能，即老师在客户端发送语音到服务器，然后服务器发给点读笔，学员从点读笔发送语音到服务器，然后服务器发送给客户端。

A language learning system with online speech evaluation and speech interaction function

The invention has the advantages of online speech evaluation and speech interactive function of language learning system, including point reading pen, the server and the client; reading pen for voice users access to information, and upload to the server, the server is also used to play from the standard pronunciation information; the server module is used to score wasassessed voice messages received and when the score is lower than a preset correction marks, standard pronunciation acquisition module acquires the corresponding standard pronunciation information transmission to the point of reading pen; also used to generate the score report sent to the client; the client view rating report. The system can be used to score the pronunciation of the students, to achieve the function of online speech evaluation; at the same time, teachers or parents can also keep track of each student's learning situation. The system is also used to implement the intercom function, namely the teacher to the server on the client server to send voice, then point reading pen, students from reading pen send voice to the server, then the server sends to the client.

【技术实现步骤摘要】

本专利技术属于信息处理领域，具体涉及一种具有在线语音测评及语音交互功能的语言学习系统。
技术介绍
外语学习起来比较不易(比如中国人学习英语，外国人学习汉语)，需要在日常生活、教学中营造充分的语言环境，来辅助学员学习，同样市面上也多了各种语言学习系统来帮助学员学习，例如：点读笔。点读笔，顾名思义，就是外形卡通的笔式学习工具。主要是采用国际最新光学图像识别技术的高科技产品，点读笔配套书本中加印有二维浅码，点读笔的笔头设有光学感应器，采集所点文字的位置的二维浅码，调取对应的发音信息，通过播放器播放，其原理就是通过带有感光设备的仪器来感应图片上的数字信号，从而触发特定的事件。但是现有的语言学习系统仅仅具有简单的点读功能，在点读过程中也不能实现对学员点读情况进行反馈，老师或家长不能实时了解每个学员的学习情况。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种具有在线语音测评及语音交互功能的语言学习系统，能够对学员发音进行打分，实现了在线语音测评的功能；同时老师或家长还可以实时跟踪了解每个学员的学习情况。一种具有在线语音测评及语音交互功能的语言学习系统，包括点读笔、服务器和客户端；点读笔用于获取用户的语音信息，并上传给服务器，还用于播放来自服务器的标准发音信息；服务器设有评分模块和标准发音获取模块，评分模块用于对收到的语音信息进行评分，当得到的分数低于预设的纠正分数时，标准发音获取模块获取对应的标准发音信息，传输给点读笔；服务器还用于生成评分报告，发送给客户端；客户端用于供家长或老师查看评分报告。优选地，当所述评分模块接收到用户的语音信息，评分模块运行以下步骤：S1：获取用户的语音信息的声学特征xt，将声学特征xt传输给多任务学习的声学字形音素模型；S2：声学字形音素模型输出三个任务：主任务输出音素qt的后验概率p1(qt|xt),第二个任务输出字形gt的后验概率p2(gt|xt)，第三个任务输出对应标准音素的后验概率S3：通过下式,计算用户的语音信息中，对应的标准音素的分数其中，0≤α,β≤1；ti_start和ti_end是预设的标准音素对应的起始时间和结束时间；是声学字形音素模型的主任务输出的后验概率。优选地，所述步骤S1具体为：将用户的语音信息进行快速傅立叶变换，并利用汉明窗函数进行分帧处理，从每一帧的信息中提取一组13维的MFCC特征，分别对每一维度的特征进行归一化处理，得到所述第t帧的声学特征xt。优选地，所述评分报告包括分数、排名情况、进步情况、错题库、纠正情况。优选地，所述点读笔还支持在线更新，点读笔用于连接网络后下载学习资料，或者是接收其对应客户端推送的学习资料。优选地，还包括登录卡，登录卡的外表面设有多个不同的编码，登录卡内对应每个编码的位置印刷有不同的二维浅码；当点读笔点在登录卡的编码位置处时，点读笔识别登录卡上该编码对应的二维浅码；点读笔将依次读取到的所有二维浅码连成的编码串定义为用户的用户名。优选地，所述编码为9个，且均匀分布形成三行三列的九宫格形状；所述点读笔中预设有用户名编码数目，当点读笔识别到的二维浅码的个数达到用户名编码数目时，依次读取到的所有二维浅码连成的编码串定义为所述用户的用户名。优选地，所述点读笔检测到用户的用户名时，发送给服务器，服务器标记该用户开始学习，当服务器检测到来自点读笔的停止学习命令时，标记该用户学习结束。优选地，所述服务器针对每个学员均设有家长客户端ID，服务器用于根据每个学员的学习情况生成所述评分报告，发送给该学员对应的家长客户端ID的客户端。优选地，所述语言学习系统还用于实现对讲功能，即点读笔用于获取用户的对讲语音信号并发送给服务器，服务器接收对讲语音信号并发送给客户端；客户端用于获取家长或老师的对讲语音信号并发送给服务器，服务器接收对讲语音信号并发送给点读笔。由上述技术方案可知，本专利技术提供的具有在线语音测评及语音交互功能的语言学习系统，能够对学员发音进行打分，实现了在线语音测评的功能；同时老师或家长还可以实时跟踪了解每个学员的学习情况。该系统还用于实现对讲功能，即老师在客户端发送语音到服务器，然后服务器发给点读笔，学员从点读笔发送语音到服务器，然后服务器发送给客户端。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。图1为本实施例中语言学习系统的系统框图。图2为本实施例中语言学习系统的数据交互图。具体实施方式下面将结合附图对本专利技术技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，因此只作为示例，而不能以此来限制本专利技术的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本专利技术所属领域技术人员所理解的通常意义。一种具有在线语音测评及语音交互功能的语言学习系统，如图1、2所示，包括点读笔、服务器和客户端；点读笔用于获取用户的语音信息，并上传给服务器，还用于播放来自服务器的标准发音信息；服务器设有评分模块和标准发音获取模块，评分模块用于对收到的语音信息进行评分，当得到的分数低于预设的纠正分数时，标准发音获取模块获取对应的标准发音信息，传输给点读笔；服务器还用于生成评分报告，发送给客户端；客户端用于供家长或老师查看评分报告。使用时，用户开启点读笔并将点读笔、服务器和客户端应用绑定。点读笔和服务器通过无线网络进行通信，服务器和客户端应用通过网络连接方式进行通信。用户用点读笔点击配套书本时，点读笔播放正确的读法，然后用户跟读，点读笔录音,点读笔将录音音频发送到服务器。服务器运行评分模块以及标准发音获取模块，然后返回打分或者纠正的标准发音信息等反馈结果给点读笔，使得用户能够了解自己哪些发音错误等信息，能够对学员发音进行打分，实现了在线语音测评的功能。同时服务器还用于生成评分报告，发送给客户端，老师或家长便可以查看客户端实时跟踪了解每个学员的学习情况。所述点读笔上还设有也就显示屏，用于显示反馈信息，或者是通过喇叭播放“你好棒！”，“继续加油”等对用户进行鼓励。当所述评分模块接收到用户的语音信息，评分模块运行以下步骤：S1：获取用户的语音信息的声学特征xt，将声学特征xt传输给多任务学习的声学音素模型；具体为：将用户的语音信息进行快速傅立叶变换，并利用汉明窗函数进行分帧处理，窗长25毫秒,帧移10毫秒。从每一帧的信息中提取一组13维的MFCC特征(即MFCC，Mel频率倒谱系数的缩写)，分别对每一维度的特征进行归一化处理，使之平均值为0,标准方差为1，得到所述第t帧的声学特征xt。也可以使用21帧的MFCC特征(即前10帧,当前帧，后10帧)作为声学特征xt。S2：多任务学习的声学字形音素模型(Multi-Task-Acoustic-Graphemic-Phonemic-Model,MT-AGPM)是一个深度神经网络(DeepNeuralNetwork,DNN)，相比传统的声学模型(AM)，该模型引进了多任务训练学习，从而可以更好地学习“字形到错误发音”和“标准音素到错误发音”的规律。声学字形音素模型输出三个任务：主任务输出本文档来自技高网...

【技术保护点】
一种具有在线语音测评及语音交互功能的语言学习系统，其特征在于，包括点读笔、服务器和客户端；点读笔用于获取用户的语音信息，并上传给服务器，还用于播放来自服务器的标准发音信息；服务器设有评分模块和标准发音获取模块，评分模块用于对收到的语音信息进行评分，当得到的分数低于预设的纠正分数时，标准发音获取模块获取对应的标准发音信息，传输给点读笔；服务器还用于生成评分报告，发送给客户端；客户端用于供家长或老师查看评分报告。

【技术特征摘要】
1.一种具有在线语音测评及语音交互功能的语言学习系统，其特征在于，包括点读笔、服务器和客户端；点读笔用于获取用户的语音信息，并上传给服务器，还用于播放来自服务器的标准发音信息；服务器设有评分模块和标准发音获取模块，评分模块用于对收到的语音信息进行评分，当得到的分数低于预设的纠正分数时，标准发音获取模块获取对应的标准发音信息，传输给点读笔；服务器还用于生成评分报告，发送给客户端；客户端用于供家长或老师查看评分报告。2.如权利要求1所述的具有在线语音测评及语音交互功能的语言学习系统，其特征在于，当所述评分模...

【专利技术属性】
技术研发人员：李坤，孙立发，钟静华，姜卫武，
申请(专利权)人：李坤，
类型：发明
国别省市：广东;44