计算机辅助汉语智能教学系统及其实现方法技术方案

本发明专利技术涉及一种计算机辅助汉语智能教学系统及其实现方法。它包括带有麦克风和ＣＤ－ＲＯＭ的多媒体计算机、计算机多媒体汉语标准普通话教学节目、具有汉语标准普通话特征内核的语音音素模板库、标准普通话教师语句特征模板库、汉语语音信号处理及其识别子系统、语音学习评价子系统、汉字书写信号处理及其模式识别子系统、汉字书写信号模板库和书写评价子系统。本发明专利技术可以自动实时地进行汉语标准普通话语音和书写学习效果的量化评价。（*该技术在2018年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及一种，所属领域为计算机辅助教学。目前已有的汉语普通话教学方法主要有以下几种，即课堂教学、广播教学、电视教学、录音教学、录象教学以及计算机多媒体教学。这些教学方法存在如下的问题a．课堂教学通常受时间、地点以及教师水平等教学条件的限制；b．广播教学、电视教学、录音教学、录象教学以及目前市场上已有的计算机多媒体汉语教学节目等均不够灵活，无法实时在线和科学量化地自动分析学习者在学习过程中存在的问题(如发音是否正确、书写笔划是否正确以及书写结果是否正确等)。因此，也就不能及时地、有针对性地反馈指导意见。经过检索查出的相关文献有中国专利“CN1101446A语音教学计算机化系统”、“CN2202949Y汉语学习器”、“CN1146820A话音交互式学习机”、“CN2257944Y汉语拼音标准发音示教仪”。上述相关文献公开的内容就教学功能和教学形式而言均与本专利技术存在较大的差异。本专利技术的目的是提供一种具有能够在线实时和科学量化地自动分析学习者在汉语学习过程中存在的问题的。采用这套智能教学系统，可以不受时间、地点以及教师教学水平等条件的限制进行标准的汉语普通话教学，并可以在没有(活体)教师在场的情况下，对学习者学习汉语标准普通话的学习效果(包括发音的准确性、书写过程的规范性以及书写结果的正确性等方面)自动进行实时在线和科学量化地评价，并能够针对学习者存在的不同具体问题及时给出有效地改进建议，本专利技术的目的由如下技术方案实现带有麦克风和CD-ROM的多媒体计算机、计算机多媒体汉语标准普通话教学节目、具有汉语标准普通话特征内核的语音音素模板库及其实现方法、标准普通话教师语句特征模板库及其实现方法、汉语语音信号处理和识别子系统及其实现方法、语音学习评价和建议子系统及其实现方法、书写信号处理和模式识别子系统及其实现方法、书写信号模板库及其实现方法、书写评价和建议子系统及其实现方法。通过计算机跟着其教学节目进行学习，通过麦克风或鼠标可将学习语音或汉字书写的结果输入计算机中。如果是语音学习信号，则通过语音信号处理及其识别子系统进入语音评价与建议子系统，经过与具有标准普通话特征内核的语音音素模板库以及教师语句特征模板库的匹配比较，得到学习者语音学习效果的评价结果，即是标准的汉语普通话、还是带有口音的汉语普通话、或是有错音、缺音、多音等语音学习上的错误，并针对学习者在语音学习中存在的不同问题，自动给出改进建议；如果是书写学习信号，则经过书写信号模式识别子系统处理后进入书写过程和书写结果评价与建议子系统，经过与书写模板库的模式匹配比较，得到学习者书写过程和书写结果的评价结果，并针对学习者在书写学习过程中存在的不同问题，自动给出改进建议。至此，完成了计算机辅助汉语标准普通话的智能教学任务。本专利技术与已有的汉语教学方法相比具有如下优点a． 不受时间、地点以及教师水平等教学条件的限制，可以在没有(活体)教师在场的情况下，对外国学生学习汉语标准普通话的学习效果(包括发音的准确性、书写过程的规范性以及书写结果的正确性等方面)自动进行实时在线和科学量化地评价，并能够针对学习者存在的不同具体问题及时给出有效地改进建议。b． 在本专利技术创造中，建立了非特定人大词汇量适合于连续语音识别并具有标准普通话特征内核的语音音素特征模板库，从而有效地解决了汉语标准普通话教学效果评价系统所需模板库问题。c． 在本专利技术创造中，建立了标准普通话教师语句特征模板库(这里“语句”的概念是广义的，它既包含汉语拼音字母，又包含汉语单字的有调音节以及汉语标准普通话的词、句子或课文)。这个模板库由三部分组成，即汉语标准普通话特征内核(音素)模板库、示教语句音素标号串模板库及其声调韵律特征模板库。d． 在本专利技术创造中，通过如下体系过程实现语音学习效果的自动在线评价，即根据准备好的计算机辅助多媒体教学节目内容，学生通过计算机的鼠标选定所要学习的课文内容(如汉语音节/字/词/语句等)，热击发声图标，发出该语句教师标准普通话示教语音。之后，学生开始学习发音。经过计算机对学生学习发音的语音信号进行实时处理之后，与具有标准普通话特征内核的非特定人大词汇量汉语语音音素模板库进行比较，得到该音素在内核域或混合域模板库中的一选、二选和三选标号对(即针对每一选的音素标号，有一个可变的结果状态标号，0表示结果状态属内核域，1表示结果状态属混合域，例如p(1)表示识别结果为属于混合域的音素p)。至此，完成了学习者语音音素的识别任务。重复上述过程，得到所学语句的一选、二选和三选音素特征标号串；再计算其相应的基音频率轨迹。此时，与教师语句特征模板库中相应的语句标号串模板库及声调韵律特征模板库进行模式匹配比较，即得到匹配程度的量化评价结果(一是判断音素是否匹配；二是判断它是否属于内核域；三要判断声调是否正确)，从而不仅实现了计算机自动评价学习者学习汉语的情况(包括是否有多音、少音、错音、和声调是否正确)而且还能评价学习者学习汉语标准普通话的情况(即与标准普通话的接近程度，是发音准确，大体发音正确，还是不正确)。计算机自动输出学习情况的评价结果和有针对性的改进建议。e．在教学节目中给定的3厘米边长的米字形正方框里，学生根据书写教师的示范字及示范书写过程，在计算机屏幕上使用鼠标进行书写(包括笔划及字体)练习。通过与书写教师模板库进行(动态)模式比较来自动判别学生的书写过程和书写结果的正确程度，然后自动给出量化的书写评价结果和有针对性的改进建议。本专利技术的具体结构由附附图说明图1给出。附图1为计算机辅助汉语智能教学系统结构示意图。图中的具体结构为带有麦克风和CD-ROM的多媒体计算机1、计算机多媒体汉语标准普通话教学节目2、具有汉语标准普通话特征内核的语音音素模板库3、标准普通话教师语句特征模板库4、汉语语音信号处理及其识别子系统5、语音学习评价与建议子系统6、书写信号处理及其模式识别子系统7、书写信号模板库8、书写评价与建议子系统9。下面结合附图对本专利技术加以详细说明(1)建立一个非特定人(最好人数在100人以上)大词汇量(5000汉字以上)适合连续语音识别用的汉语普通话语料库(它尽可能覆盖所有的语音音联现象)；(2)制作一个(至少包括男女两名教师示教发音的)标准普通话教学节目录像带；(3)将上述标准普通话教学用录像带通过计算机分别转换成语音示教数据库和书写(动态图象)示教数据库；(4)在MS-Windows 95环境下，采用Visual C++(4.0以上版本)编程语言进行模块化编程，建立具有标准普通话特征内核的非特定人大词汇量适合于汉语连续语音识别用的语音音素模板库。其实现方式为首先，将教师的标准普通话录像带教学节目按示教(动态)图象和语音信号(以汉语拼音/字/词/句子为单位，至少有男女声两人发声样本))分别进行数字化处理，并按标准格式存储起来。针对多媒体(动态)图象部分，建立起标准普通话教师发声过程示教(动态多媒体图象)数据库；针对语音信号部分，建立起汉语标准普通话教师示教语料数据库。下面建立具有标准普通话特征内核的非特定人大词汇量汉语语音音素模板库，为此，先进行语音特征参数的提取。对标准普通话教师示教语料数据库中的语音数据信号进行加窗(这里采用哈明窗)。原始语料数据库的采样率为16k本文档来自技高网...

【技术保护点】
一种计算机辅助汉语智能教学系统及其实现方法，主要包括一台带有麦克风和ＣＤ－ＲＯＭ的多媒体计算机、具有汉语标准普通话特征内核的语音音素模板库、汉语标准普通话教师语句特征模板库、汉语语音信号处理及其识别子系统、汉语语音学习评价和建议子系统、汉语书写信号处理及其模式识别子系统、汉语书写信号模板库、汉语书写评价与建议子系统、以及相应的计算机多媒体汉语标准普通话教学节目，其特征在于：ａ．具有汉语标准普通话特征内核的语音音素模板库及其实现方法：首先，将教师的标准普通话录像带教学节目按 示教图象和语音信号分别进行数字化处理，语音信号以汉语拼音／字／词／句子为单位，至少有男女声两人发声样本，并按标准格式存储起来；针对多媒体动态图象部分，建立起标准普通话教师发声过程示教动态多媒体图象数据库；针对语音信号部分，建立起汉语标准普通话教师示教语料数据库；接着，进行语音特征参数的提取；对标准普通话教师示教语料数据库中的语音数据信号进行加窗；原始语料数据库的采样率为１６ｋｈｚ，量化率为１６位，单声道，每帧样点数据为２５６个，帧移样点为１２８个，窗长约１６ｍｓ；对帧内数据进行ＦＦＴ变换，之后，求取各帧的特征参数矢量；由每帧的特征参数矢量，按清浊音判定规则将其划归为清音／浊音音素特征参数矢量库；继续上述过程，直到清浊音分界帧出现，将对应于一个清音音素或一个浊音音素（或静音）的所有帧特征参数矢量进行加权平均，得到相应于该音素的特征参数矢量；重复上述过程，针对一个音素模板，我们可以得到许多标准普通话特征参数矢量，由此构成了一个特征参数矢量组；为了使这个特征参数矢量组能够很好地反映该音素的特征，采用Ｋｏｈｏｎｅｎ自组织神经网络，对其进行自组织聚类运算，从而得到了对应该音素的一个特征参数矢量内核空间域；重复上述过程，可以得到全部标准普通话语音音素特征参数矢量内核空间域模板，并单独保存起来；根据与上述相似的过程，采用非特定人大词汇量用于连续语音识别的汉语语料数据库，我们可以得到非特定人大词汇量汉语语音音素模板库；首先，对原始语音数据文件里的语音数据进行加窗；原始语料数据库的采样率为１６ｋｈｚ，量化率为１６位，单声道，每帧样点数据为２５６个，帧移样点为１２８个，窗长约１６ｍｓ；对帧内数据进行ＦＦＴ变换；之后，求取各帧的特征参数矢量。由每帧的特征参数矢量，按清浊音判定规则将其划归为清音／浊音组音素特征参数矢量；继续上述过程，直到清浊音分界帧出现，将对应于...

【技术特征摘要】

【专利技术属性】
技术研发人员：郭巧，
申请(专利权)人：郭巧，郭扬，
类型：发明
国别省市：11[中国|北京]