一种基于语音情感识别的远程汉语教学系统技术方案

本发明专利技术公开了一种基于语音情感识别的远程汉语教学系统，包括汉语发音练习、语音情感处理、语音情感分析、用户管理、学习效果分析评测、课程管理六个模块。运用语音信号处理和统计信号处理的相关理论将用户输入的语音在语音情感处理模块进行分析，识别用户不同的情感状态，由语音情感分析模块分析其所处的精神状态，通过在学习效果分析评测模块与课程管理模块和用户管理模块的动态交互实现根据用户的情感进行个性化学习的目的。该设计方案对传统“大锅饭，平均分”式的教学进行了彻底的革命，真正实现了因人、因时、因事而异的教学方式，从用户的情感角度出发设计的教学方案可以有效地提高学习效率，寓教于乐融为一体。

【技术实现步骤摘要】

本专利技术涉及一种远程汉语教学系统，特别是设计一种基于语音情感识别的 教学系统，属于网络汉语教学及语音情感识别

技术介绍
随着经济全球化的发展和中国经济的持续快速增长，世界各国对汉语学习 的需求也在迅速增长，这种需求已经从学术和教学领域走到民间及政府层面， 带动了一股学习汉语的热潮。据不完全统计，目前世界上学习汉语的人数已超过3000万人，有100个国家的2500余所大学和越来越多的中小学开设了汉语 课程，中国汉语水平考试的考点遍布五大洲。搭建一个汉文化交流的平台，繁 荣和发展世界汉语教学，推动汉语文化的广泛传播，让汉语更快地走向世界， 正在成为越来越多炎黄子孙为之不懈奋斗的方向。面对汉语如此巨大的魅力和如此广阔的市场和人文需求，显然传统的课堂 教学方式已不能满足如此广大的受众群的需要，对外汉语教师严重短缺也成为 制约汉语推广的重要因素，而信息时代的来临为这种矛盾的调和带来了新的希 望，当今时代网络无所不在，为此基于网络的远程汉语教学系统应运而生。现 有的远程汉语教学系统虽然已经融入了多媒体技术制作的音像材料、互动课程、 虚拟社区等，也为用户提供了博客、播客、维基百科等实用工具。但它毕竟是 无生命的，无法像真正的老师那样感受到每个学生的学习状态和精神状态，根 据他们所处的状态实时地调整课程计划和授课内容。主要有以下几点不足 1. 用户受传统学习习惯的限制，远程教学若没有同步课堂传输，用户难以 感受到课堂面授时教师的举手投足、 一颦一笑，使人"如沐春风"般的人格魅 力。无法将自己丰富的情感有机地融入到学习当中。2. 不具备随机应变的"教学机智"，无法感受到用户千变万化的情绪状态， 因而也就不一定能适用于各种教学层次和各种课程。3. 由于它缺乏必要的督导性和交互性，要求用户必须具备一定的自主学习能力，因此较传统的"人与人，面对面"的教学方式，目前的远程系统无法根据 用户的情感变迁，兴趣的转移进行有效的教学改革。4. 针对汉语语言教学这个特殊的教育领域，目前的远程教学系统适合于传 授书面知识，在培养技能方面如发音练习，特别在不同情绪支配下的发音分析， 根据不同情感状态进行有针对性的语言训练难度相对较大。为了克服现有技术结构的不足，本专利技术提供一种基于语音情感识别的远 程汉语教学系统。该系统中有效地融入了语音情感识别技术。语音识别技术 作为人机交互的重要组成部分和人工智能的有机补充，使得网络课程可以告别 生硬呆板的教学方式，成为一种有生机懂情感的崭新教学理念。语音之所以能 够表达情感，是因为其中包含能体现情感特征的参数。目前研究表明，某种特 定的情感状态所引起的语音参数变化在不同的人之间是大致相同的，仅有微小 差别。因而，情感的变化能够通过语音的特征参数来反映。本专利技术的目的就是 提取用户输入的语音并在相应模块中分析出其对应的特征参数，运用相关语音 信号处理的理论进行处理，从而识别出对应的情感，通过对相应情感的分析提 出一套对应的教学方案给特定的用户，使用户可以便捷高效地进行汉语学习。
技术实现思路
本专利技术的目的是通过下述技术方案实现的。为了实现基于语音情感识别的远程汉语教学系统，将该系统分为六大部分 汉语发音练习模块、语音情感处理模块、语音情感分析模块、用户管理模块、 学习效果分析评测模块、课程管理模块。汉语发音练习模块是本系统的第一部分，用户在进行汉语学习时进行发音练习是必不可少的一项重要环节，它也成为进行语音情感处理的基础和前提，情感分析正是通过对这些发音中传来的语音信号进行处理得到的情感识别结果。用户进行汉语学习过程中会进行发音练习，这些汉语发音作为用户的语音 输入到系统中，在语音情感处理模块中把这些语音视为情感语音。对于这些语音提取它们的特征参数，包括基频(pitch)、能量(energy)、语速(speech rate)、共 振峰频率(formant)、单个音节的持续时间(duration)、音节之间的停顿时间(pause)、 线性预测系数(LPC)、 Md倒谱系数(MFCC)等，以及它们的各种变化形式，如最 大值、最小值、均值、范围、变化率等，但是对于不同的发音状态需要的参数 是不同的，运用模糊熵的理论来分析语音信号情感特征参数相对于识别情感模 式的不确定度，并对特征参数进行有效性分析，通过分析筛选出十个对于情感 分析最为有效的参数作为对语音情感信号进行处理的特征参数。将这些参数分 成短时和长时特征两大类，对于短时特征运用隐马尔可夫模型(HMM)进行识 别，而长时特征则采取支持向量机(SVM)的方式进行处理，针对传统的支持 向量机分类器在一些特定情况下效果不理想的情况，结合模糊支持向量机 (FSVM)进行识别处理。由此得到平静、高兴、惊奇、生气、悲伤五种情感结 果。语音情感分析模块是语音情感处理模块与用户管理模块连接的纽带。用户在学习过程尤其是发音练习过程中要被语音情感处理模块实时监控。在一段学 习过程后，语音情感分析模块自动统计出现的语音情感种类和所占的比例后， 收集语音情感处理模块中识别的结果，得到特定人在特定时间学习特定汉语教 学内容在进行发音练习时的情感状态，再通过统计的方法计算用户的整体情感 反应做出适合的学习评价发送到用户管理模块中。用户管理模块包括课程内容学习，学习日志，教学策略反馈三部分。课程 内容学习主要记录用户的学习历史信息，学习时间，学习环境，学习内容是否 进行复习与测试等信息。学习日志记录用户对知识点的认知能力及总体学习进 度等。教学策略反馈需要用户主动填写问巻调查以形成学习评价，来调整学习 进度的教学方式。所有这些信息会发送到学习效果分析评测模块，通过分析用户汉语发音的 准确率和由语音情感分析模块传来的情感状态得到相应的学习评价。结合用户 管理模块中的相关记录内容进行动态分析和处理统一发送到课程管理模块中。 在模块间实时动态交互，保证用户资料的随时更新，另一方面可以及时调用对 应特定学生特定状态的课程内容给用户。课程管理模块包括课程内容设计，练习/测试设计，学生情况分析三部分。 课程内容设计主要是系统生成知识树，由浅入深地设置汉语教学的学习内容，如拼音、字、词、句、语法等。练习/测试设计是相关试题的设计，试题应具有 独立性，与知识树中的知识点相对应建立关联度，根据关联度选择进行某一知 识点学习时需要的试题。学生情况分析通过用户基本信息和动态的学习信息的 推理，为用户提供教学建议，同时控制整个教学过程的进行，即判断用户是否 已达到一定的认知能力，能否进入下一步的学习等等。相应的课程内容再次传递给汉语发音练习模块，当他再次进行汉语学习时语 音情感处理模块再次分析他的情感状态并进入下一轮学习过程，如此周而复始地实现用户循序渐进地汉语学习过程。语音情感处理模块和语音情感分析模块是本专利技术的主要技术特征，这两部 分的实现过程是 预处理对于输入的情感语音信号首先要进行预加重处理。通常采用长度有限的窗 函数来截取语音信号形成分析帧，窗函数W(")将需处理区域之外的样点置零来获取当前帧。汉明窗函数采用的窗长范围为ms，窗移ms，通常采用窗长为23.22ms (256点)，窗移10ms。这样，语音信号就被分割成一帧一帧加过窗的短时信号，然后再把每一个短时语音帧看成平稳的随本文档来自技高网...

【技术保护点】
一种基于语音情感识别的远程汉语教学系统，其特征在于：该系统包括汉语发音练习模块、语音情感处理模块、语音情感分析模块、用户管理模块、学习效果分析评测模块、课程管理模块六个部分；用户在进行汉语语音课程学习的过程中要练习汉语发音，这些语音信号在经过汉语发音练习模块时进行预处理，得到相应便于分析的情感语音信号，在语音情感处理模块中进行实时监控；当汉语的发音输入语音情感处理模块后，对于带有一定情感的语音，进行情感参数有效性分析后提取出有具有典型特征的语音情感特征参数，再将这些参数分为短时特征和长时特征分别进行处理，运用相应的语音情感识别模型和分类器进行平静、高兴、惊奇、生气、悲伤的五种情感识别；语音情感分析模块根据从语音情感处理模块收集到的情感信息识别结果，为特定用户做出适合的学习状态评价；然后通过语音情感分析模块进入用户管理模块，在用户管理模块中记录的用户信息会发送到学习效果分析评测模块中，通过由课程管理模块调用相关的课程资料，用户就可以根据自身水平及时调整学习进度，得到适合自身水平的学习资料。

【技术特征摘要】

【专利技术属性】
技术研发人员：苗振江，明悦，纪现请，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：11[中国|北京]