多种语言适用的聋哑人语音学习计算机辅助方法技术

本发明专利技术公开了一种多种语言适用的聋哑人语音学习计算机辅助方法，要解决的技术问题是帮助家长和老师从繁重而重复的语言教学活动中解放出来，本发明专利技术的方法包括以下步骤：用户选择学习的语言种类，学习的语音单元，显示器显示学习的语音和注意环节，启动语音接收装置，接收语音信号，进行模拟／数字转换，中央处理器提取语音特征，对发音做出准确性判别，显示器显示发音的准确度，本发明专利技术与现有技术相比，利用多媒体计算机的硬件装备，将计算机图形图像技术、多媒体计算机语音技术结合起来，针对使用对象具有不同母语的特点，在辅助教学过程中使用不同文字的教学语言，有效辅助不同国家的聋哑人学习本国语言发音，满足具有不同母语的聋哑人发音学习的需要。

【技术实现步骤摘要】

本专利技术涉及一种利用计算机进行语音学习的方法，特别是一种适用于具有不同母语背景的聋哑人语音发音的计算机辅助学习方法。
技术介绍
聋哑人是残疾人中的一个特殊群体，从外表上看，他们与普通健全人没有任何区别，仅仅由于丧失了正常发音的能力，造成了他们与社会环境的交流出现难以逾越的障碍，最终导致他们中的绝大部分生活在社会的最底层，生活窘迫，终其一生。要从根本上改变聋哑人目前的生活现状，单纯让他们被动的依靠社会的理解和关注以及各国政府的支持还是不够的，必不可少的是需要他们主动的去掌握与周围人群交流的能力。目前，很多聋哑人学会了使用手语，但是除了聋哑人，普通健全人中能够认识并使用手语的人是少之又少，因此手语的使用还是将聋哑人的交流范围局限在同聋哑人的交流中。由此可见，要提高聋哑人的生活状况，让他们能与普通健全人具有同样的生活与工作能力，教会他们能够正常的说话发音是绝对必要的。在数目庞大的聋哑人群中，绝大部分都是具有健全发声器官的“聋人”，他们完全具备发声的生理条件。但由于先天或后天的原因丧失了听力，无法利用听觉系统去纠正自己的发声器官发出的声音，发声器官逐渐退化，最终失去说话的能力，变为“聋哑人”。有经验表明，对于这样的“聋人”，如果能够通过某种有效方式随时反馈其发音的正确与否，通过持之以恒的训练，是完全有可能帮助他们恢复说话的能力。有报道称，中国某个“聋儿训练中心”的学生在老师的悉心指导下，通过数年的刻苦学习，不但能够象正常人一样说话，甚至学会了讲相声和绕口令。传统方式下的反馈并纠正“聋人”发音是由人工完成的，这就意味着家长或教师需要几年如一日，日夜陪伴在那些聋哑人的身边进行一对一的教学练习，才能收到较好的成果。
技术实现思路
本专利技术的目的是提供一种，要解决的技术问题是帮助家长和老师从繁重而重复的语言教学活动中解放出来，让学习发音的人们能够更容易获得纠正自身发音的机会，更快更方便的学会象正常人一样说话。本专利技术采用以下技术方案一种，包括以下步骤一、用户根据自身需要选择所需要学习的语言种类；二、用户选择并确定所需学习的语音单元；三、计算机的显示器向用户显示需要学习的语音和所需注意的环节；四、启动计算机的语音接收装置，等待用户语音信号的输入；五、语音接收装置接收用户发出的语音信号，进行模拟/数字转换；六、计算机的中央处理器从模拟数字转换装置提取所需的语音特征；七、中央处理器对用户发音做出准确性判别；八、在显示器上显示用户发音的准确度。本专利技术的中央处理器从模拟数字转换装置提取所需的语音特征时，通过端点检测获得用户发音相关的数字语音数据。本专利技术的方法当用户学习单音节的发音时，中央处理器采用对连续短时语音帧进行基于μ律倒谱分析的MFCC参数计算，在每个参数矢量中包含信号短时能量以及参数的一阶、二阶差分分量，以DHMM模型参数为基础，通过Viterbi算法，对发音准确程度进行判别；当用户学习多音节、单词、句子发音时，中央处理器通过传统HMM方法实现对用户的连续发音过程进行发音准确程度判别。本专利技术的语音接收装置启动时，同时启动视频采集装置，捕捉用户发音时的口型的细部特征。本专利技术的显示器向用户显示需要学习的语音和所需注意的环节时，使用文字和动画图像向用户提示发音特点与口型特征。本专利技术的显示器使用动画图像向用户提示发音特点与口型特征时，用口型变化和送气特征的正面动画、侧面动画和发声器官解剖结构的发音过程动画图象，演示发声器官的配合运动。本专利技术计算机的中央处理器提取所需的语音单元时采用端点检测的方法，通过计算信号能量和过零率实现对输入话音信号起始和终止位置的初步判决。本专利技术语音接收装置接收用户发出的语音信号时，通过软件预处理数字滤波器，对环境噪声进行抑制和高频信号分量预加重。本专利技术在显示器上显示用户发音的准确度时，使用百分数显示发音准确度，同时回放用户发音时的录像信息，与标准发音视频动画进行比较。本专利技术的用户选择并确定所需学习的语音单元为音标、单词或句子。本专利技术与现有技术相比，利用了多媒体计算机的各个硬件装备，将计算机图形图像技术、多媒体计算机语音技术有效的结合起来，针对使用对象具有不同国别、不同母语的特点，在辅助教学过程中使用不同文字的教学语言，有效辅助英国、美国、日本、法国、德国、俄罗斯、西班牙等多个国家的聋哑人学习本国语言发音，满足具有不同母语的聋哑人发音学习的需要。附图说明图1是本专利技术实施例的学习系统主界面图。图2是本专利技术实施例1的英语发音学习功能选择界面图。图3是本专利技术实施例1的国际音标选择界面图。图4是本专利技术实施例1的国际音标发音教学界面图。图5是本专利技术实施例1的国际音标测试结果及反馈图。图6是本专利技术实施例2的英语单词“car”输入界面图。图7是本专利技术实施例2的英语单词“car”发音学习界面图。图8是本专利技术实施例3的英语句型“This is my car”发音教学界面图。图9是本专利技术实施例4的日语发音学习功能选择界面图。图10是本专利技术实施例4的日文平假名选择界面。图11是本专利技术实施例4的日文平假名发音教学界面图。图12是本专利技术实施例4的日文平假名测试结果及反馈图。图13是本专利技术实施例5的法语发音学习功能选择界面图。图14是本专利技术实施例5的法语单词“vélo”输入界面图。图15是本专利技术实施例5的法语单词“vélo”发音学习界面图。图16是本专利技术实施例5的法语单词“vélo”测试结果及反馈图。图17是本专利技术实施例6的法语句子“Cest mon vélo”发音学习界面图。具体实施例方式下面结合附图和实施例对本专利技术作进一步详细的描述。本专利技术的，包括以下步骤一种，包括以下步骤一、用户根据自身需要选择所需要学习的语言种类；二、用户选择并确定所需学习的语音单元，语音单元为音标、单词或句子；三、计算机的显示器向用户显示需要学习的语音和所需注意的环节，使用文字和动画图像向用户提示发音特点与口型特征，用口型变化和送气特征的正面动画、侧面动画和发声器官解剖结构的发音过程动画图象，演示发声器官的配合运动；四、启动计算机的语音接收装置，等待用户语音信号的输入，同时启动视频采集装置，捕捉用户发音时的口型的细部特征；五、语音接收装置接收用户发出的语音信号，通过软件预处理数字滤波器，对环境噪声进行抑制和高频信号分量预加重，进行模拟/数字转换；六、计算机的中央处理器从模拟数字转换装置提取所需的语音特征，通过端点检测获得用户发音相关的数字语音数据，采用端点检测的方法，通过计算信号能量和过零率实现对输入话音信号起始和终止位置的初步判决；七、中央处理器对用户发音做出准确性判别，当用户学习单音节的发音时，中央处理器采用对连续短时语音帧进行基于μ律倒谱分析的MFCC参数计算，在每个参数矢量中包含信号短时能量以及参数的一阶、二阶差分分量，以DHMM模型参数为基础，通过Viterbi算法，对发音准确程度进行判别；当用户学习多音节、单词、句子发音时，中央处理器通过传统HMM方法实现对用户的连续发音过程进行发音准确程度判别；八、在显示器上显示用户发音的准确度，使用百分数显示发音准确度，同时回放用户发音时的录像信息，与标准发音视频动画进行比较。实施例1，英语国家聋哑人学习国际音标的发音，本实施例使用计算机CPU为AMD2500+，内存为1GB，160GB SATA本文档来自技高网...

【技术保护点】
一种多种语言适用的聋哑人语音学习计算机辅助方法，包括以下步骤：一、用户根据自身需要选择所需要学习的语言种类；二、用户选择并确定所需学习的语音单元；三、计算机的显示器向用户显示需要学习的语音和所需注意的环节；四、启动计算机的语音接收装置，等待用户语音信号的输入；五、语音接收装置接收用户发出的语音信号，进行模拟／数字转换；六、计算机的中央处理器从模拟数字转换装置提取所需的语音特征；七、中央处理器对用户发音做出准确性判别；八、在显示器上显示用户发音的准确度。

【技术特征摘要】

【专利技术属性】
技术研发人员：黄中伟，杨磊，孙宏元，蒙山，徐明，
申请(专利权)人：黄中伟，杨磊，孙宏元，蒙山，徐明，
类型：发明
国别省市：94[]