基于语音识别和图形反馈校正的游戏化听觉口语法系统技术方案

本发明专利技术公开了基于语音识别和图形反馈校正的游戏化听觉口语法系统，包括软件系统与硬件系统，所述软件系统包括专为听障儿童设计的移动端应用程序和专为听觉口语治疗师和听障儿童家长设计的门户网站，所述移动端应用程序为听障儿童提供训练教程、训练平台和训练游戏，所述门户网站可以为听障儿童制定训练计划和跟踪训练进度，所述硬件系统包括一个物理游戏。

【技术实现步骤摘要】
基于语音识别和图形反馈校正的游戏化听觉口语法系统
本专利技术涉及疗辅助相关领域，具体为基于语音识别和图形反馈校正的游戏化听觉口语法系统。
技术介绍
在新加坡，新生儿听力筛查的普遍结果显示，每1,000名新生儿中有3.8个患有先天性听力障碍。因此，假设每年的出生人数是40,000，新加坡有大约3,000名19岁以下的青少年患有先天性听力障碍，这个数字还不包括获得性听力障碍。而在中国，中国是世界上听力障碍儿童数量最多的国家。2006年，第二次全国残疾人抽样调查显示，中国有听力语言残疾人2,780万人，其中0-6岁的听力残疾儿童约有13.7万，每年新生聋儿约2.3万。因此，为听障儿童家庭寻求积极有效的听觉口语康复治疗的最佳方案，是我们亟待解决的问题。
技术实现思路
本专利技术的目的在于提供基于语音识别和图形反馈校正的游戏化听觉口语法系统，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：基于语音识别和图形反馈校正的游戏化听觉口语法系统，包括软件系统与硬件系统，所述软件系统包括专为听障儿童设计的移动端应用程序和专为听觉口语治疗师和听障儿童家长设计的门户网站，所述移动端应用程序为听障儿童提供训练教程、训练平台和训练游戏，所述门户网站可以为听障儿童制定训练计划和跟踪训练进度，所述硬件系统包括一个物理游戏。优选的，所述移动端应用程序目标用户是低龄听障儿童。主要遵循操作简单，内容通俗易懂，趣味性强，游戏性强的特点。促进听障儿童在轻松愉快的环境中进行听觉口语康复训练。优选的，所述门户网站目标用户是听觉口语治疗师和听障儿童的家长，主要遵循操作简单，页面排版简洁和整齐，功能性强的特点。让听觉口语治疗师和听障儿童的家长可以在较短的时间内学会操作网站，快速获取对听障儿童的训练有效的信息。优选的，所述物理游戏为一种“拼立方”目标用户是低龄听障儿童，主要遵循操作简单，产品安全性高，不会误伤儿童，质量高，不会轻易损坏的特点，产品的外层会使用绝缘的塑料保护壳和弹性橡胶包裹，用圆角代替尖角。优选的，所述移动端应用程序还包括物理游戏“拼立方”的软件版本。一种培训如何发音训练方法，包括以下步骤：步骤1，提供标准的发音教程和演示，将使用正确的发音方式为听障儿童和他们的家长提供详细和标准化的可视化信息；步骤2，提供三维建模发音动画，听障儿童可以对三维模型移动，旋转，放大或缩小，能够非常清晰地显示嘴巴内部的结构。使听障儿童和他们的家长更清楚嘴巴发音时的形状和运动情况；步骤3，在应用程序中启用摄像头，嘴形的标准发音将叠加在实时捕获的摄像机上，以便孩子可以实时练习；步骤4，采用动态时间规整算法，线性预测声带和梅尔频率倒谱系数来准确判断听障儿童的发音正确率，利用循环神经网络进一步提高算法的准确率。这项技术可帮助有听障儿童在训练时发出更准确的发音，同时加入嘴形动作分析，使用计算机视觉技术分析听障儿童发音视频中的嘴形的准确率；步骤5，听障儿童的发音记录存储在云端数据库中，听觉口语治疗师和听障儿童的家长可以随时监视听障儿童的学习过程，并及时向听障儿童提供训练结果的反馈。与现有技术相比，本专利技术的有益效果是：该基于语音识别和图形反馈校正的游戏化听觉口语法系统，通过提供训练教程、训练平台和“欢乐跳”游戏的移动应用程序，以及一个“拼立方”实体游戏，训练平台使用语音测评功能，将听障儿童的发音与标准发音的音频进行比对，检测听障儿童的发音的准确性，通过波形图的形式准确地显示发音的错误位置和与标准发音的差距；并使用嘴形动作分析功能检测整个发音过程中嘴形动作不正确的位置。训练平台的数据会自动存储在云端服务器。同时，程序还引入了游戏化模式来鼓励听障儿童积极训练，“欢乐跳”是一个语音交互游戏，听障儿童通过语音控制游戏角色的移动；“拼立方”是通过排列组合的方式训练听障儿童来学习并记住发音。利用训练平台捕获的数据，听觉口语治疗师可以远程地通过门户网站来回放听障儿童已完成的训练和进行数据分析，实时监控听障儿童的训练和康复情况，及时纠正听障儿童的发音，保证听障儿童以正确的发音完成听觉口语治疗训练。附图说明图1为本专利技术的基于语音识别和图形反馈校正的游戏化听觉口语法系统概观图；图2为本专利技术的基于语音识别和图形反馈校正的游戏化听觉口语法系统架构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。实施例1请参阅图1-2，本专利技术提供的一种实施例：基于语音识别和图形反馈校正的游戏化听觉口语法系统，包括软件系统与硬件系统，所述软件系统包括专为听障儿童设计的移动端应用程序和专为听觉口语治疗师和听障儿童家长设计的门户网站，所述移动端应用程序为听障儿童提供训练教程、训练平台和训练游戏，所述门户网站可以为听障儿童制定训练计划和跟踪训练进度，所述硬件系统包括一个物理游戏。进一步的，所述移动端应用程序目标用户是低龄听障儿童，主要遵循操作简单，内容通俗易懂，趣味性强，游戏性强的特点，促进听障儿童在轻松愉快的环境中进行听觉口语康复训练，具体的讲，提醒听障儿童按时进行听觉口语训练，通过视频教程，三维发音模型和标准发音嘴形矫正功能指导听障儿童，使用音标/语音识别功能判断听障儿童发音的准确率。把听障儿童的发音音频和标准的发音音频比对，经过系统分析后，比对结果会以波形图的形式来显示听障儿童的发音和标准发音之间的差距，差距较小的部分显示为绿色，差距较大的部分显示为红色，使用嘴形动作分析功能判断听障儿童发音嘴形的准确率。把听障儿童的发音嘴形和标准的发音嘴形比对，经过系统分析后，整个发音视频的嘴形会用不同的颜色勾勒出轮廓，正确的部分显示为绿色，错误的部分为显示红色，三维语音控制游戏“欢乐跳”，鼓励听障儿童不断地练习发音，增强记忆。进一步的，所述门户网站目标用户是听觉口语治疗师和听障儿童的家长，主要遵循操作简单，页面排版简洁和整齐，功能性强的特点，让听觉口语治疗师和听障儿童的家长可以在较短的时间内学会操作网站，快速获取对听障儿童的训练有效的信息，具体的讲，为听觉口语治疗师和听障儿童家长设计，可以为听障儿童制定训练计划和跟踪训练进度。进一步的，所述物理游戏为一种“拼立方”目标用户是低龄听障儿童，主要遵循操作简单，产品安全性高，不会误伤儿童，质量高，不会轻易损坏的特点，产品的外层会使用绝缘的塑料保护壳和弹性橡胶包裹，用圆角代替尖角，具体的讲，听障儿童手脑并用进行发音训练，刺激他们的肌肉记忆。听障儿童需要不断尝试不同的国际音标的组合，以找到单词的正确发音。在尝试拼写单词的发音的过程中，可以帮助听障儿童练习并增强单词的发音记忆，单词的每个国际音标随机显示在硬件“拼立方（使用发光二极管显示屏）”上，并让听障儿童排列拼立方的顺序，如果顺序正确，拼立方的发光二极管显示屏会显示笑脸；如果顺序错误，拼立方的发光二极管显示屏会显示本文档来自技高网...

【技术保护点】
1.基于语音识别和图形反馈校正的游戏化听觉口语法系统，包括软件系统与硬件系统，其特征在于：所述软件系统包括专为听障儿童设计的移动端应用程序和专为听觉口语治疗师和听障儿童家长设计的门户网站，所述移动端应用程序为听障儿童提供训练教程、训练平台和训练游戏，所述门户网站可以为听障儿童制定训练计划和跟踪训练进度，所述硬件系统包括一个物理游戏。/n

【技术特征摘要】
1.基于语音识别和图形反馈校正的游戏化听觉口语法系统，包括软件系统与硬件系统，其特征在于：所述软件系统包括专为听障儿童设计的移动端应用程序和专为听觉口语治疗师和听障儿童家长设计的门户网站，所述移动端应用程序为听障儿童提供训练教程、训练平台和训练游戏，所述门户网站可以为听障儿童制定训练计划和跟踪训练进度，所述硬件系统包括一个物理游戏。


2.根据权利要求1所述的基于语音识别和图形反馈校正的游戏化听觉口语法系统，其特征在于：所述移动端应用程序目标用户是低龄听障儿童；
主要遵循操作简单，内容通俗易懂，趣味性强，游戏性强的特点；
促进听障儿童在轻松愉快的环境中进行听觉口语康复训练。


3.根据权利要求1所述的基于语音识别和图形反馈校正的游戏化听觉口语法系统，其特征在于：所述门户网站目标用户是听觉口语治疗师和听障儿童的家长，主要遵循操作简单，页面排版简洁和整齐，功能性强的特点；
让听觉口语治疗师和听障儿童的家长可以在较短的时间内学会操作网站，快速获取对听障儿童的训练有效的信息。


4.根据权利要求1所述的基于语音识别和图形反馈校正的游戏化听觉口语法系统，其特征在于：所述物理游戏为一种“拼立方”目标用户是低龄听障儿童，主要遵循操作简单，产品安全性高，不会误伤儿童，质量高，...

【专利技术属性】
技术研发人员：胡家俊，张之尧，郭绮璇，
申请(专利权)人：张之尧，
类型：发明
国别省市：广东;44