基于声调-手势映射的言语康复训练与动态反馈系统及方法技术方案

本申请涉及一种基于声调‑手势映射的言语康复训练与动态反馈系统及方法，该系统包括处理器、显示屏、音频输入装置、音频输出装置、音频识别模块、声调标准度偏差分析模块、检测结果产出模块、手势编码模块，音频识别模块包括目标词存取模块、音频采集模块、音频分析模块，目标词存取模块用于目标词标准声调储存和调用；音频采集模块采集用户音频信息；音频分析模块用于用户声学特征提取并用动态时间规整算法对齐用户声调与标准声调；声调标准度偏差分析模块进行归一化处理，计算出用户声调与标准声调的偏差距离、标准偏差程度、用户发音准确率；手势编码模块用于手势指导动作显示调控。本申请效率高，适应性强，易于识别扩展。

【技术实现步骤摘要】

本申请涉及一种基于声调-手势映射的言语康复训练与动态反馈系统及方法，主要适用于听障患者之间或听障患者与普通人之间的语音、意思交流表达以及听障患者的康复训练。

技术介绍

1、汉语是典型的声调语言，四声（阴平、阳平、上声、去声）的差异会对语义的差异造成极大地影响，例如“bā”（八）、“bá”（拔）、“bǎ”（把）、“bà”（爸），其差异完全依赖于声调；与语言中的“口语表达”不同，言语需要达到“清晰、流畅、有韵律地发音”，对声调的正确掌握是其重要一环。

2、相关研究表明，基于心锚原理，在语言教学中，手势实际上就是发音时心理状态和发音行为之间的诱因，固定的、系统化的、经常性的手势强化可以对语言学习者的发音能力起到正向作用，具体的，对声调也具有同样作用。

3、随着康复技术的发展与助听设备（如人工耳蜗）的普及，听障患者对语音训练的诉求从“基本语音识别”转向“精准声调掌握”，以提升言语自然度和社交沟通能力。

4、而现有言语康复技术主要依赖听觉反馈，对听力受损患者（如听障儿童、人工耳蜗使用者）效果有限；现有汉语声调康复训练主要依赖治疗师本文档来自技高网...

【技术保护点】

1.一种基于声调-手势映射的言语康复训练与动态反馈系统，包括处理器、显示屏、音频输入装置、音频输出装置，处理器与显示屏、音频输入装置、音频输出装置均连接，其特征是还设置有音频识别模块、声调标准度偏差分析模块、检测结果产出模块、手势编码模块，所述音频识别模块包括目标词存取模块、音频采集模块、音频分析模块，所述目标词存取模块用于目标词标准声调基频数据的储存和调用；所述音频采集模块通过音频输入装置采集有效的用户音频信息并连同目标词存取模块中当前目标词的基于五度标记法的标准音频信息输送至音频分析模块；所述音频分析模块通过用户声学特征提取，获得用户声调基频曲线，用动态时间规整算法对齐用户声调基频与...

【技术特征摘要】

1.一种基于声调-手势映射的言语康复训练与动态反馈系统，包括处理器、显示屏、音频输入装置、音频输出装置，处理器与显示屏、音频输入装置、音频输出装置均连接，其特征是还设置有音频识别模块、声调标准度偏差分析模块、检测结果产出模块、手势编码模块，所述音频识别模块包括目标词存取模块、音频采集模块、音频分析模块，所述目标词存取模块用于目标词标准声调基频数据的储存和调用；所述音频采集模块通过音频输入装置采集有效的用户音频信息并连同目标词存取模块中当前目标词的基于五度标记法的标准音频信息输送至音频分析模块；所述音频分析模块通过用户声学特征提取，获得用户声调基频曲线，用动态时间规整算法对齐用户声调基频与标准声调基频的语音信号时长后输送至声调标准度偏差分析模块和检测结果产出模块；所述声调标准度偏差分析模块将用户声调基频数据通过t值法进行归一化处理，归一化公式如下：t=(log x-log b)/ (log a-log b)×5，其中，x是当前基频，a是该用户所有基频中的最大值，b是该用户所有基频中的最小值，通过均方根误差计算方法计算出用户声调基频曲线与标准声调基频曲线的偏差距离，再计算出百分比表示的用户声调基频与标准声调基频之间的标准偏差程度送手势编码模块，然后计算出用户发音准确率发送到检测结果产出模块；所述手势编码模块用于根据用户标准偏差程度对手势指导动作进行显示调控，手势指导动作按照手势动作编码规则设定并通过数字人形式展示；处理器与音频识别模块、声调标准度偏差分析模块、检测结果产出模块、手势编码模块均连接，处理器中设置有目标词标准声...

【专利技术属性】
技术研发人员：施佩君，尹敏敏，黄哲浩，方美红，黄洁仪，顾逸顺，徐诺，
申请(专利权)人：杭州师范大学，
类型：发明
国别省市：