构音障碍检测方法和系统技术方案

本发明专利技术涉及一种构音障碍检测方法和系统。上述构音障碍检测方法，包括如下步骤：读取电磁发音仪器产生的数据，获取音频数据及其同步的运动坐标数据；根据所述音频数据从所述运动轨迹信息上提取各个字词读音对应的子运动轨迹信息；将所述子运动轨迹信息与参考语音库中各个字词读音对应的参考运动轨迹信息进行特征运算，获取相似概率值；其中所述参考语音库为包括所述各字词正常发音的语音数据库；根据相似概率值对所述用户进行构音障碍检测。本发明专利技术提供的构音障碍检测方法和系统，可以利用数据中的各字词读音以及相应的子运动轨迹信息，使检测结果的准确性得到提高。

【技术实现步骤摘要】

本专利技术涉及语音处理
，特别是涉及一种构音障碍检测方法和系统。
技术介绍
目前，构音障碍检测技术研究处在一个初步发展的阶段。现如今医院康复科的构音障碍患者诊断方式主要依据医疗师的诊断经验和主观听觉感知进行评估，费时费力且不够稳定客观。而且，利用放射性射线成像技术和核磁医疗器械技术进行诊断会对构音障碍患者的身体造成不良影响，还需要花费价格不菲的医疗器械费用。现有的关于构音障碍的评估方法主要包括描记法、音标法、标准化测验检测法和仪器检查法等。上述构音障碍检测方案主要涉及到语音清晰度评估、口腔轮替运动速率评估和鼻流量检测等等，容易影响检测结果的准确性。
技术实现思路
基于此，有必要针对传统方案容易影响构音障碍检测准确性的技术问题，提供一种构音障碍检测方法和系统。—种构音障碍检测方法，包括如下步骤:读取电磁发音仪器产生的语音数据，根据所述语音数据获取音频数据及其对应的运动轨迹信息;其中，所述电磁发音仪器的传感器安装在用户的发音位置，所述语音数据为用户根据设定字词进行发音时，电磁发音仪器在用户发音感应位置获取的数据；根据所述音频数据从所述运动轨迹信息上提取各个字词读音对应的子运动轨迹信息；将所述子运动轨迹信息与参考语音库中各个字词读音对应的参考运动轨迹信息进行特征运算，获取相似概率值;其中所述参考语音库为包括所述各字词正常发音的语音数据库；根据相似概率值对所述用户进行构音障碍检测。一种构音障碍检测系统，包括:读取模块，用于读取电磁发音仪器产生的语音数据，根据所述语音数据获取音频数据及其对应的运动轨迹信息;其中，所述电磁发音仪器的传感器安装在用户的发音位置，所述语音数据为用户根据设定字词进行发音时，电磁发音仪器在用户发音感应位置获取的数据；提取模块，用于根据所述音频数据从所述运动轨迹信息上提取各个字词读音对应的子运动轨迹信息；获取模块，用于将所述子运动轨迹信息与参考语音库中各个字词读音对应的参考运动轨迹信息进行特征运算，获取相似概率值;其中所述参考语音库为包括所述各字词正常发音的语音数据库；检测模块，用于根据相似概率值对所述用户进行构音障碍检测。上述构音障碍检测方法和系统，通过读取电磁发音仪器产生的语音数据，从所述运动轨迹信息上提取各个字词读音对应的子运动轨迹信息;将所述子运动轨迹信息与参考语音库中各个字词读音对应的参考运动轨迹信息进行特征运算，获取相似概率值，从而实现所述用户的构音障碍检测，使上述构音障碍检测方案可以利用数据中的各字词读音以及相应的子运动轨迹信息，使检测结果的准确性得到提高。【附图说明】图1为一个实施例的构音障碍检测方法流程图；图2为一个实施例的感器粘贴示意图；图3为一个实施例的概率分布不意图；图4为一个实施例的构音障碍检测系统结构示意图。【具体实施方式】下面结合附图对本专利技术的构音障碍检测方法和系统的【具体实施方式】作详细描述。参考图1，图1所示为一个实施例的构音障碍检测方法流程图，包括如下步骤:S10，读取电磁发音仪器产生的语音数据，根据所述语音数据获取音频数据及其对应的运动轨迹信息;其中，所述电磁发音仪器的传感器安装在用户的发音位置，所述语音数据为用户根据设定字词进行发音时，电磁发音仪器在用户发音感应位置获取的数据；上述电磁发音仪上安装的言语研究系统为一款非视距运动捕捉系统，通过上述言语研究系统，电磁发音仪可以采集包括音频数据及其同步的运动轨迹信息两个同步文件，其中音频数据为wav格式，运动轨迹信息为tsv格式。上述电磁发音仪器可以安装在用户的发音位置，包括上述用户的发音器官位置，在用户对设定字词进行发音时，获取数据。上述设定字词可以为参考语音库所包括正常发音所对应的一个或者多个字词。在一个实施例中，上述电磁发音仪器的参考传感器可以粘贴在用户的眉心位置，将电磁发音仪器的六个微型传感器依次粘贴在用户的舌面后、舌面前、舌尖、下齿龈、上嘴唇、下嘴唇。上述电磁发音仪器的传感器的粘贴次序可以包括:将参考传感器粘贴在眉心位置，其次为口腔传感器的粘贴，具体操作为将6个微型传感器依次粘贴在舌面后、舌面前、舌尖、下齿龈、上嘴唇、下嘴唇，以上6个微型传感器的粘贴位置可以如图2所示。传感器在粘贴时用的是可食用的医用的口腔速干粘合剂，在口腔内的微型传感器粘贴部分，首先要对口腔进行清理并用纱布擦干舌面以便于用口腔速干粘合剂将微型传感器粘贴到口腔内的对应的位置，在舌面上粘贴微型传感器的时候要注意三个微型传感器之间的间隔大约为1mm(毫米)。由于速干胶水的粘合力比较弱之后还需要对口腔内的微型传感器利用口腔用的混合胶水加以固定。由于微型传感器的连线很细、很容易被扯断而且有一定的长度，所以在粘贴好微型传感器之后还需要对微型传感器的连线做好固定。在进行数据采集之前为了让被采集者可以适应嘴内粘贴着微型传感器的情况下进行说话，可以让被采集的用户先进行说话练习，练习着适应嘴里含着微型传感器说话，当上述用户自我感觉已经适应之后再正式进行语音数据的采集。S20，根据所述音频数据从所述运动轨迹信息上提取各个字词读音对应的子运动轨迹信息；上述步骤中，音频数据与运动轨迹信息对应的坐标数据为同步信号，可以将语音信号进行分段对齐从而得到每个字词读音的起止时间，再将对应的坐标的数据利用同步的时间进行分段。在一个实施例中，上述根据所述音频数据从所述运动轨迹信息上提取各个字词读音对应的子运动轨迹信息的步骤可以包括:对所述音频数据进行分段，得到语音数据中的各个字词读音在音频数据中的起止时间；对所述音频数据与运动轨迹信息进行同步处理，获取各个字词读音对应的子运动轨迹信息。本实施例可以采用语音信号的分割技术梅尔域倒谱系数(MelFrequencyCepstrum Coeff icient，MFCC)将音频数据进行分段，采用对齐算法DTW(Dynamic TimeWarping，动态时间规整)对语音信号进行对齐，利用高斯混合模型(GMM)对语音信号进行相似性比较，从而实现对语音的自动分段对齐。在利用语音识别技术完成语音信号的分段对齐的同时语音识别系统还会得到一个对于语音信号的似然得分，该似然得分可以作为检测音频数据识别度的标准，并且可以由上述似然得分判断该音频数据是否需要进行手动分段对齐。作为一个实施例，在获取各个字词读音对应的子运动轨迹信息之后，还可以包括:获取语音数据中各个字词读音对应的似然得分；在所述似然得分低于预设的似然阈值时，利用手动标注音频工具获取各个读音对应的子运动轨迹信息。上述似然阈值可以根据所分段的音频数据所对应的字词正常发音特点进行设置。上述似然得分低于预设似然阈值的子运动轨迹信息，可以表明电磁发音仪器所获取的用户语音数据过于模糊，不能够用语音识别技术对其进行自动的分段对齐。对于这部分音频数据需要利用人工进行手动的分段对齐。可以使用手动标注音频工具Praat进一步获取各个读音对应的子运动轨迹信息。作为一个实施例，利用Praat进行语音标注的基本步骤可以包括:新建语音标注对象。在对象列表中选中需要进行语音标注的音频数据，点击“Annotate-”下的“To TextGrid...”，在新窗口键入待标注层的名称并确认，选中TextGrid对象后点击“Edit”按钮进入编辑页面。保存标注文件。由于Praat软件不会自动本文档来自技高网...

【技术保护点】
一种构音障碍检测方法，其特征在于，包括如下步骤：读取电磁发音仪器产生的语音数据，根据所述语音数据获取音频数据及其对应的运动轨迹信息；其中，所述电磁发音仪器的传感器安装在用户的发音位置，所述语音数据为用户根据设定字词进行发音时，电磁发音仪器在用户发音感应位置获取的数据；根据所述音频数据从所述运动轨迹信息上提取各个字词读音对应的子运动轨迹信息；将所述子运动轨迹信息与参考语音库中各个字词读音对应的参考运动轨迹信息进行特征运算，获取相似概率值；其中所述参考语音库为包括所述各字词正常发音的语音数据库；根据相似概率值对所述用户进行构音障碍检测。

【技术特征摘要】

【专利技术属性】
技术研发人员：李明，赵志洁，
申请(专利权)人：广东顺德中山大学卡内基梅隆大学国际联合研究院，中山大学，
类型：发明
国别省市：广东;44