正确发音的辅助训练方法、系统、终端设备及介质技术方案

本发明专利技术公开了一种正确发音的辅助训练方法、系统、终端设备以及计算机可读存储介质，该正确发音的辅助训练方法的步骤包括：获取语音输入信号，对所述语音输入信号进行数据预处理得到音素序列，并判断所述音素序列与预设的规范音素序列是否相同；若否，则将所述音素序列合成为发音错误音频，和将所述规范音素序列合成为发音正确音频；将所述发音错误音频转换为第一表达向量序列，和将所述发音正确音频转换为第二表达向量序列；基于所述第一表达向量序列和所述第二表达向量序列控制预设的虚拟人脸进行辅助发音训练。本发明专利技术能够提升辅助用户进行正确发音的效率。进行正确发音的效率。进行正确发音的效率。

【技术实现步骤摘要】
正确发音的辅助训练方法、系统、终端设备及介质


[0001]本专利技术涉及音频数据处理领域，尤其是涉及一种正确发音的辅助训练方法、系统、终端设备以及计算机可读存储介质。

技术介绍

[0002]如何快速高效地掌握单词的正确发音是学习一门语言的关键，用户需要不断修正自己的错误发音，才能掌握单词的正确标准发音。
[0003]传统的外语发音培训一般采用由人类教师提供反馈以纠正错误发音的方式，但是该方式需要大量的人力资源，并且效率低下。因此当前研究致力于通过自动检测和诊断发音错误的方式实现辅助用户掌握单词正确发音。然而，在现有技术中即使获得到了错误发音检测诊断的结果，却无法基于该错误发音检测诊断的结果进一步指导用户进行正确发音，从而用户无法及时修正错误发音，导致辅助用户进行正确发音的效率低下。

技术实现思路

[0004]本专利技术的主要目的在于提供一种正确发音的辅助训练方法、系统、终端设备以及计算机可读存储介质，旨在提升辅助用户进行正确发音的效率。
[0005]为实现上述目的，本专利技术提供一种正确发音的辅助训练方法，所述正确发音的辅助包括：
[0006]获取语音输入信号，对所述语音输入信号进行数据预处理得到音素序列，并判断所述音素序列与预设的规范音素序列是否相同；
[0007]若否，则将所述音素序列合成为发音错误音频，和将所述规范音素序列合成为发音正确音频；
[0008]将所述发音错误音频转换为第一表达向量序列，和将所述发音正确音频转换为第二表达向量序列；
[0009]基于所述第一表达向量序列和所述第二表达向量序列控制预设的虚拟人脸进行辅助发音训练。
[0010]可选地，所述对所述语音输入信号进行数据预处理得到音素序列，并判断所述音素序列与预设的规范音素序列是否相同的步骤，包括：
[0011]根据预训练算法从所述语音输入信号进行数据预处理以提取得到音素序列；
[0012]将所述音素序列和预设的规范音素序列进行对比以判断所述音素序列和所述规范音素序列是否相同。
[0013]可选地，所述将所述音素序列合成为发音错误音频，和将所述规范音素序列合成为发音正确音频的步骤，包括：
[0014]将所述音素序列转化为第一梅尔谱图序列，并基于所述第一梅尔谱图序列得到发音错误音频；
[0015]将所述规范音素序列转化为第二梅尔谱图序列，并基于所述第二梅尔谱图序列得
到发音正确音频。
[0016]可选地，所述将所述发音错误音频转换为第一表达向量序列，和将所述发音正确音频转换为第二表达向量序列的步骤，包括：
[0017]将所述发音错误音频转换为第一语音后验概率序列，并基于所述第一语音后验概率序列得到第一表达向量序列；
[0018]将所述发音正确音频转换为第二语音后验概率序列，并基于所述第二语音后验概率序列得到第二表达向量序列。
[0019]可选地，所述方法还包括：
[0020]若所述音素序列与预设的规范音素序列不相同，将所述音素序列对应的音标和所述规范音素序列对应的音标输出至预设的辅助发音训练界面。
[0021]可选地，所述虚拟人脸包括第一虚拟人脸和第二虚拟人脸，所述基于所述第一表达向量序列和所述第二表达向量序列控制预设的虚拟人脸进行辅助发音训练的步骤，包括：
[0022]基于所述第一表达向量序列控制所述第一虚拟人脸合成错误发音口型进行辅助发音训练；
[0023]基于所述第二表达向量序列控制所述第二虚拟人脸合成错误发音口型进行辅助发音训练，其中，所述第一虚拟人脸和第二虚拟人脸都处于预设的辅助发音训练界面中。
[0024]可选地，所述正确发音的辅助训练方法，还包括：
[0025]获取所述语音输入信号的音素后验概率，并基于所述音素后验概率确定音素级发音得分和单词级发音得分。
[0026]为实现上述目的，本专利技术还提供一种正确发音的辅助训练系统，所述正确发音的辅助训练系统，包括：
[0027]数据预处理模块，用于获取语音输入信号，对所述语音输入信号进行数据预处理得到音素序列，并判断所述音素序列与预设的规范音素序列是否相同；
[0028]合成模块，用于若否，则将所述音素序列合成为发音错误音频，和将所述规范音素序列合成为发音正确音频；
[0029]转换模块，用于将所述发音错误音频转换为第一表达向量序列，和将所述发音正确音频转换为第二表达向量序列；
[0030]控制模块，用于基于所述第一表达向量序列和所述第二表达向量序列控制预设的虚拟人脸进行辅助发音训练。
[0031]其中，本专利技术正确发音的辅助系统的各个功能模块各自在运行时均实现如上所述的正确发音的辅助训练方法的步骤。
[0032]为实现上述目的，本专利技术还提供一种终端设备，所述终端设备包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的正确发音的辅助训练程序，所述正确发音的辅助训练程序被所述处理器执行时实现如上所述的正确发音的辅助训练方法的步骤。
[0033]此外，为实现上述目的，本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有正确发音的辅助训练程序，所述正确发音的辅助训练程序被处理器执行时实现如上所述的正确发音的辅助训练方法的步骤。
[0034]此外，为实现上述目的，本专利技术还提供计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上所述的正确发音的辅助训练方法的步骤。
[0035]本专利技术提供一种正确发音的辅助训练方法、系统、终端设备、计算机可读存储介质以及计算机程序产品，通过获取语音输入信号，对所述语音输入信号进行数据预处理得到音素序列，并判断所述音素序列与预设的规范音素序列是否相同；若否，则将所述音素序列合成为发音错误音频，和将所述规范音素序列合成为发音正确音频；将所述发音错误音频转换为第一表达向量序列，和将所述发音正确音频转换为第二表达向量序列；基于所述第一表达向量序列和所述第二表达向量序列控制预设的虚拟人脸进行辅助发音训练。
[0036]本专利技术中，终端设备获取由用户输入的语音输入信号，并对该语音输入信号进行数据预处理操作，并得到该语音输入信号所对应的音素序列，进而将该音素序列与预设的规范音素序列是否一致。终端设备在判断到音素序列与预设的规范音素序列不相同之后，需要将语音输入信号的音素序列所对应的音标和规范音素序列的音素序列所对应的音标输出至同一个预设的辅助发音界面，并将该音素序列合成为发音错误音频，将该规范音素序列合成为发音正确音频，进而将发音错误音频转化为第一表达向量序列，并将发音正确音频转化为第二表达向量序列，以基于该第一表达向量序列和该第二表达向量序列控制进一步预设的虚拟人脸辅助用户准确发音。本专利技术能够提升辅助用户正确发音的效率。
附图说明
[0037]图1为本专利技术实施例方案涉及的硬件运行环境的结构示意图；
[0038]图2为本专利技术正确发音的辅助训练方法一实施例的流程示意图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种正确发音的辅助训练方法，其特征在于，所述正确发音的辅助训练方法，包括：获取语音输入信号，对所述语音输入信号进行数据预处理得到音素序列，并判断所述音素序列与预设的规范音素序列是否相同；若否，则将所述音素序列合成为发音错误音频，和将所述规范音素序列合成为发音正确音频；将所述发音错误音频转换为第一表达向量序列，和将所述发音正确音频转换为第二表达向量序列；基于所述第一表达向量序列和所述第二表达向量序列控制预设的虚拟人脸进行辅助发音训练。2.如权利要求1所述的正确发音的辅助训练方法，其特征在于，所述对所述语音输入信号进行数据预处理得到音素序列，并判断所述音素序列与预设的规范音素序列是否相同的步骤，包括：根据预训练算法从所述语音输入信号进行数据预处理以提取得到音素序列；将所述音素序列和预设的规范音素序列进行对比以判断所述音素序列和所述规范音素序列是否相同。3.如权利要求1所述的正确发音的辅助训练方法，其特征在于，所述将所述音素序列合成为发音错误音频，和将所述规范音素序列合成为发音正确音频的步骤，包括：将所述音素序列转化为第一梅尔谱图序列，并基于所述第一梅尔谱图序列得到发音错误音频；将所述规范音素序列转化为第二梅尔谱图序列，并基于所述第二梅尔谱图序列得到发音正确音频。4.如权利要求1所述的正确发音的辅助训练方法，其特征在于，所述将所述发音错误音频转换为第一表达向量序列，和将所述发音正确音频转换为第二表达向量序列的步骤，包括：将所述发音错误音频转换为第一语音后验概率序列，并基于所述第一语音后验概率序列得到第一表达向量序列；将所述发音正确音频转换为第二语音后验概率序列，并基于所述第二语音后验概率序列得到第二表达向量序列。5.如权利要求1所述的正确发音的辅助训练方法，其特征在于，所述方法还包括：若所述音素序列与预设的规范音素序列不相同，将所述音素序列对应的音标和所述规范音素序列对应的音标输出至预设...

【专利技术属性】
技术研发人员：吴锡欣，吴明林，孙立发，李坤，胡景强，钟静华，吴志勇，刘循英，蒙美玲，
申请(专利权)人：佛山市声希科技有限公司，
类型：发明
国别省市：