一种英语口语语音识别及评测方法、系统、计算机及可读存储介质技术方案

本发明专利技术提供一种英语口语语音识别及评测方法、计算机及可读存储介质，涉及模式识别和自然语言理解领域，对英语口语语音进行预处理，预处理过程采用LMS自适应滤波器降噪方法对音频的噪声进行抑制，得到预处理后的音频序列；将音频序列进行预测，得到预测字符的概率分布；将得到的预测字符的概率分布进行解码后得到语音识别结果；将得到的预测字符的概率分布进输入到基于GOP的英语口语语音评测方法中进行评测，得到发音得分结果；引入专家评分后的语音数据，对语音进行综合评分。采用Transformer端到端的语音识别，识别正确率有明显的提升，能够实现音频转文本和语音评测的前期工作，计算效率高，保证了评测的准确度。保证了评测的准确度。保证了评测的准确度。

【技术实现步骤摘要】
一种英语口语语音识别及评测方法、系统、计算机及可读存储介质


[0001]本专利技术涉及模式识别和自然语言理解领域，具体涉及一种基于深度学习的英语口语语音识别及评测方法、系统、计算机及可读存储介质。

技术介绍

[0002]近年来，随着模式识别与自然语言理解领域的飞速发展，以及机器学习，尤其是深度学习等技术的深度应用，语音识别及语音评测技术的研究和应用领域越来越广泛。语音识别技术通过计算机把语音信号转写为相应的文本或命令，其本质是一种模式识别的过程。语音评测技术是针对口语发音水平及发音正误进行自动评价、打分、检错并提供纠正的技术，评测维度有发音准确度、流利度和完整度等维度。
[0003]语音识别领域最常用的模型是GMM
‑
HMM，但在近年来随着深度学习的发展，越来越多基于神经网络的语音识别模型出现。其中，RNN因其能捕捉序列数据的前后依赖信息而在声学模型中被广泛采用，但RNN在每一个时刻的计算都需要上一个时刻的输出作为输入，因此只能串行计算，速度很慢，此外，RNN在训练时易受到梯度消失的影响，收敛得更慢，且需要更多的计算资本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种英语口语语音识别及评测方法，其特征在于，方法包括：步骤(1)：对英语口语语音进行预处理，预处理过程采用LMS自适应滤波器降噪方法对音频的噪声进行抑制，得到预处理后的音频序列x；步骤(2)：将预处理后的音频序列x输入到VGG
‑
Transformer网络模型进行预测，得到预测字符的概率分布p；步骤(3)：将步骤(2)中得到的预测字符的概率分布p进行解码，解码后得到语音识别结果；步骤(4)：将步骤(2)中得到的预测字符的概率分布p输入到基于GOP的英语口语语音评测方法中进行评测，得到发音得分结果；步骤(5)：将步骤(3)中得到的语音识别结果和步骤(4)中得到发音得分结果分别引入专家评分后的语音数据，对语音进行综合评分，得到最终的评分结果。2.根据权利要求1所述的英语口语语音识别及评测方法，其特征在于，步骤还(2)还包括：步骤(2.1)：预处理后的音频序列x作为输入，将其输入到VGGNet网络模型的因果卷积层中得到特征序列f；步骤(2.2)：对步骤(2.1)中得到的特征序列f输入到自注意力模块中得到高维表示序列h；步骤(2.3)：对步骤(2.2)中得到的高维表示特征序列h输入到前馈网络模块中得到预测字符的概率分布p。3.根据权利要求2所述的英语口语语音识别及评测方法，其特征在于，步骤(2.1)中应用于Transformer的VGGNet因果卷积网络模型。4.根据权利要求2所述的英语口语语音识别及评测方法，其特征在于，步骤(4)中基于GOP的英语口语语音评测方法对英语口语发音进行评价，其评价公式如下：下：中s
t
为第t帧的多元音素，Q<...

【专利技术属性】
技术研发人员：马磊，陈义学，夏彬彬，侯庆，
申请(专利权)人：山东山大鸥玛软件股份有限公司，
类型：发明
国别省市：