语音测评方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及人工智能领域，具体涉及一种语音测评方法、装置、计算机设备和存储介质。所述方法包括：获取待测评语音以及与待测评语音对应的参考文本；分别对待测评语音以及参考文本进行编码处理，得到对应的语音编码向量序列和文本编码向量序列；文本编码向量序列中的文本编码向量与参考文本中的词对应；针对文本编码向量序列中的每个文本编码向量，分别确定与语音编码向量序列中的每个语音编码向量之间的匹配程度；根据匹配程度，确定每个文本编码向量所对应词的融合声学特征；基于参考文本中词的融合声学特征，确定待测评语音的测评分值。采用本方法能够提升语音测评的通用性。采用本方法能够提升语音测评的通用性。采用本方法能够提升语音测评的通用性。

【技术实现步骤摘要】
语音测评方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种语音测评方法、装置、计算机设备和存储介质。

技术介绍

[0002]目前，一些语言教学类应用程序能够对用户的口语发音进行评测，以帮助用户提高口语发音。语音测评一般分为两个步骤：1、将待测评语音进行短时傅里叶变换，进而转换为相应的语谱图，然后基于音频的工程特性，从语谱图提取多种语音特征向量，如发音置信度、发音速度、发音时长等。2、将提取得到的多种语音特征向量输入至评测模块，得到对应的语音测评分数。
[0003]然而，现有的语音测评方法，需要开发人员具备音频方面的专业知识，才能确定从语谱图提取哪些信息作为语音特征向量，从而导致语音测评方法不具有通用性。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提升通用性的语音测评方法、装置、计算机设备和存储介质。
[0005]一种语音测评方法，所述方法包括：
[0006]获取待测评语音以及与所述待测评语音对应的参考文本；
[0007]分别对所述待测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音测评方法，其特征在于，所述方法包括：获取待测评语音以及与所述待测评语音对应的参考文本；分别对所述待测评语音以及所述参考文本进行编码处理，得到对应的语音编码向量序列和文本编码向量序列；所述文本编码向量序列中的文本编码向量与所述参考文本中的词对应；针对所述文本编码向量序列中的每个文本编码向量，分别确定与所述语音编码向量序列中的每个语音编码向量之间的匹配程度；根据所述匹配程度，确定每个所述文本编码向量所对应词的融合声学特征；基于所述参考文本中词的所述融合声学特征，确定所述待测评语音的测评分值。2.根据权利要求1所述的方法，其特征在于，所述根据所述匹配程度，确定每个所述文本编码向量所对应词的融合声学特征，包括：根据当前文本编码向量与所述语音编码向量序列中的每个语音编码向量之间的匹配程度，确定每个所述语音编码向量各自对应的自注意分配权重向量；根据每个所述语音编码向量各自对应的自注意分配权重向量、所述语音编码向量序列以及所述当前文本编码向量，确定与所述当前文本编码向量对应的词的融合声学特征。3.根据权利要求1所述的方法，其特征在于，所述基于所述参考文本中词的所述融合声学特征，确定所述待测评语音的测评分值，包括：基于所述参考文本中的每个词各自对应的所述融合声学特征，确定所述参考文本中的每个词各自对应的词评分；根据所述融合声学特征和所述词评分，确定所述待测评语音的测评分值。4.根据权利要求3所述的方法，其特征在于，所述根据所述融合声学特征和所述词评分，确定所述待测评语音的测评分值，包括：根据所述参考文本中的每个词各自对应的所述融合声学特征，确定与所述参考文本相对应的文本融合特征；根据所述参考文本中的每个词各自对应的所述词评分，确定与所述参考文本相对应的词平均分；根据所述词平均分和所述文本融合特征，得到所述待测评语音的测评分值。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述语音测评方法由语音测评模型执行，所述语音测评模型通过模型训练步骤训练获得，所述模型训练步骤包括：获取第一样本语音、与所述第一样本语音相对应的第一样本文本以及所述第一样本文本中的每个词各自对应的词配对标签；通过所述语音测评模型中预训练的语音编码结构，对所述第一样本语音进行语音编码，得到对应的预测语音向量序列；通过所述语音测评模型中的待训练的文本编码结构，对所述第一样本文本进行文本编码，得到对应的预测文本向量序列；所述预测文本向量序列中的预测文本向量与所述第一样本文本中的词对应；通过所述语音测评模型中的多头注意力机制结构，分别确定所述预测文本向量序列中的每个预测文本向量与所述预测语音向量序列中的每个预测语音向量之间的匹配程度，并根据所述匹配程度，确定每个所述预测文本向量所对应词的预测融合声学特征；
通过所述语音测评模型中的解码结构对每个所述预测融合声学特征进行解码，得到所述第一样本文本中的每个词各自对应的第一预测词评分；通过所述第一预测词评分和所述词配对标签，对所述语音测评模型进行第一训练，直至达到第一训练停止条件时停止。6.根据权利要求5所述的方法，其特征在于，所述获取第一样本语音、与所述第一样本语音相对应的第一样本文本以及所述第一样本文本中的每个词各自对应的词配对标签，包括：获取第一样本语音、以及与所述第一样本语音相匹配的原始文本；所述原始文本包括至少一个原始词；通过预设的替换词库，对所述原始文本中的至少一个原始词进行替换，得到对应的第一样本文本；将所述第一样本文本中的替换词所对应的词配对标签设置为第一标签，并将所述第一样本文本中的原始词所对应的词配对标签设置为第二标签；其中，所述第一标签与所述第二标签不同。7.根据权利要求5所述的方法，其特征在于，所述通过所述第一预测词评分和所述词配对标签，对所述语音测评模型进行第一训练，直至达到第一训练停止条件时停止，包括：根据所述第一预测词...

【专利技术属性】
技术研发人员：林炳怀，王丽园，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：