一种发音流利度评测方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种发音流利度评测方法、装置、设备及存储介质。本申请实施例提供的技术方案通过对待评测语音进行语音识别，得到包含测试停顿信息的测试文本，并将测试文本中的测试停顿信息去除，得到无停顿文本，根据该无停顿文本构建词间停顿路径网络，并根据词间停顿路径网络中直连分支路径和停顿分支路径对应的概率权重，并从词间停顿路径网络中确定最优路径，根据最优路径确定包含参考停顿信息的参考文本，可根据测试文本和参考文本进行发音流利度评测，得到待评测语音对应的发音流利度评测结果，参考停顿信息反映了流利语音中存在的停顿习惯，更适应于发音停顿的特点，有效提高发音流利度的评测效果。效提高发音流利度的评测效果。效提高发音流利度的评测效果。

【技术实现步骤摘要】
一种发音流利度评测方法、装置、设备及存储介质


[0001]本申请实施例涉及计算机
，尤其涉及一种发音流利度评测方法、装置、设备及存储介质。

技术介绍

[0002]发音流利度评估是计算机辅助语言学习的一个细分方向，发音流利度评估要求高效准确地还原学习者的实际发音流利情况，给出韵律短语级别的流利程度评价，帮助学习者评估口语的熟练程度。
[0003]开放式题型的流利度评估采用韵律维度特征，主要包括韵律短语停顿特征、重读音节特征、边界调特征和节奏特征等。其中，短语停顿特征既融合了语速特征，又涵盖了对语法的掌握程度，是流利度评估中的一个重要特征。但是目前对发音流利度的评测一般是从文本语法语义出发，忽略了流利语音中可能存在的停顿习惯，无法适配于发音停顿的特点，导致发音流利度评测的效果不理想。

技术实现思路

[0004]本申请实施例提供一种发音流利度评测方法、装置、设备及存储介质，以提高发音流利度的评测效果。
[0005]在第一方面，本申请实施例提供了一种发音流利度评测方法，包括：
[0006]获取待评测语音，并对待评测语音进行语音识别，得到包含测试停顿信息的测试文本；
[0007]将所述测试文本中的测试停顿信息去除，以得到无停顿文本，并基于所述无停顿文本构建词间停顿路径网络，所述词间停顿路径网络记录有文本单词间的直连分支路径和含词间停顿的停顿分支路径，以及所述直连分支路径和所述停顿分支路径对应的概率权重，所述概率权重由训练好的词间停顿预测模型，对所述无停顿文本进行分析得到；<br/>[0008]根据所述概率权重，在所述词间停顿路径网络中确定最优路径，并基于所述最优路径确定包含参考停顿信息的参考文本，所述最优路径由直连分支路径和停顿分支路径组成；
[0009]根据所述测试文本和所述参考文本进行发音流利度评测，以得到所述待评测语音对应的发音流利度评测结果。
[0010]在第二方面，本申请实施例提供了一种发音流利度评测装置，包括文本提取模块、网络构建模块、路径确定模块和发音评测模块，其中：
[0011]所述文本提取模块，用于获取待评测语音，并对待评测语音进行语音识别，得到包含测试停顿信息的测试文本；
[0012]所述网络构建模块，用于将所述测试文本中的测试停顿信息去除，以得到无停顿文本，并基于所述无停顿文本构建词间停顿路径网络，所述词间停顿路径网络记录有文本单词间的直连分支路径和含词间停顿的停顿分支路径，以及所述直连分支路径和所述停顿
分支路径对应的概率权重，所述概率权重由训练好的词间停顿预测模型，对所述无停顿文本进行分析得到；
[0013]所述路径确定模块，用于根据所述概率权重，在所述词间停顿路径网络中确定最优路径，并基于所述最优路径确定包含参考停顿信息的参考文本，所述最优路径由直连分支路径和停顿分支路径组成；
[0014]所述发音评测模块，用于根据所述测试文本和所述参考文本进行发音流利度评测，以得到所述待评测语音对应的发音流利度评测结果。
[0015]在第三方面，本申请实施例提供了一种发音流利度评测设备，包括：存储器以及一个或多个处理器；
[0016]所述存储器，用于存储一个或多个程序；
[0017]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的发音流利度评测方法。
[0018]在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的发音流利度评测方法。
[0019]本申请实施例通过对待评测语音进行语音识别，得到包含测试停顿信息的测试文本，并将测试文本中的测试停顿信息去除，得到无停顿文本，根据该无停顿文本构建词间停顿路径网络，并根据词间停顿路径网络中直连分支路径和停顿分支路径对应的概率权重，并从词间停顿路径网络中确定最优路径，根据最优路径确定包含参考停顿信息的参考文本，可根据测试文本和参考文本进行发音流利度评测，得到待评测语音对应的发音流利度评测结果，其中概率权重基于词间停顿预测模型对无停顿文本进行分析得到，并且该词间停顿预测模型是基于发音流利语音样本进行训练的，参考停顿信息反映了流利语音中存在的停顿习惯，更适应于发音停顿的特点，有效提高发音流利度的评测效果。
附图说明
[0020]图1是本申请实施例提供的一种发音流利度评测方法的流程图；
[0021]图2是本申请实施例提供的另一种发音流利度评测方法的流程图；
[0022]图3是本申请实施例提供的一种加权有限状态转移器网络的结构示意图；
[0023]图4是本申请实施例提供的一种发音流利度评测装置的结构示意图；
[0024]图5是本申请实施例提供的一种发音流利度评测设备的结构示意图。
具体实施方式
[0025]为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中
的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0026]图1给出了本申请实施例提供的一种发音流利度评测方法的流程图，本申请实施例提供的发音流利度评测方法可以由发音流利度评测装置来执行，该发音流利度评测装置可以通过硬件和/或软件的方式实现，并集成在发音流利度评测设备中。
[0027]下述以发音流利度评测装置执行发音流利度评测方法为例进行描述。参考图1，该发音流利度评测方法包括：
[0028]S101：获取待评测语音，并对待评测语音进行语音识别，得到包含测试停顿信息的测试文本。
[0029]其中待评测语音为需要进行发音流利度评测的语音，可通过麦克风对用户朗读时的语音进行采集得到，或者是根据用户选择将需要进行发音流利度评测的语音文件作为待评测语音。
[0030]可选的，本实施例提供的待评测语音可基于封闭式题型或开放式题型进行朗读得到。其中封闭式题型为有参考文本的题型，用户需要对照参考文本进行朗读，参考文本是指发音流利度评测装置中保存有或可获得的文本；开放式题型为无参考文本的题型，即发音流利度评测装置未获得对应的参考文本，用户可无参照地进行朗读。
[0031]示例性的，获取需要进行发音流利度评测的待评测语音，并基于对待评测语音进行语音识别，得到包含测试停顿信息的测试文本。其中测试文本包括文本单词和测试停顿信息，文本单词可理解为用户在阅读时所对应的每一个单词或文字，测试停本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种发音流利度评测方法，其特征在于，包括：获取待评测语音，并对待评测语音进行语音识别，得到包含测试停顿信息的测试文本；将所述测试文本中的测试停顿信息去除，以得到无停顿文本，并基于所述无停顿文本构建词间停顿路径网络，所述词间停顿路径网络记录有文本单词间的直连分支路径和含词间停顿的停顿分支路径，以及所述直连分支路径和所述停顿分支路径对应的概率权重，所述概率权重由训练好的词间停顿预测模型，对所述无停顿文本进行分析得到；根据所述概率权重，在所述词间停顿路径网络中确定最优路径，并基于所述最优路径确定包含参考停顿信息的参考文本，所述最优路径由直连分支路径和停顿分支路径组成；根据所述测试文本和所述参考文本进行发音流利度评测，以得到所述待评测语音对应的发音流利度评测结果。2.根据权利要求1所述的发音流利度评测方法，其特征在于，所述发音流利度评测方法还包括：获取基于参考文本录制得到的待评测语音，对所述待评测语音进行强制对齐，得到包含测试停顿信息的测试文本。3.根据权利要求1所述的发音流利度评测方法，其特征在于，所述词间停顿路径网络为加权有限状态转移器网络，所述基于所述无停顿文本构建词间停顿路径网络，包括：利用词间停顿预测模型，对所述无停顿文本进行词间停顿预测，以得到所述无停顿文本的各个文本单词对应的预测概率；基于所述无停顿文本和所述预测概率，构建加权有限状态转移器网络。4.根据权利要求1所述的发音流利度评测方法，其特征在于，所述根据所述概率权重，在所述词间停顿路径网络中确定最优路径，包括：根据所述概率权重，基于维特比算法在所述词间停顿路径网络中搜索最优路径。5.根据权利要求1所述的发音流利度评测方法，其特征在于，所述根据所述测试文本和所述参考文本进行发音流利度评测，以得到所述待评测语音对应的发音流利度评测结果，包括：基于对机器学习模型的模型评价指标，根据所述测试文本和所述参考文本进行停顿评价，以得到停顿评价结果；根据所述参考文本的第一语言模型困惑度和所述测试文本的第二语言模型困惑度之间的困惑度差异，得到文本评价结果；对所述停顿评价结果和所述文本评价结果进行加权求和得到综合评价结果，根据综合评价结果确定所述待评测语音对应的发音流利度评测结果。6.根据权利要求5所述的发音流利度评测方法，其特征在于，所述根据所述测试文本和所述参考文本进行停顿评价，包括：基于所述测试文本和所述参考文本，计算所述待评测语音对应的精确率和召回率；根据所述精确率和所述召回率，计算所述待评测语音对应的停顿评价结果。7.根据权利要求6所述的发音流利度评测方法，其特征在于，所述精确率的计算公式为：
其中，T
P
为测试文本和参考文本之间停顿位置一致的停顿位置数量，F
P
为测试文本中...

【专利技术属性】
技术研发人员：叶珑，雷延强，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：