由计算机实施的用于评估语音评测质量的方法及相关产品技术

本发明专利技术的实施方式提供了一种由计算机实施的用于评估语音评测质量的方法及相关产品。其中，所述方法包括：获取针对语音评测所得的标准打分和服务打分，其中服务打分是基于目标评测算法服务对语音进行评测所得；将连续数值的标准打分和/或服务打分转化为对应的离散等级分类；基于转化后的离散等级分类计算质量评测指标；以及基于质量评测指标评估目标评测算法服务与标准打分的匹配度。通过本发明专利技术的技术方案，可以创造性地将连续的数值任务转化成离散分类任务，以借助离散分类任务领域的质量评测指标来实现对目标评测算法服务的评测结果的质量测试，不仅确保了测试结果的直观性，而且提供了一种全新的且普适性更高的测试方式。且提供了一种全新的且普适性更高的测试方式。且提供了一种全新的且普适性更高的测试方式。

【技术实现步骤摘要】
由计算机实施的用于评估语音评测质量的方法及相关产品


[0001]本专利技术的实施方式涉及语音信息处理
，更具体地，本专利技术的实施方式涉及由计算机实施的用于评估语音评测质量的方法，以及执行前述方法的电子设备和计算机可读存储介质。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。
[0003]计算机辅助发音训练(Computer
‑
Aided Pronunciation Training/Computer Assisted Pronunciation Training，简称CAPT)，通俗称为智能语音评测或语音评估，其是基于智能语音分析技术且以音素为粒度，对发音的准确度、完整度、流利度进行全方位评测，并能对发音情况进行错误定位、纠错及分析，从而客观反映用户发音水平。
[0004]在实际应用中，可以通过语音评测算法服务进行上述的多方位评测，另外还会对语音评测算法服务给出的评测是否正确进行测试。然而，目前针对语音评测算法服务的通用质量测试方案，主要涉及采用相关一致性指标来确定语音评测算法服务给出的评测与参考评测之间的贴合度是否达到预期。这种使用相关一致性指标进行质量测评会存在测试结果不直观、适用条件严苛以及计算结果不够稳定等问题，已经无法满足实际业务需求。

技术实现思路

[0005]已知的针对语音评测算法服务的评测结果的质量测试效果不理想，这是非常令人烦恼的过程。
[0006]为此，非常需要一种改进的由计算机实施的用于评估语音评测质量的方案，使得针对语音评测算法服务的评测结果的质量测试更直观且普适性更好。
[0007]在本上下文中，本专利技术的实施方式期望提供一种由计算机实施的用于评估语音评测质量的方法及相关产品。
[0008]在本专利技术实施方式的第一方面中，提出了一种由计算机实施的用于评估语音评测质量的方法，包括：获取针对语音评测所得的标准打分和服务打分，其中所述服务打分是基于目标评测算法服务对所述语音进行评测所得；将连续数值的所述标准打分和/或所述服务打分转化为对应的离散等级分类；基于转化后的离散等级分类计算质量评测指标；以及基于所述质量评测指标评估所述目标评测算法服务与所述标准打分的匹配度。
[0009]在本专利技术的一个实施例中，获取针对语音评测所得的标准打分和服务打分包括：获取在不同评测维度下针对语音评测所得的标准打分和服务打分，其中不同评测维度采用不同的标注颗粒度。
[0010]在本专利技术的另一个实施例中，将连续数值的所述标准打分和/或所述服务打分转
化为对应的离散等级分类包括：确定每种所述测评维度下所得的标准打分和/或服务打分所处的打分范围；确定所述打分范围对应的离散等级分类；以及确定所述打分范围对应的离散等级分类为所述每种所述测评维度下所得的标准打分和/或服务打分对应的离散等级分类。
[0011]在本专利技术的又一个实施例中，确定所述打分范围对应的离散等级分类包括：预先构建不同打分范围和离散等级分类之间的关联关系；以及依据所述关联关系确定所述打分范围对应的离散等级分类。
[0012]在本专利技术的再一个实施例中，其中不同的所述打分范围与离散等级分类之间为一一对应的关联关系，或者为一对多的关联关系。
[0013]在本专利技术的一个实施例中，其中不同的所述打分范围之间存在重合部分。
[0014]在本专利技术的另一个实施例中，其中所述质量评测指标包括F1值，所述方法还包括：根据所述F1值的最优解确定不同的所述打分范围之间的重合程度。
[0015]在本专利技术的又一个实施例中，基于转化得到的离散等级分类计算质量评测指标包括：依据数据特性筛选出正样本和负样本，其中所述正样本包括标准正样本和所述目标评测算法服务对应的预测正样本，所述负样本包括标准负样本和所述目标评测算法服务对应的预测负样本；计算所述正样本的精确率、召回率以及F1值；以及计算所述负样本的镜像精确率、镜像召回率以及镜像F1值。
[0016]在本专利技术的再一个实施例中，计算所述负样本的镜像精确率、镜像召回率以及镜像F1值包括：根据真阴性的样本个数和假阴性的样本个数计算所述负样本的镜像精确率；根据真阴性的样本个数和假阳性的样本个数计算所述负样本的镜像召回率；以及基于所述负样本的镜像精确率、所述负样本的镜像召回率结合微平均方式计算所述镜像F1值。
[0017]在本专利技术的一个实施例中，其中所述负样本配置有多个标注类型，所述方法还包括：根据所述负样本的镜像召回率结合微平均方式计算每个所述标注类型对应的镜像召回率，其中，所有所述标注类型对应的镜像召回率的总和为所述负样本的镜像召回率。
[0018]在本专利技术实施方式的第二方面中，提供了一种电子设备，包括：处理器；以及存储器，其存储有由计算机实施的用于评估语音评测质量的计算机指令，当所述计算机指令由所述处理器运行时，使得所述电子设备执行根据前文以及下文多个实施例所述的方法。
[0019]在本专利技术实施方式的第三方面中，提供了一种计算机可读存储介质，包含有由计算机实施的用于评估语音评测质量的程序指令，当所述程序指令由处理器执行时，使得实现根据前文以及下文多个实施例所述的方法。
[0020]根据本专利技术实施方式的由计算机实施的用于评语语音评测质量的方法及相关产品，可以将连续数据的打分转换成离散的等级分类，并借助于离散等级分类得到质量评测指标，以基于该质量评测指标实现对目标评测算法服务与标准打分之间匹配度的评估。可以看出，本专利技术的方案在测试目标评测算法服务的评测结果的质量过程中，可以创造性地将连续的数值任务转化成离散分类任务，以借助离散分类任务领域的能够提供直观结果且结果稳定的质量评测指标，来实现对目标评测算法服务的评测结果的质量测试。由此，不仅确保了测试结果的直观性，而且提供了一种全新的且普适性更高的测试方式。
附图说明
[0021]通过参考附图阅读下文的详细描述，本专利技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本专利技术的若干实施方式，其中：
[0022]图1示意性地示出了适于实现本专利技术实施方式的示例性计算系统100的框图；
[0023]图2示意性地示出了根据本专利技术一个实施例的由计算机实施的用于评估语音评测质量的方法的流程示意图；
[0024]图3示意性地示出了根据本专利技术另一个实施例的由计算机实施的用于评估语音评测质量的方法的流程示意图；
[0025]图4示意性地示出了根据本专利技术实施例的打分与等级分类之间对应关系的示意图；
[0026]图5示意性地示出了根据本专利技术一个实施例的计算质量评测指标的示意图；
[0027]图6示意性地示出了根据本专利技术另一个实施例的计算质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种由计算机实施的用于评估语音评测质量的方法，其特征在于，包括：获取针对语音评测所得的标准打分和服务打分，其中所述服务打分是基于目标评测算法服务对所述语音进行评测所得；将连续数值的所述标准打分和/或所述服务打分转化为对应的离散等级分类；基于转化后的离散等级分类计算质量评测指标；以及基于所述质量评测指标评估所述目标评测算法服务与所述标准打分的匹配度。2.根据权利要求1所述的方法，其特征在于，获取针对语音评测所得的标准打分和服务打分包括：获取在不同评测维度下针对语音评测所得的标准打分和服务打分，其中不同评测维度采用不同的标注颗粒度。3.根据权利要求2所述的方法，其特征在于，将连续数值的所述标准打分和/或所述服务打分转化为对应的离散等级分类包括：确定每种所述测评维度下所得的标准打分和/或服务打分所处的打分范围；确定所述打分范围对应的离散等级分类；以及确定所述打分范围对应的离散等级分类为所述每种所述测评维度下所得的标准打分和/或服务打分对应的离散等级分类。4.根据权利要求3所述的方法，其特征在于，确定所述打分范围对应的离散等级分类包括：预先构建不同打分范围和离散等级分类之间的关联关系；以及依据所述关联关系确定所述打分范围对应的离散等级分类。5.根据权利要求4所述的方法，其特征在于，其中不同的所述打分范围与离散...

【专利技术属性】
技术研发人员：周寒聿西，张明阳，
申请(专利权)人：网易有道信息技术北京有限公司，
类型：发明
国别省市：