质量评估方法及电子设备技术

本公开涉及质量评估方法、装置、电子设备、计算机可读存储介质和计算机程序产品。该方法包括：获取经训练的质量评估模型，其中经训练的质量评估模型包括至少两个预训练子模型，两个预训练子模型中的每个预训练子模型通过成对训练方法得到；以及将输入语音输入到经训练的质量评估模型，得到模型输出。以此方式，本公开的实施例能够通过质量评估模型来确定输入语音的MOS值，无需人工标注，降低了人力和时间成本。并且，本公开的实施例中，由于采用成对训练方法得到质量评估模型中的每个预训练子模型，因此，对于不同语音来说，可以对其MOS值进行准确地排序。行准确地排序。行准确地排序。

【技术实现步骤摘要】
质量评估方法及电子设备


[0001]本公开总体上涉及计算机领域，并且更具体地涉及质量评估方法及电子设备。

技术介绍

[0002]语音质量评价指标旨在衡量语音的语音质量好坏，其中被衡量的语音可以是合成语音，例如，从文本合成的语音或者被转换的语音等。语音质量评价指标包括客观评价指标和主观评价指标。
[0003]客观评价指标可以对语音的各个参数进行定量地评价，从而衡量语音质量的高低。但是由于人类的主观感受不同，客观评价指标与人类的感受之间存在差距，因此采用主观评价指标可以更好地反映人类对语音质量的感受。
[0004]一般地，主观评价指标需要大量的经过专业训练的标注者对语音进行数据标注，这样导致了较大的时间和人力成本。

技术实现思路

[0005]根据本公开的示例实施例，提供了一种质量评估方案，其中质量评估模型中的每个预训练子模型通过成对训练方法得到。
[0006]在本公开的第一方面，提供了一种质量评估方法，包括：获取经训练的质量评估模型，其中经训练的质量评估模型包括至少两个预训练子模型，两个预训练子模型中的每个预训练子模型通过成对训练方法得到；以及将输入语音输入到经训练的质量评估模型，得到模型输出。
[0007]在本公开的第二方面，提供了一种电子设备，包括：至少一个处理单元；至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，该指令当由至少一个处理单元执行时使得电子设备执行根据本公开的第一方面所描述的方法。
[0008]在本公开的第三方面，提供了一种质量评估装置，包括：模型获取单元，被配置为获取经训练的质量评估模型，其中经训练的质量评估模型包括至少两个预训练子模型，两个预训练子模型中的每个预训练子模型通过成对训练方法得到；以及输出确定单元，被配置为将输入语音输入到经训练的质量评估模型，得到模型输出。
[0009]在本公开的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质具有在其上存储的机器可执行指令，该机器可执行指令在由设备执行时使该设备执行根据本公开的第一方面所描述的方法。
[0010]在本公开的第五方面，提供了一种计算机程序产品，包括计算机可执行指令，其中计算机可执行指令在被处理器执行时实现根据本公开的第一方面所描述的方法。
[0011]在本公开的第六方面，提供了一种电子设备，包括：至少一个处理单元；至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时使得所述电子设备根
据本公开的第一方面所描述的方法。
[0012]提供
技术实现思路
部分是为了以简化的形式来介绍一系列概念，它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分不旨在标识本公开的关键特征或必要特征，也不旨在限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
[0013]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
[0014]图1示出了根据本公开的一些实施例的质量评估模型的模型结构的示意图；
[0015]图2示出了根据本公开的一些实施例的模型训练的过程的示意流程图；
[0016]图3示出了根据本公开的一些实施例的成对训练的示意图；
[0017]图4示出了根据本公开的一些实施例的模型训练的过程的另一示意流程图；
[0018]图5示出了根据本公开的一些实施例的确定集外数据项的示意图；
[0019]图6示出了根据本公开的一些实施例的模型使用过程的流程图；
[0020]图7示出了根据本公开的一些实施例的示例装置的框图；以及
[0021]图8示出了可以用来实施本公开的实施例的示例设备的框图。
具体实施方式
[0022]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0023]如前所述，对语音(也称音频)进行主观评价，能够更好地反应人类对语音质量的感受。平均意见得分(mean opinion score，MOS)是对语音质量的主观评价指标，例如针对某一条语音可以由多名标注者分别给出1至5之间的整数分数，并进而基于多名标注者的分数的均值来得到主观评价指标的MOS。但是，主观评价指标需要大量的标注者进行数据标注，这无疑需要较大的时间和人力成本。
[0024]一种降低成本的方案是构建用于预测MOS的模型，以此来拟合主观评价指标，从而实现自动评价。例如，所预测的MOS可以被用作数据集中各个数据项的标注信息，而无需人工标注。然而，目前的用于预测MOS的方案基于预测单条语音或加入标注者信息后预测特定标注者的打分值，这样导致所得到的MOS不够准确。
[0025]为了解决上述问题以及潜在的其他问题，本公开的实施例提供了一种对语音进行MOS预测的质量评估模型。语音可以被并行输出到质量评估模型中的至少两个预训练子模型以得到对应的至少两个MOS预测值，并且至少两个MOS预测值还可以进一步被拼接以得到该语音的最终MOS值。每个预训练子模型都通过成对训练方法得到，通过考虑输入到预训练子模型的一对输入对应的输出的相对排序，得到经训练的预训练子模型。以此方式，本公开的实施例的方案无需通过人工方式进行MOS标注，降低了人力和时间成本。并且，每个预训练子模型通过成对训练方法被训练，这样能够确保质量评估模型的输出的MOS值的准确性。
[0026]本公开的实施例中的质量评估模型也可以被称为MOS预测模型或基于成对比较的
MOS预测(MOS prediction based Pair Comparison，MOSPC)模型，或者也可以被称为其他名称，本公开对此不限定。
[0027]图1示出了根据本公开的一些实施例的质量评估模型100的模型结构的示意图。质量评估模型100包括多个预训练子模型，如图1示出了7个预训练子模型110至170。质量评估模型100还包括全连接(full connected，FC)层180。如图1所示，7个预训练子模型110至170对应的7个输出可以被拼接(concatenate)后输入到FC层180，以得到质量评估模型100的输出。
[0028]在一些实施例中，每个预训练子模型可以包括自监督学习(self
‑
supervised learned，SSL)模型和FC子层。例如，7个预训练子模型中的第k个预训练子模型可以包括SSL模型f
k
和FC子层fc
k
，其中k的取值为从1到7之间的任一正整数。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种质量评估方法，包括：获取经训练的质量评估模型，其中所述经训练的质量评估模型包括至少两个预训练子模型，所述两个预训练子模型中的每个预训练子模型通过成对训练方法得到；以及将输入语音输入到所述经训练的质量评估模型，得到模型输出。2.根据权利要求1所述的方法，还包括：针对所述每个预训练子模型通过下述方式进行训练：构建第一训练数据集，所述第一训练数据集包括多个批，所述多个批中的每个批包括多个数据项，所述第一训练数据集中的每个数据项包括语音样本和标签；以及基于所述第一训练数据集，通过成对训练方法对所述预训练子模型进行训练。3.根据权利要求2所述的方法，其中通过成对训练方法进行训练包括：获取所述第一训练数据集的同一批中的两个数据项；将所述两个数据项的两条语音样本分别输入到待训练的预训练子模型中，以得到两个输出；基于所述两个输出以及所述两个数据项的两条语音样本对应的两个标签，构建损失函数；以及基于所述损失函数对所述预训练子模型来进行训练。4.根据权利要求3所述的方法，其中构建损失函数包括：基于所述两个输出以及所述两个数据项的两条语音样本对应的两个标签，构建相对排序损失；以及基于所述相对排序损失以及与所述两条语音样本对应的两个一阶损失，构建所述损失函数。5.根据权利要求4所述的方法，其中构建相对排序损失包括：通过逻辑函数将所述两个输出映射为概率；通过所述两个数据项的两条语音样本对应的两个标签的相对大小，确定相对值；以及基于所述概率和所述相对值来构建所述相对排序损失。6.根据权利要求2所述的方法，还包括：构建第二训练数据集，所述第二训练数据集包括多个数据项，所述第二训练数据集中的每个数据项包括集内语音样本和集内标签；基于所述第二训练数据集中的两个数据项，构建集外数据项，所述集外数据项包括集外语音样本和集外标签；以及基于所述第二训练数据集和所述集外数据项，对所述预训练...

【专利技术属性】
技术研发人员：董倩倩，王可心，高汝霆，王明轩，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：