本发明专利技术的实施方式提供了一种训练多任务处理模型的方法及相关产品。其中，该方法包括获取关于多任务处理模型的训练数据和多个教师模型，其中，多任务处理模型配置为执行语音合成中的多类文本分析任务，每个教师模型配置为执行单一类文本分析任务；基于教师模型和多任务处理模型针对训练数据的预测结果，确定关于多任务处理模型的目标损失；以及基于目标损失对多任务处理模型进行优化训练。通过本发明专利技术的技术方案，通过多任务处理模型的训练以使其可以同时应用在多个任务上，打破了传统的流水线组合分析方式，实现对质量和性能兼顾。另外，本发明专利技术的实施方式还提供了一种语音合成的方法。法。法。
【技术实现步骤摘要】
训练多任务处理模型的方法、语音合成的方法及相关产品
[0001]本专利技术的实施方式涉及语音处理
，更具体地，本专利技术的实施方式涉及训练多任务处理模型的方法，语音合成的方法以及执行前述方法的电子设备和计算机可读存储介质。
技术介绍
[0002]本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。
[0003]语音合成的技术本质可以理解为是将文本转换为语音，并让机器开口说话。相关技术中，语音合成系统可以由前端和后端两个部分组成。其中，前端通过将输入的文本经过各种各样的文本分析，然后生成一个语言学规格书，后端基于这份语言学规格书去生成对应的语音。因此，前端可以看作为一个语言学家，是整个语音合成系统里面最复杂的部分，为了生成这个语言学规格书，需要经过很多个环节，任何一个模块出错，都会直接影响最终的语音合成效果。然而，目前前端在文本分析过程中，针对文本分析任务基本采用的都是流水线形式的分析方式，也即一次仅执行一种文本分析任务，且上一任务的分析结果作为下一任务的输入。在这种传统的流水线式分析方法中，各个模块会占用独立的资源，对资源消耗比较大，同时模块之间级联错误问题比较多，维护成本很高。可以看出，这种传统的流式线式分析方法应用场景比较局限，其需要高性能的平台支持才能保证文本分析质量，对于性能有限平台或系统(特别是嵌入式)很难实现质量和性能的平衡。
技术实现思路
[0004]已知的语音合成技术中前端针对文本的分析效果不理想，这是非常令人烦恼的过程。
[0005]为此，非常需要一种改进的训练多任务处理模型的方案，可以训练该多任务处理模型来支持语音合成中的多类文本分析任务的分析处理，从而实现对质量和性能兼顾。
[0006]在本上下文中，本专利技术的实施方式期望提供一种训练多任务处理模型的方法及相关产品。
[0007]进一步地，本专利技术的实施方式还提供了基于上述多任务处理模型进行语音合成的方法及相关产品。
[0008]在本专利技术实施方式的第一方面中，提出了一种训练多任务处理模型的方法，包括：获取关于所述多任务处理模型的训练数据和多个教师模型，其中，所述多任务处理模型配置为执行语音合成中的多类文本分析任务，每个所述教师模型配置为执行单一类所述文本分析任务；基于所述教师模型和所述多任务处理模型针对所述训练数据的预测结果，确定关于所述多任务处理模型的目标损失；以及基于所述目标损失对所述多任务处理模型进行
优化训练。
[0009]在本专利技术的一个实施例中，其中，所述训练数据包括无标签数据和混合标签数据，所述混合标签数据中的数据至少标注有部分任务的标签，确定关于所述多任务处理模型的目标损失包括：响应于训练数据包含所述无标签数据，根据每个所述教师模型和所述多任务处理模型对所述无标签数据的预测结果确定第一目标损失；以及响应于训练数据包含所述混合标签数据，根据部分所述教师模型和所述多任务处理模型对所述混合标签数据的预测结果确定第二目标损失。
[0010]在本专利技术的另一个实施例中，根据每个所述教师模型和所述多任务处理模型对所述无标签数据的预测结果确定第一目标损失包括：根据每个所述教师模型和所述多任务处理模型对所述无标签数据的预测结果构造第一蒸馏损失，并根据所述第一蒸馏损失确定所述第一目标损失，以基于所述第一蒸馏损失引导所述多任务处理模型学习每个所述教师模型。
[0011]在本专利技术的再一个实施例中，根据部分所述教师模型和所述多任务处理模型对所述混合标签数据的预测结果以及已标注的任务标签确定第二目标损失包括：将标注有部分标签的数据分别输入至所述多任务处理模型和用于执行所述数据缺失标签对应任务的教师模型中进行预测，并基于预测结果构造第二蒸馏损失；以及计算所述多任务处理模型对所述混合标签数据的预测结果与对应的已标注的任务标签之间的交叉熵损失，并根据所述第二蒸馏损失和所述交叉熵损失确定所述第二目标损失。
[0012]在本专利技术的又一个实施例中，基于所述目标损失对所述多任务处理模型进行优化训练包括：利用所述教师模型和所述多任务处理模型针对所述无标签数据所确定的第一目标损失和针对所述混合标签数据所确定第二目标损失，对所述多任务处理模型进行优化训练。
[0013]在本专利技术的一个实施例中，获取关于所述多任务处理模型的多个教师模型包括：获取关于每一类文本分析任务的带标签训练数据；以及利用所述每一类文本分析任务的带标签训练数据微调基础语言模型，以得到对应的执行所述每一类文本分析任务的教师模型。
[0014]在本专利技术的另一个实施例中，其中所述多类文本分析任务包括多音字分析任务、分词分析任务以及韵律分析任务，所述基础语言模型包括bert
‑
base模型。
[0015]在本专利技术的再一个实施例中，其中所述训练数据还包括多任务数据，所述多任务数据中的数据标注有全部任务的标签，所述方法还包括：利用所述多任务数据对所述多任务处理模型进行微调处理。
[0016]在本专利技术的又一个实施例中，其中所述多任务处理模型应用于电子设备，所述方法还包括：获取所述电子设备的资源配置；以及根据所述资源配置优化所述多任务处理模型。
[0017]在本专利技术的一个实施例中，根据所述资源配置优化所述多任务处理模型包括：根据所述资源配置调整所述教师模型和/或多任务处理模型的模型架构；和/或根据所述资源配置调整所述多类文本分析任务的任务数量和/或任务执行优先级。
[0018]在本专利技术实施方式的第二方面中，提出了一种语音合成的方法，包括：获取训练好的多任务处理模型，其中，所述多任务处理模型是经由权利要求1～10中任一项所述的方法
训练得到的；利用所述多任务处理模型对所获取的文本进行多任务文本分析处理，以得到预测结果；以及基于所述多任务处理模型的预测结果确定所述文本的语音合成结果。
[0019]在本专利技术实施方式的第三方面中，提供了一种电子设备，包括：处理器；以及存储器，其存储有训练多任务处理模型的计算机指令或者语音合成的计算机指令，当所述计算机指令由所述处理器运行时，使得所述电子设备执行根据前文以及下文多个实施例所述的方法。
[0020]在本专利技术实施方式的第四方面中，提供了一种计算机可读存储介质，包含训练多任务处理模型的程序指令或者语音合成的程序指令，当所述程序指令由处理器执行时，使得实现根据前文以及下文多个实施例所述的方法。
[0021]根据本专利技术实施方式的训练多任务处理模型的方法及相关产品，结合训练数据和多个支持单一类文本分析任务的教师模型来巧妙地训练多任务处理模型，以基于训练出的多任务处理模型实现对语音合成中多类文本分析任务的处理。由此，本申请的方案通过多任务处理模型的训练以使其可以同时应用在多个任务上，打破了传统的流水线组合分析方式，不仅节省了文本分析本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种训练多任务处理模型的方法，其特征在于，包括：获取关于所述多任务处理模型的训练数据和多个教师模型，其中，所述多任务处理模型配置为执行语音合成中的多类文本分析任务，每个所述教师模型配置为执行单一类所述文本分析任务；基于所述教师模型和所述多任务处理模型针对所述训练数据的预测结果，确定关于所述多任务处理模型的目标损失；以及基于所述目标损失对所述多任务处理模型进行优化训练。2.根据权利要求1所述的方法，其特征在于，其中，所述训练数据包括无标签数据和混合标签数据，所述混合标签数据中的数据至少标注有部分任务的标签，确定关于所述多任务处理模型的目标损失包括：响应于训练数据包含所述无标签数据，根据每个所述教师模型和所述多任务处理模型对所述无标签数据的预测结果确定第一目标损失；以及响应于训练数据包含所述混合标签数据，根据部分所述教师模型和所述多任务处理模型对所述混合标签数据的预测结果确定第二目标损失。3.根据权利要求2所述的方法，其特征在于，根据每个所述教师模型和所述多任务处理模型对所述无标签数据的预测结果确定第一目标损失包括：根据每个所述教师模型和所述多任务处理模型对所述无标签数据的预测结果构造第一蒸馏损失，并根据所述第一蒸馏损失确定所述第一目标损失，以基于所述第一蒸馏损失引导所述多任务处理模型学习每个所述教师模型。4.根据权利要求2所述的方法，其特征在于，根据部分所述教师模型和所述多任务处理模型对所述混合标签数据的预测结果以及已标注的任务标签确定第二目标损失包括：将标注有部分标签的数据分别输入至所述多任务处理模型和用于执行所述数据缺失标签对应任务的教师模型中进行预测，并基于预测结果构造第二蒸馏损失；以及计算所述多任务处理模型对所述混合标签数据的预测结果与对应的已标注的任务标签之间的交叉熵损失，并根据所述...
【专利技术属性】
技术研发人员：陈汉英，孙艳庆，段亦涛，
申请(专利权)人：网易有道信息技术北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。