口语理解模型的训练方法和装置制造方法及图纸

本申请提供了一种口语理解模型的训练方法和装置，涉及人工智能领域以及自然语言理解领域。该方法包括：根据目标小语种的无标注语料和多语言的预训练语言模型，确定预训练语言模型的嵌入层权重参数，该预训练语言模型采用双向编码器的架构；根据至少一个大语种的已标注语料和该预训练语言模型，确定预训练语言模型的编码层权重参数；采用该嵌入层权重参数对该预训练语言模型的嵌入层进行初始化，采用该编码层权重参数对该预训练语言模型的编码层进行初始化，获得目标小语种的口语理解模型。上述口语理解模型的训练方法和装置能够在获得基于特定小语种的口语理解模型的同时，提高该口语理解模型的准确性，从而提升该小语种的口语理解任务的性能。口语理解任务的性能。口语理解任务的性能。

【技术实现步骤摘要】
口语理解模型的训练方法和装置


[0001]本申请涉及人工智能领域，更具体地，涉及一种口语理解模型的训练方法和装置。

技术介绍

[0002]在人工智能领域中，人机对话系统中的口语理解任务至关重要。口语理解任务主要包括两个子任务，意图识别以及槽位填充，通过口语理解模型来实现。具体而言，要让机器理解用户的表达，首先要确定用户话语中表达出来的意图，然后将用户的意图转化为机器能够识别的明确的指令，以便机器按照该指令执行相应操作。因此，意图识别和槽位填充的准确性对整个对话系统的质量具有非常重要的影响。
[0003]随着国际化发展趋势的加快，口语理解任务需要支持多种不同的语言，这就要求口语理解模型能够基于多种不同的语言执行口语理解任务。现有技术中的口语理解模型在对目标语言进行训练时，需要收集和标注大量目标语言的语料，若目标语言是小语种，收集和标注大量该小语种的语料是比较困难的，若直接利用少量该小语种的语料进行训练，其训练效果往往不够准确。

技术实现思路

[0004]本申请提供了一种口语理解模型的训练方法和装置，能够在获得基于特定小语种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种口语理解模型的训练方法，其特征在于，包括：根据目标小语种的无标注语料和基于多语言的预训练语言模型，确定所述预训练语言模型的嵌入层权重参数，所述预训练语言模型采用双向编码器的架构；根据至少一个大语种的已标注语料和所述预训练语言模型，确定所述预训练语言模型的编码层权重参数；采用所述嵌入层权重参数对所述预训练语言模型的嵌入层进行初始化，采用所述编码层权重参数对所述预训练语言模型的编码层进行初始化，获得所述目标小语种的口语理解模型。2.根据权利要求1所述的方法，其特征在于，所述根据目标小语种的无标注语料和基于多语言的预训练语言模型，确定所述预训练语言模型的嵌入层权重参数，包括：冻结所述预训练语言模型的原始编码层权重参数；将所述无标注语料输入至所述预训练语言模型进行训练，获得所述嵌入层权重参数。3.根据权利要求1或2所述的方法，其特征在于，所述根据至少一个大语种的已标注语料和所述预训练语言模型，确定所述预训练语言模型的编码层权重参数，包括：冻结所述预训练语言模型的原始嵌入层权重参数；将所述已标注语料输入至所述预训练语言模型进行训练，获得所述编码层权重参数。4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述获得所述目标小语种的口语理解模型之后，所述方法还包括：根据所述目标小语种的有标注语料，对所述目标小语种的口语理解模型进行微调，获得所述目标小语种的新的口语理解模型。5.一种口语理解模型的训练装置，其特征在于，包括：确定模块，用于根据目标小语种的无标注语料和基于多...

【专利技术属性】
技术研发人员：祝官文，王宝军，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：