自然语言处理模型的训练方法和装置制造方法及图纸

本申请公开了自然语言处理模型的训练方法和装置，涉及深度学习和自然语言处理技术领域。具体实现方案为：根据已获取到的自然语言处理的元模型集合，生成衍生模型，并将多个衍生模型作为元模型添加至元模型集合中，增加元模型集合中的模型数量，以备后续对元模型集合进行元训练；之后，根据经过训练的元模型的性能参数，对元模型集合中的元模型进行筛选，从而得到性能良好的元模型进行自然语言处理任务的适配训练。由于该方案采用了对元模型进行丰富后再筛选的方式，使得筛选保留的元模型性能得到提升，从而无论适配训练涉及何种领域或语种，在后续对应领域或语种的自然语言处理任务上均得到较为准确的处理结果。

Training methods and devices for NLP models

【技术实现步骤摘要】
自然语言处理模型的训练方法和装置
本申请涉及人工智能
，具体涉及深度学习和自然语言处理
，尤其涉及自然语言处理模型的训练方法和装置。
技术介绍
在自然语言处理
中，在一些场景下，对模型进行训练，使得模型对特定语种完成语义理解、翻译、问答等任务，一旦切换了语种进行训练，则执行效果不佳；在另一些场景下，可使模型完成特定领域的语义理解、翻译、问答等任务，若对该模型进行其他领域的相似任务训练，使其用于其他领域执行这类任务，同样出现了执行效果不佳的问题。可见现有的自然语言处理模型应用场景受限。
技术实现思路
提供了一种自然语言处理模型的训练方法和装置。根据第一方面，提供了一种自然语言处理模型的训练方法，通过将多个衍生模型添加到元模型集合中，使元模型集合数量扩大，并且根据元模型的性能参数对元模型进行筛选，筛选出性能较佳的元模型进行自然语言处理任务的适配训练，由于该方案采用了对元模型进行丰富后再筛选的方式，使得筛选保留的元模型性能得到提升，从而在对筛选保留的元模型进行所需领域或语种的适配训练后执行对应领域或语种的自然语言处理任务时，不会受限于自然语言处理任务的领域或语种。无论适配训练涉及何种领域或语种，在后续对应领域或语种的自然语言处理任务上均得到较为准确的处理结果。本申请第二方面提出了一种自然语言处理模型的训练装置。本申请第三方面提出了一种电子设备。本申请第四方面提出了一种存储有计算机指令的非瞬时计算机可读存储介质。本申请第一方面实施例提出了一种自然语言处理模型的训练方法，包括：获取自然语言处理的元模型集合；根据所述元模型集合，生成衍生模型，并将所述衍生模型作为元模型添加至所述元模型集合中；对所述元模型集合进行元训练，以确定所述元模型集合中经过训练的每一元模型的性能参数；根据所述性能参数，对所述元模型集合中的元模型进行筛选，以将筛选保留的元模型进行自然语言处理任务的适配训练，得到用以执行所述自然语言处理任务的适配模型。本申请实施例的自然语言处理模型的训练方法，通过获取自然语言处理的元模型集合；根据所述元模型集合，生成衍生模型，并将所述衍生模型作为元模型添加至所述元模型集合中；对所述元模型集合进行元训练，以确定所述元模型集合中经过训练的每一元模型的性能参数；根据所述性能参数，对所述元模型集合中的元模型进行筛选，以将筛选保留的元模型进行自然语言处理任务的适配训练，得到用以执行所述自然语言处理任务的适配模型。该方法通过将多个衍生模型添加到元模型集合中，使元模型集合数量扩大，并且根据元模型的性能参数对元模型进行筛选，筛选出性能较佳的元模型进行自然语言处理任务的适配训练，从而使适配训练结果不需要反向传递至元训练过程，也能达到较优的训练结果，有效地提高了训练效率。同时，由于该方案采用了对元模型进行丰富后再筛选的方式，使得筛选保留的元模型性能得到提升，从而在对筛选保留的元模型进行所需领域或语种的适配训练后执行对应领域或语种的自然语言处理任务时，不会受限于自然语言处理任务的领域或语种。无论适配训练涉及何种领域或语种，在后续对应领域或语种的自然语言处理任务上均得到较为准确的处理结果。本申请第二方面实施例提出了一种自然语言处理模型的训练装置，包括：获取模块，用于获取自然语言处理的元模型集合；生成模块，用于根据所述元模型集合，生成衍生模型，并将所述衍生模型作为元模型添加至所述元模型集合中；训练模块，用于对所述元模型集合进行元训练，以确定所述元模型集合中经过训练的每一元模型的性能参数；筛选模块，用于根据所述性能参数，对所述元模型集合中的元模型进行筛选，以将筛选保留的元模型进行自然语言处理任务的适配训练，得到用以执行所述自然语言处理任务的适配模型。本申请第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的自然语言处理模型的训练方法。本申请第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如上所述的自然语言处理模型的训练方法。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请第一实施例的示意图；图2是根据本申请第二实施例的示意图；图3是根据本申请实施例的元模型执行多轮迭代训练过程的示意图；图4是根据本申请第三实施例的示意图；图5是根据本申请第四实施例的示意图；图6是用来实现本申请实施例的自然语言处理模型的训练方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。下面参考附图描述本申请实施例的自然语言处理模型的训练方法和装置。图1是根据本申请第一实施例的示意图。其中，需要说明的是，本申请实施例的执行主体为自然语言处理模型的训练装置，自然语言处理模型的训练装置具体可以为硬件设备，或者硬件设备中的软件等。本申请实施例的自然语言处理模型的训练方法可应用于自然语言处理任务，提高对多语种、多领域的处理能力，使得自然语言处理任务执行的效果得到提升，得到更加准确的处理结果。如图1所示，自然语言处理模型的训练方法具体实现过程如下：步骤101，获取自然语言处理的元模型集合。在本申请实施例中，自然语言处理模型的训练装置可预先建立多个元模型，并将多个元模型组成元模型集合。其中，元模型可为实现自然语言处理的模型。比如，元模型可实现语义理解、翻译、问答等。步骤102，根据元模型集合，生成衍生模型，并将衍生模型作为元模型添加至元模型集合中。为了扩大元模型集合中元模型的数量，在本申请实施例中，可对元模型集合内的元模型，更新模型参数的初始值，以生成衍生模型，并将生成的多个衍生模型作为元模型添加至元模型集合中。也就是说，可对元模型集合内的元模型的模型参数进行初始化，并利用不同增值方式，生成该元模型对应的衍生模型，并将生成的多个衍生模型作为元模型添加至元模型集合中。作为一种示例，从元模型集合中，选取两个元模型；交换两个元模型中部分模型参数的初始值，以得到至少两个衍生模型，并将生成的多个衍生模型作为元模型添加至元模型集合中。也就是说，可模拟自然界中两性繁殖的方式，从元模型集合中随机选取两个元模型，接着，将两个元模型中的部分参数的初始值进行交换，可获取两个元模型对应的衍生模型，本文档来自技高网...

【技术保护点】
1.一种自然语言处理模型的训练方法，所述方法包括：/n获取自然语言处理的元模型集合；/n根据所述元模型集合，生成衍生模型，并将所述衍生模型作为元模型添加至所述元模型集合中；/n对所述元模型集合进行元训练，以确定所述元模型集合中经过训练的每一元模型的性能参数；/n根据所述性能参数，对所述元模型集合中的元模型进行筛选，以将筛选保留的元模型进行自然语言处理任务的适配训练，得到用以执行所述自然语言处理任务的适配模型。/n

【技术特征摘要】
1.一种自然语言处理模型的训练方法，所述方法包括：
获取自然语言处理的元模型集合；
根据所述元模型集合，生成衍生模型，并将所述衍生模型作为元模型添加至所述元模型集合中；
对所述元模型集合进行元训练，以确定所述元模型集合中经过训练的每一元模型的性能参数；
根据所述性能参数，对所述元模型集合中的元模型进行筛选，以将筛选保留的元模型进行自然语言处理任务的适配训练，得到用以执行所述自然语言处理任务的适配模型。


2.根据权利要求1所述的训练方法，其中，所述根据所述元模型集合，生成衍生模型，包括：
对所述元模型集合内的元模型，更新模型参数的初始值，以生成所述衍生模型。


3.根据权利要求2所述的训练方法，其中，所述对所述元模型集合内的元模型，更新所述模型参数的初始值，以生成所述衍生模型，包括：
从所述元模型集合中，选取两个元模型；
交换所述两个元模型中部分所述模型参数的初始值，以得到至少两个衍生模型。


4.根据权利要求2所述的训练方法，其中，所述对所述元模型集合内的元模型，更新所述模型参数的初始值，以生成所述衍生模型，包括：
针对每一个所述元模型，将所述模型参数的初始值多次叠加噪声，以根据每一次叠加噪声得到的模型参数，生成对应的一个所述衍生模型。


5.根据权利要求4所述的训练方法，其中，所述针对每一个所述元模型，将所述模型参数的初始值多次叠加噪声，包括：
针对每一次叠加噪声，根据本次叠加噪声的元模型中各模型参数的设定噪声方差，确定各所述模型参数的随机高斯噪声值；
将每一所述模型参数的随机高斯噪声值与对应的所述初始值叠加，以得到叠加噪声的各所述模型参数；
根据叠加噪声的各所述模型参数，生成对应的所述衍生模型。


6.根据权利要求1-5任一项所述的训练方法，其中，所述对所述元模型集合进行元训练，包括：
从多个任务的训练样本中随机选定各轮迭代训练过程的目标训练样本；
对所述元模型集合中的一个元模型执行多轮迭代训练过程。


7.根据权利要求6所述的训练方法，其中，所述对所述元模型集合中的每一个元模型执行多轮迭代训练过程，包括：
获取所述元模型对应的代理，其中，所述代理包括推理器和适配器；
采用所述代理，根据各轮的所述目标训练样本，对所述元模型执行多轮迭代训练过程，其中，每一轮迭代训练过程包括：所述推理器根据本轮的所述目标训练样本指示的输入文本和本轮采用的元模型，生成本轮的预测文本；所述适配器获取本轮预测文本的反馈信息，以及根据所述反馈信息、本轮的预测文本和本轮的输入文本，更新本轮采用的元模型的模型参数，以得到下一轮采用的元模型。


8.根据权利要求7所述的训练方法，其中，所述确定所述元模型集合中经过训练的每一元模型的性能参数，包括：
根据每一元模型在执行各轮所述迭代训练过程中的所述反馈信息，生成每一元模型的性能参数。


9.根据权利要求1-5任一项所述的训练方法，其中，所述将筛选保留的元模型进行自然语言处理任务的适配训练，包括：
获取自然语言处理任务的多个训练样本；
对所述筛选保留的元模型，获取对应的代理，其中，所述代理包括推理器和适配器；
采用所述代理，对所述筛选保留的元模型根据目标任务的训练样本，执行多轮迭代训练过程；
其中，每一轮迭代训练过程包括：所述推理器根据本轮的目标训练样本指示的输入文本和本轮采用的元模型，生成本轮的预测文本；所述适配器获取本轮预测文本的反馈信息，以及根据所述反馈信息、本轮的预测文本和本轮的输入文本，更新本轮采用的元模型的模型参数，以得到下一轮采用的元模型。


10.一种自然语言处理模型的训练装置，所述装置包括：
获取模块，用于获取自然语言处理的元模型集合；
生成模块，用于根据所...

【专利技术属性】
技术研发人员：王凡，田浩，方晓敏，何径舟，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11