【技术实现步骤摘要】
一种模型训练方法、装置和用于模型训练的装置
[0001]本专利技术涉及计算机
，尤其涉及一种模型训练方法、装置和用于模型训练的装置。
技术介绍
[0002]目前，预训练语言模型发展突飞猛进。预训练可以通过自监督学习从大规模数据中获得与具体任务无关的预训练语言模型，然后将预训练语言模型从大规模数据中学习到的知识迁移到任务模型中，采用任务模型进行任务处理。
[0003]然而，由于目前采用的预训练语言模型为通用领域的模型，并没有针对具体任务的预训练语言模型，基于通用领域的预训练语言模型迁移得到的任务模型，在处理具体任务时，模型性能较差，导致处理结果容易出现偏差，准确度不高。
技术实现思路
[0004]本专利技术实施例提供一种模型训练方法、装置和用于模型训练的装置，可以训练专门适用于预训练任务的语言模型，提升模型性能和准确度。
[0005]为了解决上述问题，本专利技术实施例公开了一种模型训练方法，所述方法包括：
[0006]获取训练数据，所述训练数据包括与预训练任务无关的第一训练数据，以...
【技术保护点】
【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：获取训练数据，所述训练数据包括与预训练任务无关的第一训练数据，以及与预训练任务相关的第二训练数据；将所述第一训练数据输入语言模型，基于所述预训练任务对所述语言模型进行预训练，得到候选语言模型；基于所述第二训练数据对所述候选语言模型进行调整，得到目标语言模型。2.根据权利要求1所述的方法，其特征在于，所述预训练任务包括文本顺滑任务，所述目标语言模型用于对文本数据进行顺滑处理。3.根据权利要求2所述的方法，其特征在于，所述将所述第一训练数据输入语言模型，基于所述预训练任务对所述语言模型进行预训练，得到候选语言模型，包括：获取所述第一训练数据的第一字符编码向量、第一拼音编码向量和第一位置编码向量；对所述第一字符编码向量、所述第一拼音编码向量和所述第一位置编码向量相加，得到第一输入编码向量；将所述第一输入编码向量输入语言模型，基于包括第一任务在内至少一项预训练任务对所述语言模型进行预训练，得到候选语言模型，所述第一任务用于预测所述第一训练数据中需要被顺滑的字符。4.根据权利要求3所述的方法，其特征在于，所述获取所述第一训练数据的第一字符编码向量、第一拼音编码向量和第一位置编码向量，包括：按照预设比例对所述第一训练数据中的字符进行遮蔽处理，得到遮蔽后的第一训练数据；对所述遮蔽后的第一训练数据进行编码处理，得到所述第一训练数据的第一字符编码向量、第一拼音编码向量和第一位置编码向量。5.根据权利要求4所述的方法，其特征在于，所述预训练任务还包括第二任务，所述第二任务用于预测所述第一训练数据中被遮蔽的字符。6.根据权利要求2所述的方法，其特征在于，所述训练数据还包括所述第二训练数据的顺滑标签，所述基于所述第二训练数据对所述候选语言模型进行调整，得到目标语言模型，包括：基于所述候选语言模型和双向长短记忆网络对所述第二训练数据进行处理，得到所述候选语言模型输出的第一隐层向量以及所述双向长短记忆网络输出的第二隐层向量；对所述第一隐层向量和所述第二隐层向量进行拼接，得到第三隐层向量；将所述第三隐层向量输入至全连接网络层进行预测处理，得到所述第二训练数据对应的预测结果；根据所述预测结果和所述第二训练数据的顺滑标签，对所述候选语言模型进行调整，直至所述候选语言模型的损失值满足收敛条件，得到目标语言模型。7.根据权利要求6所述的方法，其特征在于，所述基于所述候选语言模型和双向长短记忆网络对所述第二训练数据进行处理，得到所述候选语言模型输出的第一隐层向量以及所述双向长短记忆网络输出的第二隐层向量，包括：获取所述第二训练数据的第二字符编码向量、第二拼音编码向量和第二位置编码向
量；对所述第二字符编码向量、所述第二拼音编码向量和所述第二位置编码向量相加，得到第二输入编码向量；将所述第二输入编码向量输入至所述候选语言模型中进行处理，得到所述候选语言模型输出的第一隐层向...
【专利技术属性】
技术研发人员：占吉清，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。