预训练语言模型的构建方法、装置、电子终端及存储介质制造方法及图纸

本发明专利技术实施例公开了一种预训练语言模型的构建方法、装置、电子终端及存储介质，该方法包括：获取对话数据；根据各预训练任务的任务要求对对话数据进行处理，得到训练数据以及训练数据在各预训练任务下的标签数据；各预训练任务包括：全词掩码预测任务、角色预测任务、轮次内顺序互换预测任务和轮次间顺序互换预测任务；基于训练数据确定语言模型的输入数据，通过语言模型对输入数据执行各预训练任务，得到各执行结果；根据各执行结果以及训练数据在各预训练任务下的标签数据，对语言模型进行训练，得到预训练语言模型；预训练语言模型用于对对话数据进行编码。可提高预训练模型针对对话数据的处理性能。话数据的处理性能。话数据的处理性能。

【技术实现步骤摘要】
预训练语言模型的构建方法、装置、电子终端及存储介质


[0001]本专利技术实施例涉及机器学习技术，尤其涉及一种预训练语言模型的构建方法、装置、电子终端及存储介质。

技术介绍

[0002]对话系统在自然语言处理应用中扮演着重要的作用，可广泛应用于金融、通信、电子商务等领域的智能语音服务中。口语语言理解是对话系统的重要组件，用于从用户询问语句中获取关键的语义信息，例如可实现意图识别、实体识别和情绪识别等众多细分任务。
[0003]现有技术中，可将构建完成的预训练语言模型(PTM，pre
‑
trained language model)，在口语语言理解的各细分任务上再次训练调整，以用于执行各细分任务。现有的PTM常基于已有的大规模数据集、采用常规的自监督任务进行训练构建，其针对多角色、多轮次的对话数据的处理性能有待提升。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种预训练语言模型的构建方法、装置、电子终端及存储介质，能够提高预训练语言模型在对话数据上的处理性能。
[0005]第一方面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种预训练语言模型的构建方法，其特征在于，包括：获取对话数据；所述对话数据包括多轮对话内容，且每轮对话内容与参与对话的一个对话角色对应；根据各预训练任务的任务要求对所述对话数据进行处理，得到训练数据以及所述训练数据在所述各预训练任务下的标签数据；所述各预训练任务包括：全词掩码预测任务、角色预测任务、轮次内顺序互换预测任务和轮次间顺序互换预测任务；基于所述训练数据确定语言模型的输入数据，通过所述语言模型对所述输入数据执行所述各预训练任务，得到各执行结果；根据所述各执行结果以及所述训练数据在所述各预训练任务下的标签数据，对所述语言模型进行训练，得到预训练语言模型；所述预训练语言模型用于对对话数据进行编码。2.根据权利要求1所述的方法，其特征在于，所述根据各预训练任务的任务要求对所述对话数据进行处理，包括：根据全词掩码预测任务的任务要求，基于预设词典从所述对话数据中选择待掩码字符，并对所述待掩码字符进行掩码处理；根据角色预测任务的任务要求，对所述对话数据中所述每轮对话内容间进行添加角色分隔符处理；根据轮次内顺序互换预测任务的任务要求，对所述对话数据中至少一轮的对话内容进行轮次内语句互换处理；根据轮次间顺序互换预测任务的任务要求，将所述对话数据中至少两轮的对话内容进行轮次间对话内容互换处理。3.根据权利要求2所述的方法，其特征在于，得到所述训练数据在所述各预训练任务下的标签数据，包括：将所述待掩码字符，作为所述训练数据在所述全词掩码预测任务下的标签数据；将所述每轮对话内容对应的对话角色，作为所述训练数据在所述角色预测任务下的标签数据；根据是否进行所述轮次内语句互换处理，设置所述训练数据中每轮对话内容在所述轮次内顺序互换预测任务下的标签数据；将所述训练数据中每轮对话内容在所述对话数据中的轮次，作为所述训练数据中每轮对话内容在所述轮次间顺序互换预测任务下的标签数据。4.根据权利要求1所述的方法，其特征在于，所述基于所述训练数据确定语言模型的输入数据，包括：对所述训练数据中的各字符进行编码，得到所述各字符的第一编码；将所述训练数据中每轮对话内容的首字符的第一编码，作为所述训练数据的每轮对话内容中所述各字符的第二编码；对所述训练数据中的各字符的位置信息进行编码，得到所述各字符的第三编码；根据所述各字符的第一编码、第二编码和第三编码，确定所述语言模型的输入数据。5.根据权利要求1所述的方法，其特征在于，所述语言模型包括编码器以及与所述全词...

【专利技术属性】
技术研发人员：黄健，郭林海，张琛，万化，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：