文本处理模型的训练方法、文本处理方法及相关设备技术

本申请公开了一种文本处理模型的训练方法、文本处理方法及相关设备，所述训练方法包括：获取第一样本文本及其对应的任务标签，任务标签用于表示第一样本文本在目标文本处理任务下对应的目标处理结果；在第一样本文本包含的第一目标词语所在位置前后分别增加实体标签，第一目标词语为表示实体的词语；对第一目标词语进行掩码处理，得到样本文本对应的掩码文本；通过目标语言模型对样本文本对应的掩码文本进行词语预测，得到第一目标词语对应的预测词语；基于第一目标词语对应的预测词语，对第一样本文本进行数据增强处理，得到第一样本文本对应的增强文本；基于第一样本文本及其对应的增强文本及任务标签，训练文本处理模型。型。型。

【技术实现步骤摘要】
文本处理模型的训练方法、文本处理方法及相关设备


[0001]本申请涉及自然语言处理
，尤其涉及一种文本处理模型的训练方法、文本处理方法及相关设备。

技术介绍

[0002]数据增强是一种提升模型泛化能力和数据有效性的有效策略。在自然语言处理 (Natural Language Processing，NLP)领域，数据增强的目的是在不改变语义的前提下扩充文本数据。
[0003]目前在NLP场景下，通常对样本文本中表示实体的词语替换为同义词或者表示相同类型实体的词语，得到对应的增强文本，然后利用样本文本及其对应的增强文本训练相应的文本处理模型。但是，这种方式得到的增强文本较为片面，甚至与样本文本的语义相去甚远，并不能很好地提升文本处理模型的训练效果，进而影响文本处理模型的准确性和泛化能力。

技术实现思路

[0004]本申请实施例的目的提供一种文本处理模型的训练方法、文本处理方法及相关设备，用于解决目前在文本处理模型的训练过程中获得的增强文本片面而导致训练出的文本处理模型的准确性和泛化能力不佳的问题。
[0005]为了实现上述目的，本申请实施例采用下述技术方案：
[0006]第一方面，本申请实施例提供一种文本处理模型的训练方法，包括：
[0007]获取用于训练文本处理模型的第一样本文本和所述第一样本文本对应的任务标签，所述任务标签用于表示所述第一样本文本在目标文本处理任务下对应的目标处理结果；
[0008]在第一样本文本包含的第一目标词语所在位置前后分别增加实体标签，所述第一目标词语为表示实体的词语；
[0009]对所述第一目标词语进行掩码处理，得到所述第一样本文本对应的掩码文本；
[0010]通过目标语言模型对所述第一样本文本对应的掩码文本进行词语预测，得到所述第一目标词语对应的预测词语；
[0011]基于所述第一目标词语对应的预测词语，对所述第一样本文本进行数据增强处理，得到所述第一样本文本对应的增强文本；
[0012]基于所述第一样本文本、所述增强文本以及所述第一样本文本对应的任务标签，训练所述文本处理模型。
[0013]本申请实施例提供的文本处理模型的训练方法，利用目标语言模型的语义理解和词语预测能力，通过对用于训练文本处理模型的第一样本文本中表示实体的第一目标词语进行掩码处理，由目标语言模型基于掩码处理后所的掩码文本(也即目标词语的上下文)对第一目标词语进行语义理解后，对该掩码文本进行词语预测，也即预测第一目标词语所在
位置处可能的词语，所得的预测词语更丰富，且能够较好地切合第一目标词语在其所属的第一样本文本中的语义；进一步，基于第一目标词语所在位置对应的预测词语，对第一样本文本进行数据增强处理，得到的增强文本更全面、且能够更好地切合第一样本文本的语义，在第一样本文本的基础上结合这类增强文本训练文本处理模型，有利于提升文本处理模型的训练效果，从而提高文本处理模型的准确性和泛化能力；在此基础上，通过在第一样本文本中第一目标词语所在位置前后分别增加实体标签，可以确保第一目标词语与实体标签相匹配，使得第一目标语言模型能够更加容易学习和掌握第一目标词语的边界信息，有利于目标语言模型更加准确地理解掩码文本的语义而能够更准确地对第一目标词语所在位置进行词语预测，得到的预测词语能够更好地切合第一目标词语在第一样本文本中的语义，从而有利于提高增强文本的全面性及其与第一样本文本的语义的切合度。
[0014]第二方面，本申请实施例提供一种文本处理方法，包括：
[0015]获取待处理文本；
[0016]通过文本处理模型对所述待处理文本执行目标文本处理任务，得到所述待处理文本对应的文本处理结果；其中，所述文本处理模型为基于第一方面所述的训练方法训练得到。
[0017]本申请实施例提供的文本处理方法，由于本申请实施例的文本处理模型的训练方法训练得到的文本处理模型具有较高的准确性和较优的泛化能力，利用该文本处理模型对待处理文本进行处理，有利于提高文本处理准确性。
[0018]第三方面，本申请实施例提供一种文本处理模型的训练装置，包括：
[0019]获取单元，用于获取用于训练文本处理模型的第一样本文本和所述第一样本文本对应的任务标签，所述任务标签用于表示所述第一样本文本在目标文本处理任务下对应的目标处理结果；
[0020]文本处理单元，用于在第一样本文本包含的第一目标词语所在位置前后分别增加实体标签，所述第一目标词语为表示实体的词语；
[0021]所述文本处理单元，还用于对所述第一目标词语进行掩码处理，得到所述第一样本文本对应的掩码文本；
[0022]预测单元，用于通过目标语言模型对所述第一样本文本对应的掩码文本进行词语预测，得到所述第一目标词语对应的预测词语；
[0023]数据增强单元，用于基于所述第一目标词语对应的预测词语，对所述第一样本文本进行数据增强处理，得到所述第一样本文本对应的增强文本；
[0024]训练单元，基于所述第一样本文本、所述增强文本以及所述第一样本文本对应的任务标签，训练用于执行目标文本处理任务的文本处理模型，其中，所述任务标签用于表示所述第一样本文本在所述目标文本处理任务下对应的目标处理结果。
[0025]第四方面，本申请实施例提供一种文本处理装置，包括：
[0026]获取单元，用于获取待处理文本；
[0027]任务执行单元，用于通过文本处理模型对所述待处理文本执行目标文本处理任务，得到所述待处理文本对应的文本处理结果；其中，所述文本处理模型为基于第一方面所述的训练方法训练得到。
[0028]第五方面，本申请实施例提供一种电子设备，包括：处理器；用于存储所述处理器
可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的方法；或者，所述处理器被配置为执行所述指令，以实现如第二方面所述的方法。
[0029]第六方面，本申请实施例提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的方法；或者，使得电子设备能够执行如第二方面所述的方法。
附图说明
[0030]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0031]图1为本申请的一个实施例提供的一种文本处理模型的训练方法的流程示意图；
[0032]图2为本申请的一个实施例提供的一种获得增强文本的流程示意图；
[0033]图3为本申请的一个实施例提供的一种语言模型的训练方法的流程示意图；
[0034]图4为本申请的一个实施例提供的一种语言模型的训练过程示意图；
[0035]图5为本申请的一个实施例提供的一种文本处理方法的流程示意图；
[0036]图6为本申请的一个实施例提供的一种文本处理模型的训练装置的结构示意图；...

【技术保护点】

【技术特征摘要】
1.一种文本处理模型的训练方法，其特征在于，包括：获取用于训练文本处理模型的第一样本文本和所述第一样本文本对应的任务标签，所述任务标签用于表示所述第一样本文本在目标文本处理任务下对应的目标处理结果；在第一样本文本包含的第一目标词语所在位置前后分别增加实体标签，所述第一目标词语为表示实体的词语；对所述第一目标词语进行掩码处理，得到所述第一样本文本对应的掩码文本；通过目标语言模型对所述第一样本文本对应的掩码文本进行词语预测，得到所述第一目标词语对应的预测词语；基于所述第一目标词语对应的预测词语，对所述第一样本文本进行数据增强处理，得到所述第一样本文本对应的增强文本；基于所述第一样本文本、所述增强文本以及所述第一样本文本对应的任务标签，训练所述文本处理模型。2.根据权利要求1所述的方法，其特征在于，所述在第一样本文本包含的第一目标词语所在位置前后分别增加实体标签，包括：基于所述第一目标词语的字符顺序，在所述第一目标词语中每个字符所在位置前后分别增加该字符对应的实体标签。3.根据权利要求1所述的方法，其特征在于，所述基于所述第一目标词语对应的预测词语，对所述第一样本文本进行数据增强处理，得到所述第一样本文本对应的增强文本，包括：将所述第一样本文本中的所述第一目标词语替换为所述第一目标词语对应的预测词语，得到所述第一样本文本对应的增强文本。4.根据权利要求1所述的方法，其特征在于，在所述在第一样本文本包含的第一目标词语所在位置前后分别增加实体标签之前，所述方法还包括：将所述第一样本文本输入训练好的实体识别模型，得到实体识别结果，其中，所述实体识别结果包括所述第一样本文本中被识别为表示实体的候选词语和所述候选词语表示的实体类型；基于所述候选词语在所述第一样本文本中的上下文信息，对所述实体识别结果进行正确性校验；若所述实体识别结果通过正确性校验，则将所述候选词语确定为所述第一目标词语，以及将所述候选词语表示的实体类型对应的实体标签，确定为所述第一目标词语对应的实体标签。5.根据权利要求4所述的方法，其特征在于，在基于所述候选词语在所述第一样本文本中的上下文信息，对所述实体识别结果进行正确性校验之后，所述方法还包括：若所述候选词语通过正确性校验、所述候选词语表示的实体类型未通过正确性校验，则将所述候选词语确定为所述第一目标词语，以及基于所述候选词语和所述上下文信息，对所述候选词语表示的实体类型进行修正，并将修正后的实体类型对应的实体标签确定为所述第一目标词语对应的实体标签；若所述候选词语未通过正确性校验、所述候选词语表示的实体类型通过正确性校验，则基于所述候选实体表示的实体类型和所述上下文信息，对所述候选词语进行修正，得到
所述第一目标词语，以及将所述候选词语表示的实体类型对应的实体标签，确定为所述第一目标词语对应的实体标签。6.根据权利要求1所述的方法，其特征在于，在通过目标语言模型对所述掩码文本中所述第一目标词语进行词语预测之前，所述方法还包括：获取样本集，所述样本集包括多个第二样本文本；在第二样本文本i包含的第二目标词语所在位置前后分别增加实体标签，所述第二样本文本i为所述多个第二样本文本中的任一个第二样本文本，所述第二目标词语为表示实体的词语；对所述第二目标词语进行掩码处理，得到所述第二样本文本i对应的掩码文本；通过待训练的语言模型，对所述第二样本文本i对应的掩码文本进行词语预测，得到所述第二目标词语对应的预测词语；基于所述样本集中每个第二样本文本包含的第二目标词语以及所述第二目标词语对应的预测词语，调整所述待训练的语言模型的模型参数，以得到所述目标语言模型。7.根据权利要求6所述的方法，其特征在于，所述在第二样本文本i包含的第二目标词语所在位置前后分别增加实体标签，包括：基于所述第二样本文本i包含的第二目标词语的字符顺序，在所述第二样本文本i包含的第二目标词语中每个字符所在位置前后分别增加该字符对应的实体标签。8.根据权利要求6所述的方法，其特征在于，所述基于所述样本集中每个第二样本文本包含的第二目标词语以及所述第二目标词语对应的预测词语，调整所述待训练的语言模型的模型参数，包括：基于所述第二样本文本i包含的第二目标词语以及所述第二目标词语对应的...

【专利技术属性】
技术研发人员：杨森，蒋宁，肖冰，李宽，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：