模型处理方法、装置、设备及存储介质制造方法及图纸

本申请公开一种模型处理方法、装置、设备及存储介质，方法包括：获取目标训练样本，目标训练样本包括：样本文本、样本文本的标注类别标签及类别判别依据；获取任务描述指令，任务描述指令指示：根据多个类别标签对输入文本进行类别审核，并生成输入文本的类别标签和类别判别依据；基于任务描述指令和目标训练样本，构建训练指令文本；基于训练指令文本对目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型，以通过该文本审核模型自动化地对任一文本进行类别审核，并输出相应的类别标签及类别判别依据，这样可使得文本审核具有可解释性，从而提升文本审核结果的可信度。度。度。

【技术实现步骤摘要】
模型处理方法、装置、设备及存储介质


[0001]本申请涉及互联网
，具体涉及人工智能领域，尤其涉及一种模型处理方法、装置、设备及存储介质。

技术介绍

[0002]随着人工智能技术的不断发展，文本审核技术被提出，该文本审核技术是一种对文本进行类别审核的技术。目前，通常是采用分类模型来实现文本审核的，其原理大致是：针对待审核的任一文本而言，调用分类模型预测该文本属于预设的各个类别标签所指示类别的概率，从而将预测出的最大概率所对应的类别标签作为该文本的类别标签。由此可见，基于分类模型所实现的文本审核，只能预测得到待审核的文本的类别标签，这样容易使得文本审核结果的可信度较低。

技术实现思路

[0003]本申请实施例提供一种模型处理方法、装置、设备及存储介质，可以得到一个文本审核模型，并基于文本审核模型实现自动化的文本审核，使得文本审核具有可解释性，从而提升文本审核结果的可信度。
[0004]一方面，本申请实施例提供了一种模型处理方法，包括：获取目标语言模型的目标训练样本，所述目标训练样本包括：样本文本、相应样本文本的标注类别标签以及相应的类别判别依据；其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的；获取所述目标语言模型的任务描述指令；所述任务描述指令用于指示：根据所述多个类别标签对输入文本进行类别审核，并生成所述输入文本的类别标签和相应的类别判别依据；基于所述任务描述指令和所述目标训练样本，构建用于训练所述目标语言模型的训练指令文本；其中，所述目标训练样本中的样本文本作为输入文本，位于所述训练指令文本中；基于所述训练指令文本对所述目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型；所述文本审核模型用于对输入的任一文本进行类别审核，并输出相应的类别标签以及类别判别依据。
[0005]一方面，本申请实施例提供了一种模型处理装置，包括：获取单元，用于获取目标语言模型的目标训练样本，所述目标训练样本包括：样本文本、相应样本文本的标注类别标签以及相应的类别判别依据；其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的；所述获取单元，还用于获取所述目标语言模型的任务描述指令；所述任务描述指令用于指示：根据所述多个类别标签对输入文本进行类别审核，并生成所述输入文本的类别标签和相应的类别判别依据；
处理单元，用于基于所述任务描述指令和所述目标训练样本，构建用于训练所述目标语言模型的训练指令文本；其中，所述目标训练样本中的样本文本作为输入文本，位于所述训练指令文本中；所述处理单元，还用于基于所述训练指令文本对所述目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型；所述文本审核模型用于对输入的任一文本进行类别审核，并输出相应的类别标签以及类别判别依据。
[0006]一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括输入接口和输出接口，所述计算机设备还包括：处理器以及计算机存储介质；其中，所述处理器适于实现一条或多条指令，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行上述所提及的模型处理方法。
[0007]一方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行上述所提及的模型处理方法。
[0008]一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括一条或多条指令；所述计算机程序产品中的一条或多条指令被处理器执行时，实现上述所提及的模型处理方法。
[0009]本申请实施例中，可以获取包括了样本文本、相应样本文本的标注类别标签以及相应的类别判别依据的目标训练样本，以及获取任务描述指令，其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的，任务描述指令用于指示：根据多个类别标签对输入文本进行类别审核，并生成输入文本的类别标签和相应的类别判别依据。然后，可以基于任务描述指令和目标训练样本，构建用于训练目标语言模型的训练指令文本，基于训练指令文本对目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型，使得在调用文本审核模型自动化地对输入的任一文本进行类别审核时，可以基于文本生成的方式，生成并输出该文本的类别标签以及相应的类别判别依据，以通过输出的类别判别依据解释出将该文本判别为相应类别标签所指示类别的原因，使得文本审核具有可解释性，从而提升文本审核结果的可信度。
附图说明
[0010]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1是本申请实施例提供的一种transformer结构层的示意图；图2a是本申请实施例提供的一种终端和服务器之间的交互示意图；图2b是本申请实施例提供的另一种终端和服务器之间的交互示意图；图3是本申请实施例提供的一种模型处理方法的流程示意图；图4是本申请实施例提供的一种构建训练指令文本的示意图；
图5a是本申请实施例提供的一种训练目标语言模型的示意图；图5b是本申请实施例提供的另一种训练目标语言模型的示意图；图6是本申请实施例提供的又一种训练目标语言模型的示意图；图7是本申请另一实施例提供的再一种训练目标语言模型的示意图；图8是本申请实施例提供的另一种模型处理方法的流程示意图；图9是本申请实施例提供的一种构建样本集的示意图；图10是本申请实施例提供的一种基于审核结果页面调整审核结果的示意图；图11是本申请实施例提供的一种训练得到文本审核模型的示意图；图12是本申请实施例提供的一种模型处理装置的结构示意图；图13是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0012]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0013]本申请实施例基于AI（Artificial Intelligence，人工智能）技术提出一种模型处理方案，通过该模型处理方案可以实现对语言模型进行训练，进而可以采用训练后的语言模型来预测待审核的文本的类别标签，并输出将文本判别为相应类别标签所指示类别的类别判别依据，使得文本审核具有较高的可解释性，从而提升文本审核结果的可信度。
[0014]AI技术是指利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，其企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，使得智能机器具有感知、推理与决策等多种功本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型处理方法，其特征在于，包括：获取目标语言模型的目标训练样本，所述目标训练样本包括：样本文本、相应样本文本的标注类别标签以及相应的类别判别依据；其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的；获取所述目标语言模型的任务描述指令；所述任务描述指令用于指示：根据所述多个类别标签对输入文本进行类别审核，并生成所述输入文本的类别标签和相应的类别判别依据；基于所述任务描述指令和所述目标训练样本，构建用于训练所述目标语言模型的训练指令文本；其中，所述目标训练样本中的样本文本作为输入文本，位于所述训练指令文本中；基于所述训练指令文本对所述目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型；所述文本审核模型用于对输入的任一文本进行类别审核，并输出相应的类别标签以及类别判别依据。2.如权利要求1所述的方法，其特征在于，所述训练指令文本是对所述任务描述指令和所述目标训练样本进行整合所得到的一个文本；所述基于所述训练指令文本对所述目标语言模型进行模型训练，包括：对所述训练指令文本进行分词处理，得到N个词，N为正整数；按照所述N个词的排列顺序，采用所述N个词中的前N
‑
1个词，构建模型输入数据；并采用所述N个词中除首个词以外的N
‑
1个词，构建所述模型输入数据对应的标签数据；调用所述目标语言模型对所述模型输入数据进行逐词预测处理，得到预测数据；所述预测数据包括预测出的N
‑
1个词，且所述预测数据中的第n个词是根据所述模型输入数据中的前n个词预测出的，n∈[1，N
‑
1]；根据所述标签数据和所述预测数据之间的差异，优化所述目标语言模型的模型参数，以实现对所述目标语言模型的模型训练。3.如权利要求2所述的方法，其特征在于，所述根据所述标签数据和所述预测数据之间的差异，优化所述目标语言模型的模型参数，以实现对所述目标语言模型的模型训练，包括：根据所述标签数据和所述预测数据，计算所述预测数据中的各个词对应的损失值；其中，所述预测数据中的第n个词对应的损失值用于指示：所述预测数据中的第n个词和所述标签数据中的第n个词之间的差异；对所述预测数据中的各个词对应的损失值进行整合，得到所述目标语言模型的模型损失值；按照减小所述模型损失值的方向，优化所述目标语言模型的模型参数，以实现对所述目标语言模型的模型训练。4.如权利要求1所述的方法，其特征在于，所述基于所述任务描述指令和所述目标训练样本，构建用于训练所述目标语言模型的训练指令文本，包括：将所述任务描述指令和所述目标训练样本中的样本文本整合成一个文本，得到第一文本；将所述目标训练样本中的标注类别标签和所述目标训练样本中的类别判别依据整合
成一个文本，得到第二文本；采用所述第一文本和所述第二文本，构建用于训练所述目标语言模型的训练指令文本。5.如权利要求4所述的方法，其特征在于，所述基于所述训练指令文本对所述目标语言模型进行模型训练，包括：调用所述目标语言模型根据所述训练指令文本中的第一文本，对所述目标训练样本中的样本文本进行类别审核，得到类别审核结果；所述类别审核结果包括：生成的相应样本文本的类别标签，以及相应的类别判别依据；根据所述类别审核结果与所述训练指令文本中的第二文本之间的差异，优化所述目标语言模型的模型参数，以实现对所述目标语言模型的模型训练。6.如权利要求1所述的方法，其特征在于，所述目标训练样本是从样本集中获取到的一个训练样本，所述样本集的构建方式包括：获取所述目标语言模型的多个训练样本，一个训练样本包括：一个样本文本和相应样本文本的标注信息；任一样本文本的标准信息包括相应样本文本的标注类别标签以及相应的类别判别依据；其中，任一训练样本中的标注类别标签是从所述多个类别标签中选取出的；从所述多个训练样本包括的样本文本中，选取至少一个样本文本；分别对选取出的各个样本文本进行数据增强处理，得到P个新文本，P为正整数；一个新文本对应一个样本文本，任一新文本与对应的样本文本之间具有相同的语义；将每个新文本对应的样本文本的标注信息，作为相应新文本的标注信息；并将所述每个新文本均作为新的样本文本，采用所述P个新文本和相应的标注信息，构建P个新的训练样本；采用所述多个训练样本以及所述P个新的训练样本，构建得到所述样本集。7.如权利要求6所述的方法，其特征在于，所述从所述多个训练样本包括的样本文本中，选取至少一个样本文本，包括：基于所述多个训练样本，统计所述多个类别标签中的每个类别标签的样本数；任一类别标签的样本数是指：所述多个训练样本中包含所述任一类别标签的训练样本的数量；根据所述每个类别标签的样本数，从所述多个类别标签中确定出尾部类别标签；所述尾部类别标签是指：小于数量阈值的样本数所对应的类别标签；从包含所述尾部类别标签的训练样本包括的样本文本中，选取至少一个样本文本。8.如权利要求6所述的方法，其特征在于，所述分别对选取出的各个样本文本进行数据增强处理，得到P个新文本，包括：获取...

【专利技术属性】
技术研发人员：陈春全，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：