异常文本识别模型训练方法及异常文本识别方法技术

本说明书提供异常文本识别模型训练方法及异常文本识别方法，其中异常文本识别模型训练方法包括：获取训练集，从训练集中取出至少一个初始样本文本；确定各初始样本文本的文本标签，得到携带有文本标签的目标样本文本，并将目标样本文本添加至初始样本集中，得到目标样本集；根据目标样本集，对初始识别模型进行训练，得到目标识别模型；确定目标样本集为初始样本集，确定目标识别模型为初始识别模型，继续执行从训练集中取出至少一个初始样本文本的步骤，在达到第一训练停止条件时，将训练好的目标识别模型确定为异常文本识别模型。本方案不仅可以减少标记的样本数，缩短训练时间，还能让提高异常文本识别的效率。还能让提高异常文本识别的效率。还能让提高异常文本识别的效率。

【技术实现步骤摘要】
异常文本识别模型训练方法及异常文本识别方法


[0001]本说明书涉及计算机
，特别涉及一种异常文本识别模型训练方法和一种异常文本识别方法。本说明书同时涉及一种异常文本识别模型训练装置，一种异常文本识别装置，一种计算设备，以及一种计算机可读存储介质。

技术介绍

[0002]随着移动互联网的蓬勃发展，智能教育也得到了快速发展，智能教育中以解题任务最受欢迎。解题任务是指给出题目，例如数学应用题、判断题、填空题、选择题等，解题平台或系统会返回正确答案。由于题目的质量问题会严重影响解题任务的执行，需要对检测出解题任务中题目的质量问题或者异常输入。
[0003]现有技术中，通过主要无监督方法训练出一个进行异常检测的分类模型，但其主要的问题是检测效果不理想，在分类过程中，输出的概率与异常输入没有绝对的关系，检测的精确率与召回率都不高；而通过监督方法训练出一个进行异常检测的分类模型，需要大量的人工标注，人工成本高。因此，亟需一种有效的方案以解决上述问题。

技术实现思路

[0004]有鉴于此，本说明书实施例提供了一种异常文本识别模型训练方法和一种异常文本识别方法。本说明书同时涉及一种异常文本识别模型训练装置，一种异常文本识别装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
[0005]根据本说明书实施例的第一方面，提供了一种异常文本识别模型训练方法，包括：
[0006]获取训练集，从所述训练集中取出至少一个初始样本文本；
[0007]确定各初始样本文本的文本标签，得到携带有文本标签的目标样本文本，并将所述目标样本文本添加至初始样本集中，得到目标样本集；
[0008]根据所述目标样本集，对初始识别模型进行训练，得到目标识别模型；
[0009]确定所述目标样本集为初始样本集，确定所述目标识别模型为初始识别模型，继续执行所述从所述训练集中取出至少一个初始样本文本的步骤，在达到第一训练停止条件时，将训练好的目标识别模型确定为异常文本识别模型。
[0010]根据本说明书实施例的第二方面，提供了一种异常文本识别方法，包括：
[0011]获取待识别文本，其中，所述待识别文本携带有表征文本类型的文本标识；
[0012]基于所述文本标识对所述待识别文本进行转换处理，得到转换结果；
[0013]将所述转换结果进行编码处理，得到所述转换结果对应的向量表示；
[0014]对所述向量表示进行分类，得到分类结果，并根据所述分类结果，确定所述待识别文本是否为异常文本。
[0015]根据本说明书实施例的第三方面，提供了一种异常文本识别模型训练装置，包括：
[0016]第一获取模块，被配置为获取训练集，从所述训练集中取出至少一个初始样本文本；
[0017]第一确定模块，被配置为确定各初始样本文本的文本标签，得到携带有文本标签的目标样本文本，并将所述目标样本文本添加至初始样本集中，得到目标样本集；
[0018]第一训练模块，被配置为根据所述目标样本集，对初始识别模型进行训练，得到目标识别模型；
[0019]第二确定模块，被配置为确定所述目标样本集为初始样本集，确定所述目标识别模型为初始识别模型，继续执行所述从所述训练集中取出至少一个初始样本文本的步骤，在达到第一训练停止条件时，将训练好的目标识别模型确定为异常文本识别模型。
[0020]根据本说明书实施例的第四方面，提供了一种异常文本识别装置，包括：
[0021]第二获取模块，被配置为获取待识别文本，其中，所述待识别文本携带有表征文本类型的文本标识；
[0022]转换模块，被配置为基于所述文本标识对所述待识别文本进行转换处理，得到转换结果；
[0023]编码模块，被配置为将所述转换结果进行编码处理，得到所述转换结果对应的向量表示；
[0024]分类模块，被配置为对所述向量表示进行分类，得到分类结果，并根据所述分类结果，确定所述待识别文本是否为异常文本。
[0025]根据本说明书实施例的第五方面，提供了一种计算设备，包括：
[0026]存储器和处理器；
[0027]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
[0028]获取训练集，从所述训练集中取出至少一个初始样本文本；
[0029]确定各初始样本文本的文本标签，得到携带有文本标签的目标样本文本，并将所述目标样本文本添加至初始样本集中，得到目标样本集；
[0030]根据所述目标样本集，对初始识别模型进行训练，得到目标识别模型；
[0031]确定所述目标样本集为初始样本集，确定所述目标识别模型为初始识别模型，继续执行所述从所述训练集中取出至少一个初始样本文本的步骤，在达到第一训练停止条件时，将训练好的目标识别模型确定为异常文本识别模型；
[0032]或者，
[0033]获取待识别文本，其中，所述待识别文本携带有表征文本类型的文本标识；
[0034]基于所述文本标识对所述待识别文本进行转换处理，得到转换结果；
[0035]将所述转换结果进行编码处理，得到所述转换结果对应的向量表示；
[0036]对所述向量表示进行分类，得到分类结果，并根据所述分类结果，确定所述待识别文本是否为异常文本。
[0037]根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述异常文本识别模型训练方法或所述异常文本识别方法的步骤。
[0038]本说明书提供的异常文本识别模型训练方法，获取训练集，从所述训练集中取出至少一个初始样本文本；确定各初始样本文本的文本标签，得到携带有文本标签的目标样本文本，并将所述目标样本文本添加至初始样本集中，得到目标样本集；根据所述目标样本
集，对初始识别模型进行训练，得到目标识别模型；确定所述目标样本集为初始样本集，确定所述目标识别模型为初始识别模型，继续执行所述从所述训练集中取出至少一个初始样本文本的步骤，在达到第一训练停止条件时，将训练好的目标识别模型确定为异常文本识别模型。通过从训练集中取出少量的初始样本文本，进行标注，确定文本标签，得到目标样本文本，主动学习的方法根据目标样本文本对初始识别模型进行迭代训练，而大大减小所需标记的样本数，减少了人工成本，也缩短了训练时间。而基于携带文本标签的目标样本文本对初始识别模型进行迭代训练，采用有监督的训练方法，可以提高异常文本识别模型的识别效率和准确率。
附图说明
[0039]图1是本说明书一实施例提供的一种异常文本识别模型训练方法的流程图；
[0040]图2是本说明书一实施例提供的一种异常文本识别模型的结构示意图；
[0041]图3是本说明书一实施例提供的另一种异常文本识别模型的结构示意图；
[0042]图4是本说明书一实施例提供的一种异常文本识别模型训练方法的训练过程示意图；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常文本识别模型训练方法，其特征在于，包括：获取训练集，从所述训练集中取出至少一个初始样本文本；确定各初始样本文本的文本标签，得到携带有文本标签的目标样本文本，并将所述目标样本文本添加至初始样本集中，得到目标样本集；根据所述目标样本集，对初始识别模型进行训练，得到目标识别模型；确定所述目标样本集为初始样本集，确定所述目标识别模型为初始识别模型，继续执行所述从所述训练集中取出至少一个初始样本文本的步骤，在达到第一训练停止条件时，将训练好的目标识别模型确定为异常文本识别模型。2.根据权利要求1所述的方法，其特征在于，所述从所述训练集中取出至少一个初始样本文本，包括：根据预设的识别难度策略，确定所述训练集中各初始样本文本的识别难度；根据所述训练集中各初始样本文本的识别难度，从所述训练集中取出至少一个初始样本文本。3.根据权利要求2所述的方法，其特征在于，所述根据预设的识别难度策略，确定所述训练集中各初始样本文本的识别难度，包括：根据预设的熵函数，确定所述训练集中各初始样本文本的熵；根据所述熵，确定各初始样本文本的识别难度。4.根据权利要求3所述的方法，其特征在于，所述根据预设的熵函数，确定所述训练集中各初始样本文本的熵，包括：针对所述训练集中的任一初始样本文本，将该初始样本文本输入至所述初始识别模型中，得到该初始样本文本的预测输出结果；根据预设的所述熵函数，对所述预测输出结果进行计算，得到该初始样本文本的熵。5.根据权利要求2
‑
4任意一项所述的方法，其特征在于，所述根据所述训练集中各初始样本文本的识别难度，从所述训练集中取出至少一个初始样本文本，包括：将所述训练集中各初始样本文本按照识别难度从大到小进行排列；从所述训练集中取出排列前N个的初始样本文本，其中，N为正整数。6.根据权利要求1
‑
4任意一项所述的方法，其特征在于，所述根据所述目标样本集，对初始识别模型进行训练，得到目标识别模型，包括：从所述目标样本集中选取任一目标样本文本，将该目标样本文本输入所述初始识别模型，得到该目标样本文本的第一预测结果；根据所述第一预测结果和该目标样本文本的文本标签，计算损失值；根据所述损失值调整所述初始识别模型的模型参数，继续执行所述从所述目标样本集中选取任一目标样本文本的步骤，在达到第二训练停止条件时，将训练好的初始识别模型确定为目标识别模型。7.根据权利要求6所述的方法，其特征在于，所述初始识别模型包括输入转换层、编码层和分类输出层；所述训练集中包含多种文本类型的初始样本文本，不同文本类型的初始样本文本携带的文本标识不同；所述将该目标样本文本输入所述初始识别模型，得到该目标样本文本的第一预测结果，包括：
基于该目标样本文本携带的文本标识，将该目标样本文本输入至所述输入转换层进行转换处理，得到转换结果；将所述转换结果输入至所述编码层进行编码处理，得到所述转换结果对应的向量表示；将所述向量表示输入至所述分类输出层进行分类处理，得到第一预测结果。8.根据权利要求1
‑
4任意一项所述的方法，其特征在于，所述根据所述目标样本集，对初始识别模型进行训练，得到目标识别模型之前，还包括：获取初始样本集，其中，所述初始样本集中包含多个携带有文本标签的目标样本文本；从所述初始样本集中选取任一目标样本文本，将该目标样本文本输入预设的第一分类模型，得到该目标样本文本的第二预测结果；根据所述第二预测结果和该目标样本文本的文本标签，计算第一差异值；根据所述第一差异值调整所述第一分类模型的模型参数，继续执行所述从所述初始样本集中选取任一目标样本文本的步骤，在达到第三训练停止条件时，将训练好的第一分类模型确定为初始识别模型。9.根据权...

【专利技术属性】
技术研发人员：刘洋，赵薇，柳景明，
申请(专利权)人：北京飞象星球科技有限公司，
类型：发明
国别省市：