文本错误检测模型的评测方法及装置制造方法及图纸

本公开涉及一种文本错误检测模型的评测方法及装置，其中，该方法通过对第一错误文本进行错误检测，粗粒度地定位文本错误检测模型无法识别的第一错误类型；接着，通过对包含第一错误类型的子类型的种类更多的第二错误文本进行错误检测，从而细粒度地定位作文错误检测模型无法识别的子错误类型。本方案通过两次错误注入，能够准确、快速地定位文本错误检测模型无法识别的错误类型，且通过本实施例的方案获取的错误类型精确度较高。另外，本方案能够自动执行，无需人工参与，因此，能够有效提高文本错误检测模型的评测效率。文本错误检测模型的评测效率。文本错误检测模型的评测效率。

【技术实现步骤摘要】
文本错误检测模型的评测方法及装置


[0001]本公开涉及计算机
，尤其涉及一种文本错误检测模型的评测方法及装置。

技术介绍

[0002]随着人工智能（artificial intelligence，AI）技术的不断发展，AI已被广泛应用于各行各业，例如，金融、医疗、安防、教育等等。其中，在“AI+教育”场景中，利用AI进行智能的文本错误检测是重要的应用场景之一。实际应用中，通常会将预先训练好的文本错误检测模型部署于线上，对用户上传或输入的文本进行错误检测。然而，由于训练集的数据有限性等影响因素，训练集的样本可能无法覆盖全部错误类型，文本错误检测模型可能无法有效识别文本中包含的某些错误类型的错误。因此，需要查找文本错误检测模型无法识别的错误类型，这对于优化文本错误检测模型的性能具有重大意义。
[0003]传统的方式是通过人工将标注数据与文本错误检测模型输出的错误检测结果进行对比，从而确定文本错误检测模型无法识别的错误类型。由于人工处理具有一定的主观性，因此，确定的文本错误检测模型无法识别的错误类型的准确度较低。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种文本错误检测模型的评测方法及装置。
[0005]第一方面，本公开提供了一种文本错误检测模型的评测方法，根据文本错误检测模型对第一错误文本进行错误检测，获取所述文本错误检测模型无法识别的第一错误类型；根据所述文本错误检测模型对第二错误文本进行错误检测，获取所述文本错误检测模型无法识别的第一目标子类型；其中，所述第二错误文本中包含的第一候选子类型的种类多于所述第一错误文本中包含的第一候选子类型的种类，所述第一候选子类型为所述第一错误类型的子类型；所述第一目标子类型为所述第一候选子类型中的一个或者多个。
[0006]在一些可能的设计中，所述方法还包括：所述第二错误文本包含的第一候选子类型的错误数据占比多于所述第一错误文本中包含的第一候选子类型的错误数据占比。
[0007]在一些可能的设计中，所述第一错误文本的数量小于所述第二错误文本的数量。
[0008]在一些可能的设计中，所述根据文本错误检测模型对第一错误文本进行错误检测，获取所述文本错误检测模型无法识别的第一错误类型之前，还包括：根据所述文本错误检测模型无法识别的历史数据在标准文本集合中进行匹配，获取匹配成功的第一文本；在所述标准文本集合包括的与所述历史数据不匹配的文本中进行随机抽取，获取
第二文本；根据预设转换规则对所述第一文本和所述第二文本进行转换，获取所述第一错误文本。
[0009]在一些可能的设计中，所述根据所述文本错误检测模型对第二错误文本进行错误检测，获取所述文本错误检测模型无法识别的第一目标子类型，包括：根据所述文本错误检测模型对所述第二错误文本进行错误检测，获取第二错误文本对应的错误检测结果；将所述第二错误文本对应的错误检测结果与第二错误文本对应的标准错误数据信息进行对比，获取第二错误文本对应的对比结果；对所述第二错误文本对应的对比结果进行错词分类，获取所述第一目标子类型。
[0010]在一些可能的设计中，所述对所述第二错误文本对应的对比结果进行错词分类，获取所述第一目标子类型，包括：将所述第二错误文本对应的对比结果输入至预先训练好的错词分类模型中，获取所述错词分类模型输出的第一目标子类型；其中，所述错词分类模型用于对所述对比结果中的错误数据进行词性分析，获取所述对比结果中包含的第一目标子类型。
[0011]在一些可能的设计中，所述方法还包括：根据所述文本错误检测模型对所述第i错误文本进行错误检测，获取所述文本错误检测模型无法识别的第i
‑
1目标子类型，所述i的初始值为3；其中，所述第i错误文本中包含的第i
‑
1候选子类型的种类多于第i
‑
1错误文本中包含的第i
‑
1候选子类型的种类，所述第i
‑
1候选子类型为第i
‑
2目标子类型的子类型；所述第i
‑
1目标子类型为所述第i
‑
1候选子类型中的一个或者多个；更新i=i+1，直至更新后的所述i等于N；其中，N为大于或等于4的整数。
[0012]在一些可能的设计中，所述预设转换规则包括以下一项或多项：随机字符替换、随机插入、随机删除、基于光学字符识别OCR的错误替换、基于自动语音识别技术ASR的错误替换、键盘错误替换、随机置换。
[0013]在一些可能的设计中，所述方法还包括：根据最后一次错误检测确定的目标子类型，对所述文本错误检测模型进行优化。
[0014]第二方面，本公开实施例还提供了一种文本错误检测模型的评测装置，包括：处理模块，用于根据文本错误检测模型对第一错误文本进行错误检测，获取所述文本错误检测模型无法识别的第一错误类型；所述处理模块，还用于根据所述文本错误检测模型对第二错误文本进行错误检测，获取所述文本错误检测模型无法识别的第一目标子类型；其中，所述第二错误文本中包含的第一候选子类型的种类多于所述第一错误文本中包含的第一候选子类型的种类，所述第一候选子类型为所述第一错误类型的子类型；所述第一目标子类型为所述第一候选子类型中的一个或者多个。
[0015]第三方面，本公开实施例还提供了一种电子设备，包括：存储器、处理器以及计算机程序指令；所述存储器，被配置为存储所述计算机程序指令；所述处理器，被配置为执行所述计算机程序指令，所述处理器执行所述计算机程
序指令，以实现如第一方面任一项所述的文本错误检测模型的评测方法。
[0016]第四方面，本公开实施例还提供一种可读存储介质，包括：计算机程序指令；所述计算机程序指令被处理器执行时，以实现如第一方面任一项所述的文本错误检测模型的评测方法。
[0017]本公开实施例提供一种文本错误检测模型的评测方法及装置，其中，该方法包括：根据文本错误检测模型对第一错误文本进行错误检测，获取所述文本错误检测模型无法识别的第一错误类型；根据文本错误检测模型对第二错误文本进行错误检测，获取所述文本错误检测模型无法识别的第一目标子类型；其中，所述第二错误文本中包含的第一候选子类型的种类多于所述第一错误文本中包含的第一候选子类型的种类，所述第一候选子类型为所述第一错误类型的子类型；所述第一目标子类型为所述第一候选子类型中的一个或者多个。
[0018]本公开实施例提供的技术方案与现有技术相比至少具有如下优点：1、本方案通过对第一错误文本进行错误检测，粗粒度地定位文本错误检测模型无法识别的第一错误类型；接着，通过对包含第一错误类型的子类型的种类更多的第二错误文本进行错误检测，从而细粒度地定位作文错误检测模型无法识别的子错误类型。本方案通过两次错误注入，能够准确、快速地定位文本错误检测模型无法识别的错误类型，且该错误类型精确度较高。2、本方案能够自动执行，无需人工参与，因此，能够有效提高文本错误检测模型的评测效率。
...

【技术保护点】

【技术特征摘要】
1.一种文本错误检测模型的评测方法，其特征在于，包括：根据文本错误检测模型对第一错误文本进行错误检测，获取所述文本错误检测模型无法识别的第一错误类型；根据所述文本错误检测模型对第二错误文本进行错误检测，获取所述文本错误检测模型无法识别的第一目标子类型；其中，所述第二错误文本中包含的第一候选子类型的种类多于所述第一错误文本中包含的第一候选子类型的种类，所述第一候选子类型为所述第一错误类型的子类型；所述第一目标子类型为所述第一候选子类型中的一个或者多个。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述第二错误文本包含的第一候选子类型的错误数据占比多于所述第一错误文本中包含的第一候选子类型的错误数据占比。3.根据权利要求1所述的方法，其特征在于，所述第一错误文本的数量小于所述第二错误文本的数量。4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据文本错误检测模型对第一错误文本进行错误检测，获取所述文本错误检测模型无法识别的第一错误类型之前，还包括：根据所述文本错误检测模型无法识别的历史数据在标准文本集合中进行匹配，获取匹配成功的第一文本；在所述标准文本集合包括的与所述历史数据不匹配的文本中进行随机抽取，获取第二文本；根据预设转换规则对所述第一文本和所述第二文本进行转换，获取所述第一错误文本。5.根据权利要求1所述的方法，其特征在于，所述根据所述文本错误检测模型对第二错误文本进行错误检测，获取所述文本错误检测模型无法识别的第一目标子类型，包括：根据所述文本错误检测模型对所述第二错误文本进行错误检测，获取第二错误文本对应的错误检测结果；将所述第二错误文本对应的错误检测结果与第二错误文本对应的标准错误数据信息进行对比，获取第二错误文本对应的对比结果；对所述第二错误文本对应的对比结果进行错词分类，获取所述第一目标子类型。6.根据权利要求5所述的方法，其特征在于，所述对所述第二错误文本对应的对比结果进行错词分类，获取所述第一目标子类型，包括：将所述第二错误文本对应的对比结果输入至预先训练好的错词分类模型中，获取所述错词分类模型输出的第一目标子类型；其中，所述错词分类模型用于对所述对比结果中的错误数据进行词性分析，获取所述对比结果中包含的第一目标子类型。7.根据权利要求1所述的方法，其...

【专利技术属性】
技术研发人员：赵明，田科，吴中勤，
申请(专利权)人：北京世纪好未来教育科技有限公司，
类型：发明
国别省市：