一种文本分类模型的鲁棒性评估方法、装置及可读介质制造方法及图纸

本申请公开了一种文本分类模型的鲁棒性评估方法、装置及可读介质，其中文本分类模型的鲁棒性评估方法，包括获取原始测试集，通过原始测试集生成新测试集，根据原始测试集和新测试集对文本分类模型进行测试，获取第一测试指标结果和第二测试指标结果；根据所述第一测试指标结果与第二测试指标结果评估文本分类模型的鲁棒性。本申请实施例提出的文本分类模型的鲁棒性测试方法，采用文本生成模型增加了针对模型鲁棒性的测试数据，能够更全面地测试模型识别的稳定性。在生成鲁棒性测试数据过程中，通过文本相似度的偏移度筛选，在保证生成的新测试文本与原始测试文本的偏离程度不会过大，同时又加强了鲁棒性测试数据的质量。同时又加强了鲁棒性测试数据的质量。同时又加强了鲁棒性测试数据的质量。

【技术实现步骤摘要】
一种文本分类模型的鲁棒性评估方法、装置及可读介质


[0001]本申请涉及自然语言处理领域，具体涉及一种文本分类模型的鲁棒性评估方法、装置及可读介质。

技术介绍

[0002]文本分类是自然语言处理领域的一个基础任务，已经有较为稳定的模型训练和测试方案。最常见的测试方式为从文本分类任务所用的已标注数据集中按比例拆分成训练集和测试集，用此份测试集的标签与模型预测的标签对比，得到模型的准确率等测试结果。这样分割的测试集虽然能够一定程度地反映出模型的识别率，却不能很好的测试出模型的鲁棒性。

技术实现思路

[0003]本申请的目的在于至少能解决上述现有技术中的技术问题之一。
[0004]第一方面，本申请的实施例提供了一种文本分类模型的鲁棒性评估方法，所述方法包括以下步骤：获取原始测试集，所述原始测试集包括一定数量的原始测试文本；每个原始测试文本通过文本生成模型生成N个不同的新测试文本，筛选出其中与对应原始测试文本相似度最高的前M个新测试文本，并标注与对应的原始测试文本相同的标签；使用原始测试集对文本分类模型进行测试，筛选出识别正确的原始测试文本，并获得第一测试指标结果；从新测试文本中筛选出与识别正确的原始测试文本相对应的新测试文本，组成新测试集；使用新测试集对文本分类模型进行测试，获得第二测试指标结果；根据第一测试指标结果与第二测试指标结果的差值，评估文本分类模型的鲁棒性。
[0005]在一些实施例中，对所述文本分类模型进行测试时，测试指标包括准确率、召回率、精准率和F1中的至少一种。
[0006]在一些实施例中，所述根据第一测试指标结果与第二测试指标结果的差值，评估文本分类模型的鲁棒性，包括：计算所述第一测试指标结果与所述第二测试指标结果的差值，所述差值越小，所述文本分类模型的鲁棒性越好。
[0007]第二方面，本申请的实施例提供了另一种文本分类模型的鲁棒性评估方法，所述方法包括以下步骤：获取原始测试集，所述原始测试集包括一定数量的原始测试文本；使用原始测试集对文本分类模型进行测试，筛选出识别正确的原始测试文本，并获得第一测试指标结果；每个识别正确的原始测试文本通过文本生成模型生成N个不同的新测试文本，筛选出其中与对应原始测试文本相似度最高的前M个新测试文本，并标注与对应的原始测试文本相同的标签，组成新测试集；使用新测试集对文本分类模型进行测试，获得第二测试指标结果；根据第一测试指标结果与第二测试指标结果的差值，评估文本分类模型的鲁棒性。
[0008]在一些实施例中，对所述文本分类模型进行测试时，测试指标包括准确率、召回率、精准率和F1中的至少一种。
[0009]在一些实施例中，所述根据第一测试指标结果与第二测试指标结果的差值，评估
文本分类模型的鲁棒性，包括：计算所述第一测试指标结果与所述第二测试指标结果的差值，所述差值越小，所述文本分类模型的鲁棒性越好。
[0010]第三方面，本申请的实施例提供了一种文本分类模型的鲁棒性评估装置，包括：原始测试集获取模块，用于获取原始测试集；文本生成模块，用于根据原始测试集生成新测试集；文本分类模型测试模块，用于根据原始测试集和新测试集对文本分类模型进行测试，获取第一测试指标结果和第二测试指标结果；鲁棒性评估模块，用于根据所述第一测试指标结果与第二测试指标结果评估文本分类模型的鲁棒性
[0011]第四方面，本申请的实施例提供了一种电子设备，所述存储器被配置用于存储计算机程序，所述计算机程序在由所述处理器执行时，使得所述处理器执行如上任一实现方式所述的文本分类模型的鲁棒性评估方法。
[0012]第五方面，本申请的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上任一实现方式所述的文本分类模型的鲁棒性评估方法。
[0013]相比于现有技术，本申请具有以下有益效果：
[0014]本申请实施例提出的文本分类的模型鲁棒性测试方法，与现有技术中的数据集按比例切分成测试集进行模型测试的单一方法相比，采用文本生成模型增加了针对模型鲁棒性的测试数据，能够更全面地测试模型识别的稳定性。在生成鲁棒性测试数据过程中，通过文本相似度的偏移度筛选，在保证生成的新测试文本与原始测试文本的偏离程度不会过大，同时又加强了鲁棒性测试数据的质量。在此份鲁棒性测试数据上的测试结果更能反映出模型在少量字眼的变化时识别的准确率和鲁棒性。
附图说明
[0015]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本申请的一实施例的文本分类模型的鲁棒性评估方法的流程示意图；
[0017]图2为本申请的另一实施例的文本分类模型的鲁棒性评估方法的流程示意图。
具体实施方式
[0018]为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0019]图1示出了可以应用本申请实施例的一种文本分类模型的鲁棒性评估方法的流程示意图，在本申请实施例中的文本分类模型的鲁棒性评估方法包括以下步骤：
[0020]步骤S11：获取原始测试集，所述原始测试集包括一定数量的原始测试文本；
[0021]具体的，获取一定数量的原始测试文本，组成原始测试集，原始测试文本为带有标签的句子文本，优选的，组成原始测试集的原始测试文本的数量在10000条以上。
[0022]步骤S12：每个原始测试文本通过文本生成模型生成N个不同的新测试文本，筛选出其中与对应原始测试文本相似度最高的前M个新测试文本，并标注与对应的原始测试文本相同的标签；
[0023]具体的，在通过文本生成模型对原始测试集进行处理，以生成新的测试文本时，可以将原始测试集中的各原始测试文本进行预处理和分词后得到向量表征，并将各条数据的向量表征输入到文本生成模型中，以生成新的测试文本；在具体实施时，可以先通过Word2vec对各原始测试文本进行处理，以得到各原始测试文本的向量表征，然后采用seq2seq框架作为文本生成模型框架。seq2seq包含编码器和解码器两个部分，编码器和解码器可以选择Transformer、循环神经网络或卷积神经网络等。编码器先将输入的各条数据的向量表征编码成一个语义向量，作为编码器的输出。解码器基于编码器的输出和其初始输入或之前已解码的部分序列解码并采样出下一个字词。优选的，可以采用Top
‑
k采样法，即预先选出概率最大的k个字词，然后仅从这k个字词中采样。k的取值取决于经验或调参，例如可以选择k＝5。Top
‑
k采样法将概率较低本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本分类模型的鲁棒性评估方法，其特征在于，所述方法包括以下步骤：获取原始测试集，所述原始测试集包括一定数量的原始测试文本；每个原始测试文本通过文本生成模型生成N个不同的新测试文本，筛选出其中与对应原始测试文本相似度最高的前M个新测试文本，并标注与对应的原始测试文本相同的标签；使用原始测试集对文本分类模型进行测试，筛选出识别正确的原始测试文本，并获得第一测试指标结果；从新测试文本中筛选出与识别正确的原始测试文本相对应的新测试文本，组成新测试集；使用新测试集对文本分类模型进行测试，获得第二测试指标结果；根据第一测试指标结果与第二测试指标结果的差值，评估文本分类模型的鲁棒性。2.根据权利要求1所述的文本分类模型的鲁棒性评估方法，其特征在于，对所述文本分类模型进行测试时，测试指标包括准确率、召回率、精准率和F1中的至少一种。3.根据权利要求1所述的文本分类模型的鲁棒性评估方法，其特征在于，所述根据第一测试指标结果与第二测试指标结果的差值，评估文本分类模型的鲁棒性，包括：计算所述第一测试指标结果与所述第二测试指标结果的差值，所述差值越小，所述文本分类模型的鲁棒性越好。4.一种文本分类模型的鲁棒性评估方法，其特征在于，所述方法包括以下步骤：获取原始测试集，所述原始测试集包括一定数量的原始测试文本；使用原始测试集对文本分类模型进行测试，筛选出识别正确的原始测试文本，并获得第一测试指标结果；每个识别正确的原始测试文本通过文本生成模型生成N个不同的新测试文本，筛选出其中与对应原始测试文本相似度...

【专利技术属性】
技术研发人员：李依宁，肖龙源，李稀敏，李威，
申请(专利权)人：厦门快商通科技股份有限公司，
类型：发明
国别省市：