【技术实现步骤摘要】
本申请涉及文本检测模型的，具体地涉及一种文本检测模型的鲁棒性测试方法、装置、电子设备及存储介质。
技术介绍
1、事件检测旨从给定的文本中识别触发词并将它们分类为相应的事件类型，是自然语言处理中的一个重要的任务。随着人工智能的深入发展，机器学习、深度学习等技术在事件检测领域得到了更加深入的研究和应用。
2、然而当前事件检测方法都严重依赖于人工标注的数据，受限于数据集的高质量要求。在数据集存在样本分布不均衡、数据标注质量欠佳、对抗数据污染等问题时，模型有效性往往难以得到保证，缺乏鲁棒性，泛化能力较差，极大地制约了事件检测方法的通用应用能力。因此，对于文本事件检测模型的鲁棒性评估是一个亟需解决的技术问题。
3、本
技术介绍
描述的内容仅为了便于了解本领域的相关技术，不视作对现有技术的承认。
技术实现思路
1、因此，本专利技术实施例意图提供一种文本检测模型的鲁棒性测试方法、装置、电子设备及存储介质，用以直观的给出文本检测模型的鲁棒性。
2、在第一方面，本专利技术实施例提供了一种文本检测模型的鲁棒性测试方法，其特征在于，包括：构建鲁棒性测试数据集，其中，所述鲁棒性测试数据集用于对所述文本检测模型进行鲁棒性测试；构建鲁棒性评价指标；输出所述文本检测模型的鲁棒性测试结果，其中，所述测试结果包括所述文本检测模型的所述鲁棒性评价指标。
3、可选的，所述构建鲁棒性测试数据集包括：数据集准备、数据集预处理以及生成鲁棒性测试数据集；其中，数据集准备为收集初始数据
4、可选的，所述生成鲁棒性测试数据集为通过字词增加、字词删减、字词改写和字词重复中的至少一种方法生成所述鲁棒性测试数据集。
5、可选的，所述构建鲁棒性评价指标包括：准确率、精准率、召回率和f1分数中的至少一种。
6、可选的，所述构建鲁棒性评价指标包括所述本检测模型对不同类别鲁棒性数据集的分类能力，即准确率的下降率。
7、在本专利技术实施例中，在第二方面，本专利技术实施例提供了一种模型的鲁棒性检测装置，所述检测装置包括：初始数据获取模块，用于收集初始数据集；鲁棒性测试数据集生成模块，用于预处理所述初始数据集，并通过字词增加、字词删减、字词改写和字词重复中的至少一种方法生成鲁棒性测试数据集；鲁棒性指标生成模块；用于生成鲁棒性评价指标，所述鲁棒性评价指标包括：准确率、精准率、召回率和f1分数、对多事件类别检测的宏平均、准确率的下降率中的至少一种。鲁棒性测试模块，用于根据所述鲁棒性测试数据集对文本检测模型的鲁棒性进行测试，并输出所述文本检测模型的鲁棒性测试结果。
8、可选的，所述预处理初始数据集包括：对所述初始数据集简化，形成仅包含编号、句子、形符以及事件类型的数据集。
9、在第三方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现任一本专利技术实施例的文本检测模型的鲁棒性测试方法。
10、在第四方面，本专利技术实施例提供一种电子设备，包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行任一本专利技术实施例的文本检测模型的鲁棒性测试方法。
11、本专利技术实施例中使用的文本检测模型的鲁棒性测试方法中，根据收集的初始数据集，生成了鲁棒性测试数据集；并且构建了一个鲁棒性评价的基本框架，利用不同的模型通过生成鲁棒性测试数据集对模型的评估结果与高质量初始数据集对模型的评估结果进行比较，能直观地反映出文本检测模型的鲁棒性。
12、本专利技术实施例的其他可选特征和技术效果一部分在下文描述，一部分可通过阅读本文而明白。
本文档来自技高网...【技术保护点】
1.一种文本检测模型的鲁棒性测试方法，其特征在于，包括：
2.根据权利要求1所述的鲁棒性测试方法，其特征在于，所述构建鲁棒性测试数据集包括：数据集准备、数据集预处理以及生成鲁棒性测试数据集；
3.根据权利要求2所述的鲁棒性测试方法，其特征在于，所述生成鲁棒性测试数据集为通过字词增加、字词删减、字词改写和字词重复中的至少一种方法生成所述鲁棒性测试数据集。
4.根据权利要求1所述的鲁棒性测试方法，其特征在于，所述构建鲁棒性评价指标包括：准确率、精准率、召回率和F1分数中的至少一种。
5.根据权利要求1所述的鲁棒性测试方法，其特征在于，所述构建鲁棒性评价指标包括所述文本检测模型对多事件类别检测的宏平均。
6.根据权利要求1所述的鲁棒性测试方法，其特征在于，所述构建鲁棒性评价指标包括所述本检测模型对不同类别鲁棒性数据集的分类能力，即准确率的下降率。
7.一种模型的鲁棒性检测装置，其特征在于，
8.根据权利要求7所述的鲁棒性检测装置，其特征在于，所述预处理初始数据集包括：对所述初始数据集简化，形成仅包含编号
9.一种存储介质，其上存储有计算机程序，其中，所述程序被处理器运行时实现如权利要求1-6中任一所述的方法。
10.一种电子设备，其特征在于，包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时实现权利要求1-6中任一所述的方法。
...【技术特征摘要】
1.一种文本检测模型的鲁棒性测试方法，其特征在于，包括：
2.根据权利要求1所述的鲁棒性测试方法，其特征在于，所述构建鲁棒性测试数据集包括：数据集准备、数据集预处理以及生成鲁棒性测试数据集；
3.根据权利要求2所述的鲁棒性测试方法，其特征在于，所述生成鲁棒性测试数据集为通过字词增加、字词删减、字词改写和字词重复中的至少一种方法生成所述鲁棒性测试数据集。
4.根据权利要求1所述的鲁棒性测试方法，其特征在于，所述构建鲁棒性评价指标包括：准确率、精准率、召回率和f1分数中的至少一种。
5.根据权利要求1所述的鲁棒性测试方法，其特征在于，所述构建鲁棒性评价指标包括所述文本检测模型对多事件类别检测的宏平均。<...
【专利技术属性】
技术研发人员：陈海文，刘凯越，李璇，葛宁超，刘丽华，黄宏斌，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。