【技术实现步骤摘要】
本专利技术属于神经网络领域，具体涉及一种基于不确定性的智能文本对话模型模糊测试方法。
技术介绍
1、随着循环神经网络(rnn)模型在处理序列化数据方面的显著进步，智能对话系统得以快速发展。实践表明，rnn结构驱动的智能文本对话模型存在一些难以被人工发现的潜在缺陷，这使得针对该模型的测试变得尤为重要。模糊测试作为一种行之有效的软件测试方法，通过生成大量非预期的、异常的或随机变异的输入数据，能够有效地发现系统中潜在的漏洞和缺陷。传统的模糊测试通常通过代码覆盖率等指标指导自动化生成过程，然而对于智能模型而言，代码覆盖率无法反应模型内部处理的逻辑结构关系，因此无法引导生成更有效的测试数据。基于传统代码覆盖率的思想，智能模型结构覆盖率被提出作为衡量模型内部激活情况的指标，能够引导测试数据的生成。在神经网络中，智能模型结构的激活状态反映了模型如何处理输入数据，特别是不同的输入可能触发不同的模型结构激活，从而影响模型的输出。智能模型结构覆盖率通过计算每个模型结构的激活情况，确保模型的不同区域都被充分激活和测试，从而帮助识别潜在的缺陷。
2、当前的智能神经网络模型主要将神经元覆盖率等智能模型结构覆盖率指标作为模糊测试的引导指标指导测试数据的自动化生成过程。然而现有智能模型结构覆盖率指标大部分难以适配rnn结构驱动的智能文本对话模型。少部分对rnn结构进行适配的智能模型结构覆盖率指标在引导模糊测试数据生成时是无效的，甚至会产生误导作用。当缺乏有效的指引指标时，模糊测试生成的数据将缺乏明确的方向引导，模型在无效的测试目标或低质量的测试场
技术实现思路
1、(一)要解决的技术问题
2、本专利技术要解决的技术问题是如何提供一种基于不确定性的智能文本对话模型模糊测试方法，以解决现有的rnn对话模型模糊测试方法普遍缺乏有效的测试指引机制，扩增后的测试用例偏离了原始语义，将无法利用已有的测试预言进行结果验证的问题。
3、(二)技术方案
4、为了解决上述技术问题，本专利技术提出一种基于不确定性的智能文本对话模型模糊测试方法，该方法包括如下步骤：
5、步骤一、对话文本蜕变关系构建
6、构建了一系列文本数据的蜕变关系算子用于文本转换，这些算子包括同义词替换、回译和单词插入，适用于文本对话任务；
7、步骤二、文本数据语义保留
8、为了确保生成文本的语义被保留，采用rouge-1指标来评估通过转换策略生成文本的质量；
9、步骤三、不确定性引导的文本模型模糊测试方法
10、在生成测试用例时，计算被测对话模型对测试数据的不确定性，在不确定性的指导下，模糊测试技术选择最有可能触发模型潜在缺陷的测试数据；
11、步骤四、模型测试和调优
12、利用构建的模糊测试集对文本对话模型进行测试，检测文本对话模型在执行意图检测和槽填充任务的性能，采用微调的方式对模型进行重训练，通过持续的测试-重训练迭代过程，不断增强模型的容错能力和稳定性。
13、(三)有益效果
14、本专利技术提出一种基于不确定性的智能文本对话模型模糊测试方法，首先，本专利技术构建了一系列文本数据的蜕变关系算子，这些算子包括同义词替换、回译和单词插入，适用于文本对话任务。在语义保留策略方面，这些算子可用于生成新的测试文本句子，而不会改变原始句子的语义。在生成测试用例时，本专利技术会计算被测对话模型对测试数据的不确定性。在不确定性的指导下，模糊测试技术可以有效地选择最有可能触发模型潜在缺陷的测试数据。最后，本专利技术的模糊测试技术在有限的种子测试数据基础上自动生成大量用于测试对话模型的测试用例，节省了测试资源，并且具有高效的故障揭示能力。
本文档来自技高网...【技术保护点】
1.一种基于不确定性的智能文本对话模型模糊测试方法，其特征在于，该方法包括如下步骤：
2.如权利要求1所述的基于不确定性的智能文本对话模型模糊测试方法，其特征在于，所述步骤一包括：
3.如权利要求2所述的基于不确定性的智能文本对话模型模糊测试方法，其特征在于，同义词替换算子通过用同义词替换单个词来转换句子，但不会改变句子的意思；采用大规模英语词库WordNet来查找和替换同义词；该库根据词义对词进行分组，每个具有相同意义的词组就是一个同义词集；使用的同义词算子包含名词转换、动词转换和形容词转换；对于给定句子，随机替换槽标签为“O”的同义词；由于被替换的单词原本没有实体标签，因此槽标签和意向标签与原始数据保持一致。
4.如权利要求2所述的基于不确定性的智能文本对话模型模糊测试方法，其特征在于，回译算子将目标种子翻译成中间语言，然后再翻译回原本的语言；由于机器翻译会重组句子结构，因此转换后的数据不仅能保持句子意思不变，还能提高句子结构的丰富性；关于回译的中间语言，选择字母和语法完全不同的中文、法文和西班牙文。
5.如权利要求2所述的基于
6.如权利要求5所述的基于不确定性的智能文本对话模型模糊测试方法，其特征在于，三种预先训练好的MLM模型包括：BERT、POBERTA和ALBERT。
7.如权利要求1-6任一项所述的基于不确定性的智能文本对话模型模糊测试方法，其特征在于，所述步骤二包括：
8.如权利要求7所述的基于不确定性的智能文本对话模型模糊测试方法，其特征在于，所述步骤三包括：使用基尼系数作为不确定性的度量方法；基尼系数基于评估对话模型中最后一层softmax函数计算标签的概率进行不确定性度量，因此基尼系数只能应用于一维softmax矩阵；在文本对话模型中的填槽任务不能直接计算基尼系数，因为它会输出一个二维softmax矩阵；因此，计算模型处理意图检测任务的基尼系数，定义如下：
9.如权利要求8所述的基于不确定性的智能文本对话模型模糊测试方法，其特征在于，在生成转换数据时，模糊测试方法应用基尼函数作为指导，以确保生成的测试数据比原始测试数据更有可能发现系统中的潜在错误；该算法的实现过程包括：首先对种子文本进行随机转换，然后计算被测模型的基尼系数；如果转换文本的基尼系数相比原始文本的基尼系数上升到指定阈值τ，并且转换文本的ROUGE-1质量分数高于指定阈值t，则生成的句子将被添加到种子句子列表中；相反，生成的句子会因为ROUGE-1质量分数或基尼系数较小而被直接丢弃，这表明种子转换质量较低，或是对该输入句子的置信度较高，不容易出现错误行为。
10.如权利要求9所述的基于不确定性的智能文本对话模型模糊测试方法，其特征在于，所述步骤四包括：在意图检测方面，检测模型是否能准确识别出用户输入中包含的各类意图；对于槽填充任务，评估模型提取关键信息的准确性；通过测试评估全面验证文本对话模型在意图理解和信息提取方面的鲁棒性和准确性；此外，基于构建的模糊测试集构建高质量的训练数据集，采用微调的方式对模型进行重训练，在重训练过程中调整模型参数使模型能够正确处理这些错误场景，提高模型对各类异常输入的鲁棒性；通过持续的测试-重训练迭代过程，不断增强模型的容错能力和稳定性。
...【技术特征摘要】
1.一种基于不确定性的智能文本对话模型模糊测试方法，其特征在于，该方法包括如下步骤：
2.如权利要求1所述的基于不确定性的智能文本对话模型模糊测试方法，其特征在于，所述步骤一包括：
3.如权利要求2所述的基于不确定性的智能文本对话模型模糊测试方法，其特征在于，同义词替换算子通过用同义词替换单个词来转换句子，但不会改变句子的意思；采用大规模英语词库wordnet来查找和替换同义词；该库根据词义对词进行分组，每个具有相同意义的词组就是一个同义词集；使用的同义词算子包含名词转换、动词转换和形容词转换；对于给定句子，随机替换槽标签为“o”的同义词；由于被替换的单词原本没有实体标签，因此槽标签和意向标签与原始数据保持一致。
4.如权利要求2所述的基于不确定性的智能文本对话模型模糊测试方法，其特征在于，回译算子将目标种子翻译成中间语言，然后再翻译回原本的语言；由于机器翻译会重组句子结构，因此转换后的数据不仅能保持句子意思不变，还能提高句子结构的丰富性；关于回译的中间语言，选择字母和语法完全不同的中文、法文和西班牙文。
5.如权利要求2所述的基于不确定性的智能文本对话模型模糊测试方法，其特征在于，单词插入算子通过插入单词来转换句子；使用bert架构，一种掩码语言模型mlm用于自动生成自然语言；该类模型任务根据上下文的语义预测句子中的空缺词；使用了三种预先训练好的mlm模型，并采用不同的参数配置，在原句子上插入新词；同时，将单词的数量控制在1到3个之间。
6.如权利要求5所述的基于不确定性的智能文本对话模型模糊测试方法，其特征在于，三种预先训练好的mlm模型包括：bert、poberta和albert。
7.如权利要求1-6任一项所述的基于不确定性的智能文本对话模型模糊测试方法，...
【专利技术属性】
技术研发人员：刘绍桐，曲紫畅，徐哲炜，赵睿卓，魏建宇，王潇怡，闫惟娜，姜志学，安传翔，刘悦，高建宇，张翔，
申请(专利权)人：北京计算机技术及应用研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。