对抗样本生成方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了对抗样本生成方法、装置、电子设备及存储介质，涉及深度学习领域，其中方法可包括：获取包括文本段落、问题以及答案的三元组，所述问题为针对文本段落提出的问题，所述答案为基于文本段落生成的答案；对所述问题中的预定类型的词进行替换，得到至少一个修改后的问题；确定出所述问题对应的至少一个虚假答案，虚假答案与答案属于相同类型；根据修改后的问题及虚假答案生成至少一个干扰句；按照每次修改在文本段落中插入一个干扰句的方式，得到至少一个修改后的文本段落，选定一个修改后的文本段落作为对抗样本。应用本申请所述方案，可生成能够有效攻击模型的对抗样本，并可提升模型性能等。

Generation method, device, electronic equipment and storage medium of countermeasure samples

【技术实现步骤摘要】
对抗样本生成方法、装置、电子设备及存储介质
本申请涉及计算机应用技术，特别涉及深度学习领域的对抗样本生成方法、装置、电子设备及存储介质。
技术介绍
阅读理解是自然语言处理(NLP，NaturalLanguageProcessing)领域的经典任务，即给定一个文本段落，针对该文本段落提出一个问题，答案可为该文本段落中的一个文本片段等。在实际应用中，可利用训练得到的阅读理解模型来实现机器阅读理解，目前表现较好的阅读理解模型包括双向注意力流模型(BiDAF，Bi-DirectionalAttentionFlow)等。阅读理解模型容易受到对抗样本的干扰，从而导致推理出错误答案。因此，需要生成/构建对抗样本对阅读理解模型进行优化，以提升模型性能等。针对阅读理解模型，目前通常采用黑盒攻击中的串联攻击方式，在黑盒攻击中，攻击者只能使用提供的输入查询目标模型，并获得输出预测和置信度得分，不具有完全访问权。串联攻击方式中，在文本段落中添加分散注意力的干扰句来生成对抗样本，但被添加的干扰句通常只是基于简单的语法规则或句式模板等生成的，实际效果并不理想。
技术实现思路
有鉴于此，本申请提供了对抗样本生成方法、装置、电子设备及存储介质。一种对抗样本生成方法，包括：获取包括文本段落、问题以及答案的三元组，所述问题为针对所述文本段落提出的问题，所述答案为基于所述文本段落生成的答案；对所述问题中的预定类型的词进行替换，得到至少一个修改后的问题；确定出所述问题对应的至少一个虚假答案，所述虚假答案与所述答案属于相同类型；根据所述修改后的问题及所述虚假答案生成至少一个干扰句；按照每次修改在所述文本段落中插入一个干扰句的方式，得到至少一个修改后的文本段落，选定一个修改后的文本段落作为所述对抗样本。根据本申请一优选实施例，所述预定类型的词包括以下之一或任意组合：名词、形容词、命名实体、数字。根据本申请一优选实施例，所述确定出所述问题对应的至少一个虚假答案包括：确定所述答案所属的类型；从斯坦福问答数据集中与所述答案属于相同类型的各答案中随机选出至少一个，作为所述虚假答案。根据本申请一优选实施例，该方法进一步包括：获取所定义的至少两种不同类型；分别确定出所述斯坦福问答数据集中的各答案所属的类型。根据本申请一优选实施例，所述根据所述修改后的问题及所述虚假答案生成至少一个干扰句包括：确定出对应的语法规则；根据所述语法规则将任一修改后的问题与任一虚假答案进行组合，得到至少一个干扰句。根据本申请一优选实施例，该方法进一步包括：对生成的干扰句进行语法检查，过滤掉语法不正确的干扰句。根据本申请一优选实施例，所述按照每次修改在所述文本段落中插入一个干扰句的方式，得到至少一个修改后的文本段落包括：针对任一干扰句，分别将所述干扰句随机插入到所述文本段落中的至少一个位置，得到至少一个修改后的文本段落。根据本申请一优选实施例，所述选定一个修改后的文本段落作为所述对抗样本包括：分别将各修改后的文本段落输入预先获取的阅读理解模型，根据所述阅读理解模型的输出确定出最具攻击性的修改后的文本段落，作为所述对抗样本。根据本申请一优选实施例，该方法进一步包括：利用所述对抗样本对预先获取的阅读理解模型进行优化。一种对抗样本生成装置，包括：信息获取单元以及样本生成单元；所述信息获取单元，用于获取包括文本段落、问题以及答案的三元组，所述问题为针对所述文本段落提出的问题，所述答案为基于所述文本段落生成的答案；所述样本生成单元，用于对所述问题中的预定类型的词进行替换，得到至少一个修改后的问题；确定出所述问题对应的至少一个虚假答案，所述虚假答案与所述答案属于相同类型；根据所述修改后的问题及所述虚假答案生成至少一个干扰句；按照每次修改在所述文本段落中插入一个干扰句的方式，得到至少一个修改后的文本段落，选定一个修改后的文本段落作为所述对抗样本。根据本申请一优选实施例，所述预定类型的词包括以下之一或任意组合：名词、形容词、命名实体、数字。根据本申请一优选实施例，所述样本生成单元确定所述答案所属的类型，从斯坦福问答数据集中与所述答案属于相同类型的各答案中随机选出至少一个，作为所述虚假答案。根据本申请一优选实施例，所述样本生成单元进一步用于，获取所定义的至少两种不同类型，分别确定出所述斯坦福问答数据集中的各答案所属的类型。根据本申请一优选实施例，所述样本生成单元确定出对应的语法规则，根据所述语法规则将任一修改后的问题与任一虚假答案进行组合，得到至少一个干扰句。根据本申请一优选实施例，所述样本生成单元进一步用于，对生成的干扰句进行语法检查，过滤掉语法不正确的干扰句。根据本申请一优选实施例，所述样本生成单元针对任一干扰句，分别将所述干扰句随机插入到所述文本段落中的至少一个位置，得到至少一个修改后的文本段落。根据本申请一优选实施例，所述样本生成单元分别将各修改后的文本段落输入预先获取的阅读理解模型，根据所述阅读理解模型的输出确定出最具攻击性的修改后的文本段落，作为所述对抗样本。根据本申请一优选实施例，所述装置中进一步包括：模型优化单元，用于利用所述对抗样本对预先获取的阅读理解模型进行优化。一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如以上所述的方法。上述申请中的一个实施例具有如下优点或有益效果：针对包括文本段落、问题以及答案的三元组，可根据修改后的问题以及确定出的虚假答案生成干扰句，优选地，还可过滤掉语法不正确的干扰句，从而可得到与文本段落和问题语义相关的、但不回答问题、符合语法的干扰句，插入到文本段落中，得到对抗样本，插入的干扰句不会误导人类误判，但会分散阅读理解模型的注意力，成功欺骗阅读理解模型，即可对阅读理解模型形成有效攻击；可将干扰句随机插入到文本段落的任意位置，并可利用得到的多样性的对抗样本对阅读理解模型进行优化，从而使得阅读理解模型能够学习到更深层次的语义信息，具有真正的自然语言理解和推理能力，强化阅读理解模型的安全，提升阅读理解模型的鲁棒性等；所述对抗样本生成方法可在黑盒情况下使用，无需知道模型细节等，更适用于现实场景；上述可选方式所具有的其它效果将在下文中结合具体实施例加以说明。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1为本申请所述对抗样本生成方法实施例的流程图；图2为本申请所述对抗样本生成装置200实施例的组成结构示意图；图3为根据本申请实施例所述方法的电子设备的框图。具体实本文档来自技高网...

【技术保护点】
1.一种对抗样本生成方法，其特征在于，包括：/n获取包括文本段落、问题以及答案的三元组，所述问题为针对所述文本段落提出的问题，所述答案为基于所述文本段落生成的答案；/n对所述问题中的预定类型的词进行替换，得到至少一个修改后的问题；/n确定出所述问题对应的至少一个虚假答案，所述虚假答案与所述答案属于相同类型；/n根据所述修改后的问题及所述虚假答案生成至少一个干扰句；/n按照每次修改在所述文本段落中插入一个干扰句的方式，得到至少一个修改后的文本段落，选定一个修改后的文本段落作为所述对抗样本。/n

【技术特征摘要】
1.一种对抗样本生成方法，其特征在于，包括：
获取包括文本段落、问题以及答案的三元组，所述问题为针对所述文本段落提出的问题，所述答案为基于所述文本段落生成的答案；
对所述问题中的预定类型的词进行替换，得到至少一个修改后的问题；
确定出所述问题对应的至少一个虚假答案，所述虚假答案与所述答案属于相同类型；
根据所述修改后的问题及所述虚假答案生成至少一个干扰句；
按照每次修改在所述文本段落中插入一个干扰句的方式，得到至少一个修改后的文本段落，选定一个修改后的文本段落作为所述对抗样本。


2.根据权利要求1所述的方法，其特征在于，
所述预定类型的词包括以下之一或任意组合：名词、形容词、命名实体、数字。


3.根据权利要求1所述的方法，其特征在于，
所述确定出所述问题对应的至少一个虚假答案包括：
确定所述答案所属的类型；
从斯坦福问答数据集中与所述答案属于相同类型的各答案中随机选出至少一个，作为所述虚假答案。


4.根据权利要求3所述的方法，其特征在于，
该方法进一步包括：获取所定义的至少两种不同类型；分别确定出所述斯坦福问答数据集中的各答案所属的类型。


5.根据权利要求1所述的方法，其特征在于，
所述根据所述修改后的问题及所述虚假答案生成至少一个干扰句包括：
确定对应的语法规则；
根据所述语法规则将任一修改后的问题与任一虚假答案进行组合，得到至少一个干扰句。


6.根据权利要求1所述的方法，其特征在于，
该方法进一步包括：对生成的干扰句进行语法检查，过滤掉语法不正确的干扰句。


7.根据权利要求1所述的方法，其特征在于，
所述按照每次修改在所述文本段落中插入一个干扰句的方式，得到至少一个修改后的文本段落包括：
针对任一干扰句，分别将所述干扰句随机插入到所述文本段落中的至少一个位置，得到至少一个修改后的文本段落。


8.根据权利要求1所述的方法，其特征在于，
所述选定一个修改后的文本段落作为所述对抗样本包括：分别将各修改后的文本段落输入预先获取的阅读理解模型，根据所述阅读理解模型的输出确定出最具攻击性的修改后的文本段落，作为所述对抗样本。


9.根据权利要求1所述的方法，其特征在于，
该方法进一步包括：利用所述对抗样本对预先获取的阅读理解模型进行优化。


10.一种对抗样本生成装置，其特征在于，包括：信息获取单元以及样本生成单元；
所述信息获取单元，用于获取包括文本段落、问题以及答案的三元组，所述问题为针对所述文本...

【专利技术属性】
技术研发人员：王文华，吕中厚，刘焱，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11