一种生成攻击样本的方法和系统技术方案

本说明书实施例公开了一种生成攻击样本的方法及系统，包括：获取第一样本集，将第一样本集作为目标模型的测试数据；使用第一样本集，获取重要特征；从第一样本集中选取至少一条样本作为原始样本，并基于原始样本和重要特征，构造第二样本集；其中，第二样本集包括正第二样本和负第二样本；将第二样本集输入目标模型，基于目标模型输出的结果，确定扰动特征；其中，扰动特征包括正扰动特征和负扰动特征，扰动特征由重要特征中的至少一个组成；使用扰动特征构造攻击样本；攻击样本用于攻击目标模型，从而根据攻击结果确定目标模型的鲁棒性，判断目标模型是否可以抵御数据中毒，保护个人数据。

【技术实现步骤摘要】
一种生成攻击样本的方法和系统
本说明书涉及对抗机器学习领域，特别涉及一种生成针对输入为离散特征的模型的攻击样本的方法和系统。
技术介绍
目前，机器学习已经广泛应用于各行各业，承载着大量国计民生的重要应用，例如信息检索、金融支付、智能驾驶和智能安防等。然而，这些机器学习模型天然携带着容易被“攻击”的漏洞。如果模型不能抵御攻击样本的攻击，甚至会威胁资金安全和公共安全。通常把机器学习模型抵御攻击样本的能力称为机器学习模型的鲁棒性。如何测试和提高机器学习模型的鲁棒性尤为重要。目前此项研究在学术界和工业界还处于比较初期的探索阶段，大部分算法是针对输入为连续特征的模型。因此需要一种基于输入为离散、稀疏特征的模型的黑盒攻击算法，用于生成攻击样本，评估模型的鲁棒性。
技术实现思路
本说明书实施例之一提供一种生成攻击样本的方法。所述方法包括：获取第一样本集，将所述第一样本集作为目标模型的测试数据；使用所述第一样本集，获取重要特征；其中，所述重要特征为对目标模型测试结果的影响超过预设影响阈值的特征，所述重要特征包括正重要特征和负重要特征；从所述第一样本集中选取至少一条样本作为原始样本，并基于所述原始样本和所述重要特征，构造第二样本集；其中，所述第二样本集包括正第二样本和负第二样本；将所述第二样本集输入所述目标模型，基于所述目标模型输出的分数，确定扰动特征；其中，所述扰动特征包括正扰动特征和负扰动特征，所述扰动特征由所述重要特征中的至少一个组成；使用所述扰动特征构造攻击样本；其中，所述攻击样本用于攻击所述目标模型。本说明书实施例之一提供一种生成攻击样本的系统，所述系统包括：第一获取模块，用于获取第一样本集，将所述第一样本集作为目标模型的测试数据；第二获取模块，用于使用所述第一样本集，获取重要特征；其中，所述重要特征为对目标模型测试结果的影响超过预设影响阈值的特征，所述重要特征包括正重要特征和负重要特征；第一构造模块，用于从所述第一样本集中选取至少一条样本作为原始样本，并基于所述原始样本和所述重要特征，构造第二样本集；其中，所述第二样本集包括正第二样本和负第二样本；扰动特征确定模块，用于将所述第二样本集输入所述目标模型，基于所述目标模型输出的结果，确定扰动特征；其中，所述扰动特征包括正扰动特征和负扰动特征，所述扰动特征由所述重要特征中的至少一个组成；第二构造模块，用于使用所述扰动特征构造攻击样本；其中，所述攻击样本用于攻击所述目标模型。本说明书实施例之一提供一种生成攻击样本的装置，包括：所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现生成攻击样本的方法。附图说明本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本说明书一些实施例所示的生成攻击样本的系统的模块图；图2是根据本说明书一些实施例所示的生成攻击样本的方法的示例性流程图；图3是根据本说明书一些实施例所示的生成攻击样本的示例性应用场景图；图4A是根据本说明书一些实施例所示的特征空间和采样序列的示例的示意图；图4B是根据本说明书一些实施例所示的样本1的示例的示意图；图4C是根据本说明书一些实施例所示的使用独热编码表示特征的样本1的示例的示意图；图5是根据本说明书一些实施例所示的正第二样本的示例的示意图；以及图6是根据本说明书一些实施例所示的负第二样本的示例的示意图。具体实施方式为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。图1是根据本说明书一些实施例所示的生成攻击样本的系统的模块图。如图1所示，该生成攻击样本的系统可以包括第一获取模块110、第二获取模块120、第一构造模块130、扰动特征确定模块140和第二构造模块150。第一获取模块110可以用于获取第一样本集，将所述第一样本集作为目标模型的测试数据。关于获取第一样本集，将所述第一样本集作为目标模型的测试数据的详细描述可以参见图1，在此不再赘述。第二获取模块120可以用于使用所述第一样本集，获取重要特征；其中，所述重要特征为对目标模型测试结果的影响超过预设影响阈值的特征，所述重要特征包括正重要特征和负重要特征。关于使用所述第一样本集，获取重要特征的详细描述可以参见图1，在此不再赘述。第一构造模块130可以用于从所述第一样本集中选取至少一条样本作为原始样本，并基于所述原始样本和所述重要特征，构造第二样本集；其中，所述第二样本集包括正第二样本和负第二样本。关于从所述第一样本集中选取至少一条样本作为原始样本，并基于所述原始样本和所述重要特征，构造第二样本集的详细描述可以参见图1，在此不再赘述。扰动特征确定模块140可以用于将所述第二样本集输入所述目标模型，基于所述目标模型输出的结果，确定扰动特征；其中，所述扰动特征包括正扰动特征和负扰动特征，所述扰动特征由所述重要特征中的至少一个组成。关于将所述第二样本集输入所述目标模型，基于所述目标模型输出的结果，确定扰动特征的详细描述可以参见图1，在此不再赘述。第二构造模块150可以用于使用所述扰动特征构造攻击样本。关于使用所述扰动特征构造攻击样本的详细描述可以参见图1，在此不再赘述。应当理解，图1所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可本文档来自技高网...

【技术保护点】
1.一种生成攻击样本的方法，所述方法包括：/n获取第一样本集，将所述第一样本集作为目标模型的测试数据；/n使用所述第一样本集，获取重要特征；其中，所述重要特征为对目标模型测试结果的影响超过预设影响阈值的特征，所述重要特征包括正重要特征和负重要特征；/n从所述第一样本集中选取至少一条样本作为原始样本，并基于所述原始样本和所述重要特征，构造第二样本集；其中，所述第二样本集包括正第二样本和负第二样本；/n将所述第二样本集输入所述目标模型，基于所述目标模型输出的结果，确定扰动特征；其中，所述扰动特征包括正扰动特征和负扰动特征，所述扰动特征由所述重要特征中的至少一个组成；/n使用所述扰动特征构造攻击样本；其中，所述攻击样本用于攻击所述目标模型。/n

【技术特征摘要】
1.一种生成攻击样本的方法，所述方法包括：
获取第一样本集，将所述第一样本集作为目标模型的测试数据；
使用所述第一样本集，获取重要特征；其中，所述重要特征为对目标模型测试结果的影响超过预设影响阈值的特征，所述重要特征包括正重要特征和负重要特征；
从所述第一样本集中选取至少一条样本作为原始样本，并基于所述原始样本和所述重要特征，构造第二样本集；其中，所述第二样本集包括正第二样本和负第二样本；
将所述第二样本集输入所述目标模型，基于所述目标模型输出的结果，确定扰动特征；其中，所述扰动特征包括正扰动特征和负扰动特征，所述扰动特征由所述重要特征中的至少一个组成；
使用所述扰动特征构造攻击样本；其中，所述攻击样本用于攻击所述目标模型。


2.根据权利要求1所述的方法，其中，所述获取第一样本集包括：
将特征空间随机划分为多个特征序列，每个所述特征序列构成一条样本；
分别将多条所述样本输入所述目标模型，将所述目标模型输出的结果作为所述样本的标签，将带标签的多条所述样本作为第一样本集。


3.根据权利要求2所述的方法，其中，所述使用所述第一样本集，获取重要特征包括：
使用所述第一样本集训练线性模型，获取多个权重，所述多个权重对应于组成所述第一样本集的所述多个特征；
将所述多个权重中符号为正的权重按照值由大到小的顺序进行排序，选取前N个权重对应的特征作为所述正重要特征；
将所述多个权重中符号为负的权重按照值由大到小的顺序进行排序，选取前N个权重对应的特征作为所述负重要特征。


4.根据权利要求3所述的方法，其中，所述基于所述原始样本和所述重要特征，构造第二样本集包括：
从所述重要特征中的正重要特征中任意选取至少一个按照不同的组合添加到所述原始样本中，构造至少一条所述正第二样本；
从所述重要特征中的负重要特征中任意选取至少一个按照不同的组合添加到所述原始样本中，构造至少一条所述负第二样本。


5.根据权利要求4所述的方法，其中，所述将所述第二样本集输入所述目标模型，基于所述目标模型输出的结果，确定扰动特征包括：
将所述第二样本集中的所述至少一条正第二样本输入所述目标模型，获取所述目标模型输出的至少一个分数；
将所述至少一个分数中最高分数对应的正第二样本中包含的所述正重要特征作为所述正扰动特征；
将所述第二样本集中的至少一条负第二样本输入所述目标模型，获取所述目标模型输出的至少一个分数；
将所述至少一个分数中最低分数对应的负第二样本中包含的所述负重要特征作为所述负扰动特征。


6.根据权利要求5所述的方法，其中，所述使用所述扰动特征构造攻击样本包括：
从所述目标模型的测试数据中选取至少一条样本作为测试样本，将所述正扰动特征添加到所述测试样本中，获取正攻击样本；
将所述负扰动特征添加到所述测试样本中，获取负攻击样本。


7.根据权利要求1所述的方法，其中，所述目标模型基于实体对象的数据进行预测，并根据预测结果确定后续的操作，使用所述方法构造所述目标模型的攻击样本。


8.一种生成攻击样本的系统，所述系统包括：
第一获取模块，用于获取第一样本集...

【专利技术属性】
技术研发人员：林建滨，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33