一种生成对抗样本的方法及系统技术方案

本说明书涉及人工智能领域，特别涉及一种生成对抗样本的方法及系统。该方法包括：基于初始样本和目标模型的多个替代模型，进行一轮或多轮迭代，以构造对抗样本；其中的一轮迭代包括：获取当前轮的待调整样本；当当前轮为第一轮迭代时，所述待调整样本为所述初始样本，否则为前一轮的对抗样本；基于待调整样本和多个替代模型，确定各替代模型的脆弱方向；所述脆弱方向与替代模型对待调整样本的预测结果与所述初始样本的标签之间的差异相对待调整样本的梯度信息相关；基于各替代模型的脆弱方向确定扰动数据；将所述扰动数据添加到所述待调整样本中，以获得当前轮的对抗样本。以获得当前轮的对抗样本。以获得当前轮的对抗样本。

【技术实现步骤摘要】
一种生成对抗样本的方法及系统


[0001]本说明书涉及人工智能领域，特别涉及一种生成对抗样本的方法及系统。

技术介绍

[0002]对抗攻击是人工智能领域热门的主题之一，以机器视觉为例，对抗攻击指对于一张照片的分类的任务，添加上攻击者特制的微小的噪声，在并不影响人类对其正确的判断情况下，但却会误导被攻击模型给出与正确结果不同或截然相反的答案。在许多需要高可靠性的场景下，如自动驾驶系统、生物特征身份验证等领域，对抗攻击会带来较高的威胁。
[0003]因此，需要一种能够生成对抗样本的方法，以通过该对抗样本测试或优化模型，增强其抵御对抗攻击的能力。

技术实现思路

[0004]本说明书实施例之一提供一种生成对抗样本的方法，其包括：基于初始样本和目标模型的多个替代模型，进行一轮或多轮迭代，以构造对抗样本；其中的一轮迭代包括：获取当前轮的待调整样本；当当前轮为第一轮迭代时，所述待调整样本为所述初始样本，否则为前一轮的对抗样本；基于待调整样本和多个替代模型，确定各替代模型的脆弱方向；所述脆弱方向与替代模型对待调整样本的预测结果与所述初始样本的标签之间的差异相对待调整样本的梯度信息相关；基于各替代模型的脆弱方向确定扰动数据；将所述扰动数据添加到所述待调整样本中，以获得当前轮的对抗样本。
[0005]本说明书实施例之一提供一种生成对抗样本的系统，用于基于初始样本和目标模型的多个替代模型，进行一轮或多轮迭代，以构造对抗样本；其包括获取模块、脆弱方向确定模块、扰动数据确定模块以及生成模块；在其中的一轮迭代中：所述获取模块用于获取当前轮的待调整样本；当当前轮为第一轮迭代时，所述待调整样本为所述初始样本，否则为前一轮的对抗样本；所述脆弱方向确定模块用于基于待调整样本和多个替代模型，确定各替代模型的脆弱方向；所述脆弱方向与替代模型对待调整样本的预测结果与所述初始样本的标签之间的差异相对待调整样本的梯度信息相关；所述扰动数据确定模块用于基于各替代模型的脆弱方向确定扰动数据；所述生成模块用于将所述扰动数据添加到所述待调整样本中，以获得当前轮的对抗样本。
[0006]本说明书实施例之一提供一种生成对抗样本的装置，包括处理器以及存储质，所述存储介质用于存储计算机指令，所述处理器用于执行所述计算机指令中的至少一部分以实现上述生成对抗样本的方法。
[0007]本说明书实施例之一提供一种对抗攻击方法，其包括：通过上述方法获得对抗样本；利用所述对抗样本攻击、测试或优化目标模型。
[0008]本说明书实施例之一提供一种对抗攻击系统，其包括：对抗样本获取模块，用于通过上述方法获得对抗样本；对抗攻击模块，用于利用所述对抗样本攻击、测试或优化所述目标模型。
[0009]本说明书实施例之一提供一种对抗攻击装置，包括处理器以及存储质，所述存储介质用于存储计算机指令，所述处理器用于执行所述计算机指令中的至少一部分以实现上述对抗攻击方法。
附图说明
[0010]本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本说明书一些实施例所示的迁移攻击的应用场景示意图；图2是根据本说明书一些实施例所示的生成对抗样本的方法的示例性流程图；图3是根据本说明书一些实施例所示的确定各替代模型的脆弱方向的示例性流程图；图4是根据本说明书一些实施例所示的对抗攻击方法的示例性流程图；图5是根据本说明书一些实施例所示的生成对抗样本的系统的模块化示意图；图6是根据本说明书一些实施例所示的对抗攻击系统的模块化示意图。
具体实施方式
[0011]为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
[0012]应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
[0013]如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
[0014]本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0015]对模型的攻击包括白盒攻击与黑盒攻击，其中白盒攻击是指在知晓目标模型内部信息（如模型参数、结构等信息）的情形下进行攻击，黑盒攻击场景则无法获取目标模型内部信息或者说攻击过程不依赖于目标模型的内部信息。一种有效的黑盒攻击为迁移攻击。
[0016]图1是根据本说明书一些实施例所示的迁移攻击的应用场景示意图。
[0017]如图1所示，迁移攻击的应用场景100包括目标模型110、替代模型120和对抗样本130。
[0018]在一些实施例中，目标模型110可以是对外提供机器预测任务的模型，其输入数据以及输出数据的形式是已知的，但模型的内部信息不对外公开或者受到隐私保护。用户或其他任务系统可以通过网络基于待预测对象的特征信息访问目标模型110，得到预测结果，进而用户或其他任务系统基于预测结果对后续行为或操作进行决策。在这种场景下，可能存在恶意攻击者对目标模型110进行对抗攻击，以干扰决策，严重时会引起财产损失甚至危害人身安全。为此，防御者有必要生成高效的对抗样本，对目标模型110进行对抗攻击测试并根据目标模型对抗攻击的输出判断攻击的效果，以测试或优化目标模型110。如开发者研发了一种防御方法用于抵制攻击，防止模型被攻击成功，此时需要对目标模型110进行对抗攻击来验证该防御方法是否有效。需要说明的是，在本说明书中将部分“对抗攻击”简称为“攻击”，其具有相同的意义。
[0019]如前文所述，在黑盒攻击场景下，无法获得或不依赖于目标模型110的内部信息，为了实现对抗攻击首先需要获取目标模型110的替代模型120（如获取与目标模型110相似的模型作为替代模型120），并以替代模型120作为待攻击模型，生成能够对替代模型120进行攻击的对抗样本（相对于目标模型而言或可称为待迁移对抗样本），然后基于该待迁移对抗样本得到能够用于攻击目标模型110的对抗样本130，最终利用该对抗样本130（迁移）攻击目标模型110。
[0020]在一些实施例中，当获取到攻击替代模型120效果较好的待本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成对抗样本的方法，其包括：基于初始样本和目标模型的多个替代模型，进行一轮或多轮迭代，以构造对抗样本；其中的一轮迭代包括：获取当前轮的待调整样本；当当前轮为第一轮迭代时，所述待调整样本为所述初始样本，否则为前一轮的对抗样本；基于待调整样本和多个替代模型，确定各替代模型的脆弱方向；所述脆弱方向与替代模型对待调整样本的预测结果与所述初始样本的标签之间的差异相对待调整样本的梯度信息相关；基于各替代模型的脆弱方向确定扰动数据；将所述扰动数据添加到所述待调整样本中，以获得当前轮的对抗样本。2.如权利要求1所述的方法，所述替代模型与目标模型的任务类型相同。3.如权利要求2所述的方法，其中：所述替代模型中的至少部分模型结构与所述目标模型相同；和/或，所述替代模型用于处理的样本类型与所述目标模型相同；所述样本类型为文本数据、音频数据或图像数据。4.如权利要求1所述的方法，所述基于待调整样本和多个替代模型，确定各替代模型的脆弱方向，包括对于任一替代模型：将所述待调整样本输入至所述替代模型，以获取所述替代模型对所述待调整样本的预测结果与所述标签之间的差异相对待调整样本的梯度信息；将所述梯度信息作为该替代模型的脆弱方向。5.如权利要求1所述的方法，所述基于待调整样本和多个替代模型，确定各替代模型的脆弱方向，包括对于任一替代模型：将所述待调整样本输入至所述替代模型，以获取所述替代模型对所述待调整样本的预测结果与所述标签之间的差异相对待调整样本的梯度信息；基于所述梯度信息以及所述待调整样本获得初始对抗样本；将所述初始对抗样本输入至所述替代模型，以获取所述替代模型对所述初始对抗样本的预测结果与所述标签之间的差异相对初始对抗样本的梯度信息；将所述替代模型对所述初始对抗样本的预测结果与所述标签之间的差异相对...

【专利技术属性】
技术研发人员：范洺源，陈岑，王力，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：