一种基于条件对抗样本的模型投毒方法及系统技术方案

本发明专利技术公开了一种基于条件对抗样本的模型投毒方法及系统，属于人工智能安全技术领域，解决现有技术容易出现无效投毒的情况，从而造成数据被防御，无法使模型的性能降低。本发明专利技术获取训练数据集，其中，训练数据集包括多个不同类别的子集，各子集包括多个正常样本；在训练数据集中任选一个子集或多个子集，给子集中各正常样本初始化两个扰动；基于已预训练的检测模型对正常样本和两个扰动进行检测，若满足要求，得到正常样本与两个扰动之和，即条件对抗样本，若不满足要求，更新扰动后再次执行步骤3；将得到条件对抗样本的正常样本替换为条件对抗样本，替换完成后得到新的训练数据集，并基于新的训练数据集训练检测模型。本发明专利技术用于模型投毒。明用于模型投毒。明用于模型投毒。

【技术实现步骤摘要】
一种基于条件对抗样本的模型投毒方法及系统


[0001]一种基于条件对抗样本的模型投毒方法及系统，用于模型投毒，属于属于人工智能安全


技术介绍

[0002]模型投毒攻击存在于模型训练阶段，对象可包括各种深度学习模型，例如恶意软件检测模型、图像分类模型、人脸识别模型等。可导致目标模型的性能大幅降低。另一方面，通过对数据投毒，也可对数据进行版权保护，避免未经授权的使用。
[0003]随着深度神经网络的深度学习方法在多个领域表现出超过传统方法的性能，深度学习模型被广泛应用于各种场景。与此同时，现有深度学习模型的训练很大程度上依赖大量的训练数据集，因此训练样本的收集是深度学习应用中的重要流程。由于训练模型所需的数据集较大，通常深度学习模型训练者都需要通过不同的途径进行数据的收集，这也导致了收集到的数据的安全性无法得到保证。对于攻击者，可以通过对训练数据集进行投毒，从而使得训练得到深度学习模型的性能降低。而对于训练者，通常会对搜集到的数据进行检测和预处理，从而防御模型投毒攻击。在训练样本中混入一些对抗样本通常是常用的模型投毒方法，但这种方法容易被防御者利用预先准备好的检测模型所检测。如需要训练一个图片分类模型M，防御者预先准备一个训练好的图片分类模型F，对输入的训练样本x，如果F的分类结果F(x)和x带有的标签不同，则对该数据进行防御性变换或剔除该数据。如此以来，基于对抗样本的模型投毒方法就无法生效。上述所述的所述的对抗样本生成方法是通过梯度下降得到对抗性扰动，使得原始样本在添加对抗性扰动后正确分类的概率降低。存在如下技术问题：
[0004]1.容易出现无效投毒的情况，从而造成数据被防御，无法使模型的性能降低；
[0005]2.现有模型投毒方法通常采用赋予训练样本错误标签的方法(如将猫的图片标记为狗)，容易受到人工鉴别。

技术实现思路

[0006]针对上述研究的问题，本专利技术的目的在于提供一种基于条件对抗样本的模型投毒方法，解决现有技术容易出现无效投毒的情况，从而造成数据被防御，无法使模型的性能降低。
[0007]为了达到上述目的，本专利技术采用如下技术方案：
[0008]一种基于条件对抗样本的模型投毒方法，包括如下步骤：
[0009]步骤1、获取训练数据集，其中，训练数据集包括多个不同类别的子集，各子集包括多个正常样本；
[0010]步骤2、在训练数据集中任选一个子集或多个子集，给子集中各正常样本初始化两个扰动；
[0011]步骤3、基于已预训练的检测模型F对正常样本和两个扰动进行检测，若满足要求，
得到正常样本与两个扰动之和，即条件对抗样本，若不满足要求，更新扰动后再次执行步骤3；
[0012]步骤4、将得到条件对抗样本的正常样本替换为条件对抗样本，替换完成后得到新的训练数据集，并基于新的训练数据集训练分类模型，其中，检测模型F和分类模型的目标功能相同。
[0013]进一步，给子集中各正常样本初始化两个扰动为：初始化形状和大小与正常样本x相同的扰动a和b，并给a和b赋值。
[0014]进一步，所述步骤3的具体步骤为：
[0015]步骤3.1、基于已预训练的检测模型F对x+a，x+b和x+a+b进行检测；
[0016]步骤3.2、基于y＝F(x)是已预训练的检测模型F对
×
的分类结果，若满足F(x+a+b)＝y，F(x+b)≠y，F(x+a)＝y，得到条件对抗样本
[0017]步骤3.3、若不满足F(x+a+b)＝y，F(x+b)≠y，F(x+a)＝y，基于梯度下降法更新扰动后再次执行步骤3.1。
[0018]进一步，所述步骤3.3中梯度下降法更新扰动的具体步骤为：
[0019]步骤3.31、分别将x+a、x+b和x+a+b输入已预训练的检测模型F，获得目标类别y的概率，并按照损失函数公式L＝
‑
F(x+a+b，y)
‑
F(x+a，y)+F(x+b，y)计算损失L；
[0020]步骤3.32、通过反向传播算法分别计算L对扰动a，b的梯度g
a
，g
b
，并通过梯度下降更新扰动a，b，a＝a+Ir
×
g
a
，b＝b+Ir
×
g
b
，其中，Ir为给定的学习率，为常数。
[0021]一种基于条件对抗样本的模型投毒系统，包括如下步骤：
[0022]数据集获取模块：获取训练数据集，其中，训练数据集包括多个不同类别的子集，各子集包括多个正常样本；
[0023]扰动模块：在训练数据集中任选一个子集或多个子集，给子集中各正常样本初始化两个扰动；
[0024]条件对抗样本获取模块：基于已预训练的检测模型对正常样本和两个扰动进行检测，若满足要求，得到正常样本与两个扰动之和，即条件对抗样本，若不满足要求，更新扰动后再次执行步骤3；
[0025]模型投毒模块：将得到条件对抗样本的正常样本替换为条件对抗样本，替换完成后得到新的训练数据集，并基于新的训练数据集训练检测模型，其中，检测模型F和分类模型的目标功能相同。
[0026]进一步，所述扰动模块中，给子集中各正常样本初始化两个扰动为：初始化形状和大小与正常样本x相同的扰动a和b，并给a和b赋值。
[0027]进一步，所述条件对抗样本获取模块实现的具体步骤为：
[0028]步骤3.1、基于已预训练的检测模型F对x+a、x+b和x+a+b进行检测；
[0029]步骤3.2、基于y＝F(x)是已预训练的检测模型F对x的分类结果，若满足F(x+a+b)＝y，F(x+b)≠y，F(x+a)＝y，得到条件对抗样本x＝x+a+b；
[0030]步骤3.3、若不满足F(x+a+b)＝y，F(x+b)≠y，F(x+a)＝y，基于梯度下降法更新扰动后再次执行步骤3.1。
[0031]进一步，所述条件对抗样本获取模块中梯度下降法更新扰动的具体步骤为：
[0032]步骤3.31、分别将x+a，x+b和x+a+b输入已预训练的检测模型F，获得目标类别y的
概率，并按照损失函数公式L＝
‑
F(x+a+b，y)
‑
F(x+a，y)+F(x+b，y)计算损失L；
[0033]步骤3.32、通过反向传播算法分别计算L对扰动a，b的梯度g
a
，g
b
，并通过梯度下降更新扰动a，b，a＝a+Ir
×
g
a
，b＝b+Ir
×
g
b
，其中，Ir为给定的学习率，为常数。本专利技术同现有技术相比，其有益效果表现在：
[0034]1.本专利技术不会出现无效投毒的情况，不会造成数据被防御，从而可使得到后的新的训练数据集训练的模型的性能降低；
[0035]2.本专利技术中得到的条件对抗样本投毒不改变其标签，而仅本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于条件对抗样本的模型投毒方法，其特征在于，包括如下步骤：步骤1、获取训练数据集，其中，训练数据集包括多个不同类别的子集，各子集包括多个正常样本；步骤2、在训练数据集中任选一个子集或多个子集，给子集中各正常样本初始化两个扰动；步骤3、基于已预训练的检测模型F对正常样本和两个扰动进行检测，若满足要求，得到正常样本与两个扰动之和，即条件对抗样本，若不满足要求，更新扰动后再次执行步骤3；步骤4、将得到条件对抗样本的正常样本替换为条件对抗样本，替换完成后得到新的训练数据集，并基于新的训练数据集训练分类模型，其中，检测模型F和分类模型的目标功能相同。2.根据权利要求1所述的一种基于条件对抗样本的模型投毒方法，其特征在于，所述步骤2中，给子集中各正常样本初始化两个扰动为：初始化形状和大小与正常样本x相同的扰动a和b，并给a和b赋值。3.根据权利要求2所述的一种基于条件对抗样本的模型投毒方法，其特征在于，所述步骤3的具体步骤为：步骤3.1、基于已预训练的检测模型F对x+a，x+b和x+a+b进行检测；步骤3.2、基于y＝F(x)是已预训练的检测模型F对x的分类结果，若满足F(x+a+b)＝y，F(x+b)≠y，F(x+a)＝y，得到条件对抗样本步骤3.3、若不满足F(x+a+b)＝y，F(x+b)≠y，F(x+a)＝y，基于梯度下降法更新扰动后再次执行步骤3.1。4.根据权利要求2所述的一种基于条件对抗样本的模型投毒方法，其特征在于，所述步骤3.3中梯度下降法更新扰动的具体步骤为：步骤3.31、分别将x+a、x+b和x+a+b输入已预训练的检测模型F，获得目标类别y的概率，并按照损失函数公式L＝
‑
F(x+a+b，y)
‑
F(x+a，y)+F(x+b，y)计算损失L；步骤3.32、通过反向传播算法分别计算L对扰动a，b的梯度g
a
，g
b
，并通过梯度下降更新扰动a，b，a＝a+Ir
×
g
a
，b＝b+Ir
×
g
b
，其中，Ir为给定的学习率，为常数。5.一种基于条件对抗样本的模型投毒系统，其...

【专利技术属性】
技术研发人员：刘小垒，胥迤潇，辛邦洲，王玉龙，杨润，殷明勇，
申请(专利权)人：中国工程物理研究院计算机应用研究所，
类型：发明
国别省市：