面向深度模型供应链的多方协作的漏洞判定方法与装置制造方法及图纸

本发明专利技术公开一种面向深度模型供应链的多方协作的漏洞判定方法与装置，首先获取上游任务数据集，并对神经网络进行训练；对上游任务数据集进行中毒操作，得到中毒样本；并训练得到中毒模型，将中毒模型的输出作为中毒特征；利用中毒特征作为约束条件，训练上游预训练模型，若上游预训练模型的输出带有中毒特征，且没有被在线模型市场中的检测器检测到，则判定在线模型市场中的检测器存在漏洞；下游任务供应商下载预训练模型，并检查下游数据集，若下游任务供应商判定下游数据集不存在漏洞，则对预训练模型进行微调，将带有触发器的测试样本输入到预训练模型中，若其输出为误标记的类；则判定下游任务供应商先对下游数据集进行检查过程存在漏洞。查过程存在漏洞。查过程存在漏洞。

【技术实现步骤摘要】
面向深度模型供应链的多方协作的漏洞判定方法与装置


[0001]本专利技术涉及深度学习领域，尤其涉及一种面向深度模型供应链的多方协作的漏洞判定方法与装置。

技术介绍

[0002]人工智能技术的飞速发展，深度神经网络模型在目标检测、语义分析和视频理解等领域引起了广泛关注。同时，预训练模型(PTM)在图像分类和自然语言处理领域取得了巨大的成功。该模型首先从大规模数据集中获取知识，然后可以应用于各种特定任务。预训练模型的过程需要海量训练数据，并占用了极其昂贵的计算资源，这对资源不足的普通用户来说非常困难。因此，大多数用户下载已发布的预训练模型，如面向自然语言处理任务的BERT和XLNet，以及面向图像分类任务的VGGNet，针对下游的特定任务进行进一步微调，并将其在业应用程序中广泛部署。
[0003]深度学习模型的供应链包括以下三个阶段：预训练、微调、分类任务。在预训练过程中，模型发布者利用庞大的数据集和强力的计算集群训练基础的预训练模型，该模型能够对不同的输入样本输出特征表示。预训练模型将被上传到模型市场中，经过安全性测试后，将被公开发布和销售。在微调阶段，下游任务供应商从云端下载预训练模型，并对其进行微调，以适应特定的下游任务。供应商往往会增加或改动预训练模型的分类器结构，然后以有监督的方式使用下游任务的数据集对模型进行微调训练。由于预训练模型在预训练阶段已经获得了强大的特征提取能力，因此，经过微调的模型可以继承预训练模型的知识，以提供下游任务所需的特征及分类结果。在分类阶段，下游任务服务商将经过微调的模型进行部署，为用户提供API以进行远程使用。当模型从用户端接收到输入样本查询时，模型将进行前向传播以获得输出，并返回给用户。
[0004]然而，开源PTM容易受到各种安全和隐私攻击，其中一种攻击是中毒攻击。恶意方的目标是通过对训练数据集下毒，使模型在包含触发器的输入上触发错误的分类结果，而在没有触发器的情况下正常运行。这种对PTM的攻击尤其安全关键，因为用户不知道开源的PTM是否隐藏了中毒后门。一旦对公共后门PTM进行了微调和部署，就可以利用它们的脆弱性。目前，大多数后门攻击的目标是外包模型，这使攻击者有权修改数据集和训练过程。随着用户开始关注神经网络的安全性以及提升计算能力，他们更愿意自己训练下游模型。由于预训练模型的广泛使用，其安全问题正在引起学术界的关注，发现PTM的安全漏洞并提高其鲁棒性，对应用和部署安全可信的人工智能算法具有重要意义。
[0005]现有技术中针对预训练模型的漏洞挖掘方法仍面临以下挑战：
[0006](1)中毒效果容易受到下游任务微调的影响而效果低下；
[0007](2)上下游任务相关性较强。实际场景中，下游任务可能和预训练模型有较大差异，中毒类标可能在下游任务的数据集中不存在，导致在部署阶段难以被触发；
[0008](3)注入的后门不够隐蔽，在预训练模型上传阶段，难以逃过模型市场中的后门检测而无法被发布。
[0009](4)当模型中存在安全威胁而进行问题溯源时，错误会被立刻定位到使用污染数据集的模型发布者或下游任务供应商。
[0010]因此，亟需提出一种面向深度模型供应链的多方协作的漏洞判定方法。

技术实现思路

[0011]针对现有技术不足，本专利技术提供了一种面向深度模型供应链的多方协作的漏洞挖掘方法。通过多方协作对预训练模型注入隐蔽后门，实现高触发、高通用的漏洞挖掘。
[0012]本专利技术解决其技术问题所采用的技术方案是：本专利技术实施例的第一方面提供了一种面向深度模型供应链的多方协作的漏洞判定方法，所述方法具体包括以下步骤：
[0013](1)获取图像数据集作为上游任务数据集，并对其进行归一化处理；
[0014](2)使用步骤(1)中选取的上游任务数据集对神经网络进行训练；
[0015](3)对步骤(1)预处理后的图像数据集进行中毒操作，得到中毒样本；并通过该中毒样本训练步骤(2)得到的深度学习网络得到中毒模型；
[0016](4)提取中毒模型的输出作为中毒特征；
[0017](5)利用步骤(4)定义的中毒特征作为约束条件，训练上游预训练模型，并进行漏洞判定；若训练后的上游预训练模型的输出带有中毒特征，且没有被在线模型市场中的检测器检测到，则判定在线模型市场中的检测器存在漏洞；
[0018](6)下游任务供应商下载预训练模型，并对下游数据集进行检查，若下游任务供应商判定下游数据集不存在漏洞，则对预训练模型进行微调，并进行漏洞判定；将带有触发器的测试样本输入到训练好的预训练模型中，若预训练模型的输出均为误标记的类；则判定下游任务供应商先对下游数据集进行检查过程存在漏洞。
[0019]本专利技术实施例的第二方面提供了一种电子设备，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的面向深度模型供应链的多方协作的漏洞判定方法。
[0020]本专利技术实施例的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的面向深度模型供应链的多方协作的漏洞判定方法。
[0021]相对于现有技术，本专利技术的有益效果为：本专利技术提出了面向深度学习模型供应链的多方协作的漏洞判定方法，将中毒特征和类标的关联性构建拆解成为协作的多个步骤，使后门难以被检测器捕捉，同时恶意方难以被直接溯源。在恶意方不操作时，模型依旧正常工作。此外，针对不同的上下游任务，本方法具有较好的通用性，也不易受微调过程的影响而降低中毒成功率，实现高隐蔽性、高迁移性的漏洞挖掘。本专利技术方法具有良好的适用性，能够有效挖掘预训练模型中的安全威胁，有利于发现PTM的安全漏洞并提高其鲁棒性。
附图说明
[0022]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是本专利技术方法整体框架示意图；
[0024]图2是触发器图样的示意图；
[0025]图3是本专利技术实施例提供的一种面向深度模型供应链的多方协作的漏洞判定装置的结构框图。
具体实施方式
[0026]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。
[0027]下面结合附图，对本专利技术进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
[0028]参照图1，本专利技术实施例提出了一种面向深度学习模型供应链的多方协作的漏洞判定方法，本专利技术的技术构思为：将建立中毒特征与触本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向深度模型供应链的多方协作的漏洞判定方法，其特征在于，所述方法具体包括以下步骤：(1)获取图像数据集作为上游任务数据集，并对其进行归一化处理；(2)使用步骤(1)中选取的上游任务数据集对神经网络进行训练；(3)对步骤(1)中选取的上游任务数据集进行中毒操作，得到中毒样本；并通过该中毒样本训练步骤(2)得到的深度学习网络得到中毒模型；(4)提取中毒模型的输出作为中毒特征；(5)利用步骤(4)定义的中毒特征作为约束条件，训练上游预训练模型，并进行漏洞判定；若训练后的上游预训练模型的输出带有中毒特征，且没有被在线模型市场中的检测器检测到，则判定在线模型市场中的检测器存在漏洞；(6)下游任务供应商下载预训练模型，并对下游数据集进行检查，若下游任务供应商判定下游数据集不存在漏洞，则对预训练模型进行微调，并进行漏洞判定；将带有触发器的测试样本输入到训练好的预训练模型中，若预训练模型的输出均为误标记的类；则判定下游任务供应商先对下游数据集进行检查过程存在漏洞。2.根据权利要求1所述的面向深度模型供应链的多方协作的漏洞判定方法，其特征在于，所述步骤(1)中作为上游任务数据集的图像数据集包括CIFAR
‑
100或GTSRB。3.根据权利要求2所述的面向深度模型供应链的多方协作的漏洞判定方法，其特征在于，所述步骤(2)具体为：使用不同的模型结构对不同的数据集进行训练，其中CIFAR
‑
100数据集使用VGG19模型，GTSRB数据集使用ResNet18模型；将上游任务数据集中的样本及其对应类标输入到神经网络中进行训练，损失函数定义为：其中L
model
表示模型的loss函数，m为训练所使用的样本总数，CE(
·
)表示交叉熵函数，i表示样本的索引值；训练结束后保存模型和训练参数。4.根据权利要求1所述的面向深度模型供应链的多方协作的漏洞判定方法，其特征在于，所述步骤(3)具体包括以下子步骤：(3.1)利用BadNets法对步骤(1)预处理后的上游任务数据集进行中毒操作，得到中毒数据集，具体地：随机选取一部分上游任务数据集，将其类标改为中毒类标0，在对应图像加上触发器图样；(3.2)利用步骤2.1)得到中毒数据集训练步骤(2)得到的神经网络得到中毒模型，其损失函数定义为：L
BD
＝L
model
+CE(y
t
，x
t
)其中，L
model
表示步骤(2)中训练的神经网络的损失函数，y
t
和x
t
为中毒数据集中的中毒类标和触发样本；训练结束后保存模型和训练参数。
(3.3)训练完成后将带有触发器的中毒样本输入至中毒模型，以测试中毒成功率，并...

【专利技术属性】
技术研发人员：陈晋音，陈若曦，金海波，郑海斌，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：