面向特征嵌入中毒攻击的检测方法、装置和系统制造方法及图纸

本发明专利技术公开了一种面向特征嵌入中毒攻击的检测方法、装置和系统，通过测试样本分别在良性模型和待检测模型每网络层的互信息的分布状态，实现对待检测模型中毒攻击的检测，针对中毒攻击的模型，基于测试样本在模型的特征通道的改变来生成扰动图，基于扰动图的分布特征确定模型中毒目标类，并生成中毒样本。经实验结果表明，该检测方法、装置和系统具有良好的适用性，能够有效的判断模型是否中毒并生成相应的中毒样本，取得较好的检测效果。取得较好的检测效果。取得较好的检测效果。

【技术实现步骤摘要】
面向特征嵌入中毒攻击的检测方法、装置和系统


[0001]本专利技术属于模型安全领域，具体涉及一种面向特征嵌入中毒攻击的检测方法、装置和系统。

技术介绍

[0002]深度学习逐渐成为人工智能领域的研究热点和主流发展方向。深度学习是由多个处理层组成的计算模型，学习具有多个抽象层次的数据表示的机器学习技术。深度学习代表了机器学习和人工智能研究的主要发展方向，给机器学习和计算机视觉等领域带来了革命性的进步。
[0003]基于神经网络的人工智能模型被广泛应用于人脸识别、目标检测和自主驾驶等多种应用中，证明了它们的优越性超过传统的计算方法。越来越多的人倾向于相信人工智能模型在生活各个方面的应用都起着至关重要的作用。随着复杂性和功能的增加，培训此类模型需要在收集训练数据和优化性能方面作出巨大努力。因此，预先训练的模型正在变为供应商(例如Google)和开发人员分发、共享、重用甚至出售以获取利润的有价值的物品。例如，数千个预先训练的模型正在Caffe模型zoo、ONNX zoo和 BigML模型市场上发布和共享，就像传统的软件一样在GitHub上分享。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向特征嵌入中毒攻击的检测方法，其特征在于，包括以下步骤：(1)获取数据集以及待检测模型，构建与待检测模型结构相同的良性模型，并利用数据优化良性模型的参数；(2)将数据集中的测试样本分别输入至参数优化的良性模型和待检测模型，获得每个网络层输出的特征图，并计算用于提取明显特征位置的模板与每个特征图之间的互信息，获取测试样本分别在良性模型和待检测模型中每个网络层的互信息；(3)统计所有测试样本分别在良性模型和待检测模型中每个网络层的互信息，针对某一网络层，当超过个数阈值的测试样本在良性模型中该网络层的互信息与在待检测深度学习模中该网络层的互信息之差均大于差距阈值时，则认为待检测模型被攻击，且对应的网络层为特征嵌入中毒攻击层。2.根据权利要求1所述的面向特征嵌入中毒攻击的检测方法，其特征在于，在计算互信息时，针对每个尺寸为H*W的特征图，均会存在H*W+1个模板T∈T＝{T
‑
，T1,...,T
H*W
}，每个模板通过遍历操作找到特征图中特征明显的位置；互信息的计算公式为：其中，MI(X；T)表示模板T与特征图集合X的互信息，p(T)表示模板T的先验概率，即μ＝1,2,
…
,W*H，α为一个恒定的先验似然，α＝(H*W)/(1+H*W)，p(T
‑
)＝1
‑
α，p(x|T)表示条件似然概率，用于测量特征图x和模板T之间的适应度，表示为：其中，Z
T
＝∑
x∈X
exp[tr(x
·
T)]，x
·
T表示x和T之间的乘法，tr(
·
)表示矩阵迹，tr(x
·
T)＝∑
ij
x
ij
t
ij
，i∈(1,...,H),j∈(1,...,W)，p(x)＝∑
T
p(T)p(x|T)；对于模板T∈{T
‑
，T1,...,T
H*W
}，负模板其中τ是正常数，τ＝0.5/H*W，对应于序号为μ的正模板被给出为||||1表示L1范数距离，β是一个常数参数。3.根据权利要求1或2所述的面向特征嵌入中毒攻击的检测方法，其特征在于，还包括在确定待检测模型被攻击中毒后，依据测试样本在模型中的特征通道确定模型的中毒目标类，并生成中毒样本。4.根据权利要求3所述的面向特征嵌入中毒攻击的检测方法，其特征在于，确定模型的中毒目标类和生成中毒样本的过程为：将测试样本输入至待检测模型中，计算每一类别测试样本在模型中的特征通道，并在测试样本中添加扰动，以使测试样本激活非所属类别的所有其他类别的特征通路，并最终预测为所有其他类别，生成候选中毒样本；依据候选中毒样本和测试样本确...

【专利技术属性】
技术研发人员：陈晋音，邹健飞，熊晖，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：