【技术实现步骤摘要】
本专利技术涉及人工智能技术及人工智能软件，尤其涉及一种基于kubernetes的异构智能模型鲁棒性测试方法。
技术介绍
1、近年来，人工智能技术不断地发展创新，并在图像处理、自然语言处理、语音识别、自动驾驶、智慧医疗等多个领域得到了大量的应用，进一步融入到人类生产生活的各个方面。然而，随着各类人工智能技术的发展与应用，其核心机器学习模型的安全隐患也逐步暴露，引发了人们对各类智能模型可信性的担忧。研究发现，智能模型在训练或测试时极易受到对抗样本攻击，只要给原始样本添加微小的人眼不可察觉的扰动，就可以轻易的使模型产生误判，从而导致严重的安全性问题。由此，通过研究对抗样本的生成技术以测试智能模型的鲁棒性已经成为人工智能安全研究的一个热门领域。
2、当前，各种各样的攻击算法层出不穷，其中白盒类攻击算法攻击效果相对于黑盒类更好。由于白盒攻击算法需要利用被攻击模型的网络结构、权重参数等信息，导致某一种深度学习框架下实现的白盒攻击算法无法直接攻击其他各类深度学习框架下开发的模型，且当前以攻击算法为核心的智能模型测试平台也未真正实现基于各类深度学习框架开发的异构智能模型测试。因此，面对基于各种各样深度学习框架开发的异构智能模型，需要一种统一的智能模型鲁棒性测试方法，实现各类框架下的模型鲁棒性测试。
3、此外，随着云计算技术的发展，以docker为代表的容器虚拟化技术日益盛行，促成了容器编排工具的发展。kubernetes凭借其强大的容器编排能力和轻量开源的特点成为当前云原生时代的主流容器集群操作系统，提供了容器应用部署、
4、基于上述背景，本专利技术应用kubernetes技术，专利技术了一种基于kubernetes的异构智能模型鲁棒性测试方法，实现了对基于各类深度学习框架开发的异构智能模型进行鲁棒性测试的能力。
技术实现思路
1、(一)要解决的技术问题
2、本专利技术要解决的技术问题是现有的知识工程系统存在信息密度低、关联性差的问题。
3、(二)技术方案
4、为解决上述技术问题，本专利技术提供一种基于kubernetes的异构智能模型鲁棒性测试方法，包括以下步骤：
5、构建鲁棒性测评指标体系，包括多种鲁棒性测评指标；
6、构建基于kubernetes的异构智能模型对抗样本生成工具；
7、将待测目标深度学习模型与原始样本集输入到上一步骤构建的异构智能模型对抗样本生成工具中，生成对抗样本作为测试用例集；
8、将所述测试用例集输入到所述待测目标深度学习模型中，通过所述鲁棒性测评指标体系计算各所述鲁棒性测评指标的数值，评估所述待测目标深度学习模型的鲁棒性。
9、进一步地，所述鲁棒性测评指标包括模型行为测评指标和模型结构测评指标，所述模型行为测评指标包括正确类平均置信度、对抗类平均相对置信度以及噪声容忍估计，所述模型结构测评指标包括神经元敏感度、神经元不确定性以及经验噪声不敏感度。
10、进一步地，所述正确类平均置信度的计算公式如下：
11、
12、式中，t表示测试集，f(·)表示用于训练、测试与评估的模型，n表示对抗样本攻击失败的数量，p(·)表示模型分类的置信度，表示第i个原始样本对应的对抗样本，xi表示第i个原始样本，yi表示第i个原始样本的标签。
13、进一步地，所述对抗类平均相对置信度的的计算公式如下：
14、
15、式中，t表示测试集，f(·)表示用于训练、测试与评估的模型，m表示对抗样本攻击成功的数量，p(·)表示模型分类的置信度，表示第i个原始样本对应的对抗样本，yi表示第i个原始样本的标签。
16、进一步地，所述噪声容忍度的计算公式如下：
17、
18、其中，t表示测试集，f(·)表示用于训练、测试与评估的模型，m表示对抗样本攻击成功的数量，表示模型将样本错分成类别j的置信度，表示模型将样本错分成除类别j外的其他类别的置信度，xi表示第i个原始样本。
19、进一步地，所述神经元敏感度的计算公式如下：
20、
21、其中，n表示测试集中样本的数量，原始样本xi和对抗样本的对偶对集合，分别表示神经元fim在正向过程中对原始样本xi和对抗样本的输出。dim(·)表示向量的维度，||·||表示样本间的距离度量。
22、进一步地，所述神经元不确定性的计算公式如下：
23、
24、其中，n表示测试集中样本的数量，fim表示神经元，fim(xi)分别表示神经元fim在正向过程中对原始样本xi和对抗样本的输出，variance(·)是方差计算函数。
25、进一步地，所述经验噪声不敏感度的计算公式如下：
26、
27、
28、其中，n表示测试集中样本的数量，xi表示第i个原始样本，yi表示第i个原始样本的标签，m'是使用各种攻击算法依次生成对抗样本的数量，lf(·|·)表示模型f的损失函数，||·||表示样本间的距离度量，ε表示添加的扰动阈值。
29、进一步地，所述构建基于kubernetes的异构智能模型对抗样本生成工具，具体包括以下步骤：
30、准备2台以上服务器，使用kubernetes官方社区推出的kubeadm工具快速部署kubernetes集群；
31、开发各类深度学习框架下的对抗攻击算法，并构建相应的镜像；
32、为各类框架下的对抗攻击算法创建副本集；
33、为各类框架下的对抗攻击算法创建服务，为一组算法实例提供负载均衡能力，且提供该算法统一的访问入口；
34、编写攻击主程序，所述攻击主程序提供异构智能模型对抗攻击功能的接口，该接口的入参为待测目标深度学习模型及其开发框架类型、原始样本集、对抗攻击算法名称，通过调用相应算法的攻击接口进行攻击，输出基于kubernetes的异构智能模型对抗样本。
35、进一步地，所述副本集的数量为2个以上。
36、(三)有益效果
37、本专利技术的上述技术方案具有如下优点：
38、1、本专利技术在构建异构智能模型对抗样本生成工具时，将各类深度学习框架的对抗攻击算法均集成到工具中，并通过配置文件的方式完成调度，与传统对抗样本生成工具相比，该工具支持对不同深度学习框架下的智能模型生成对抗样本，为后续智能模型进行鲁棒性测试提供测试数据。
39、2、本专利技术在构建异构智能模型对抗样本生成工具中的各类算法服务时，为各类对抗攻击算法创建了多个副本，并提供了统一的算法服务访问入口，实现了算法服务的高可用和高并发访问功能。
本文档来自技高网...【技术保护点】
1.一种基于Kubernetes的异构智能模型鲁棒性测试方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于Kubernetes的异构智能模型鲁棒性测试方法，其特征在于，所述鲁棒性测评指标包括模型行为测评指标和模型结构测评指标，所述模型行为测评指标包括正确类平均置信度、对抗类平均相对置信度以及噪声容忍估计，所述模型结构测评指标包括神经元敏感度、神经元不确定性以及经验噪声不敏感度。
3.根据权利要求2所述的基于Kubernetes的异构智能模型鲁棒性测试方法，其特征在于，所述正确类平均置信度的计算公式如下：
4.根据权利要求2所述的基于Kubernetes的异构智能模型鲁棒性测试方法，其特征在于，所述对抗类平均相对置信度的的计算公式如下：
5.根据权利要求2所述的基于Kubernetes的异构智能模型鲁棒性测试方法，其特征在于，所述噪声容忍度的计算公式如下：
6.根据权利要求2所述的基于Kubernetes的异构智能模型鲁棒性测试方法，其特征在于，所述神经元敏感度的计算公式如下：
7.根据权利要求2所
8.根据权利要求2所述的基于Kubernetes的异构智能模型鲁棒性测试方法，其特征在于，所述经验噪声不敏感度的计算公式如下：
9.根据权利要求1所述的基于Kubernetes的异构智能模型鲁棒性测试方法，其特征在于，所述构建基于Kubernetes的异构智能模型对抗样本生成工具，具体包括以下步骤：
10.根据权利要求9所述的基于Kubernetes的异构智能模型鲁棒性测试方法，其特征在于，所述副本集的数量为2个以上。
...【技术特征摘要】
1.一种基于kubernetes的异构智能模型鲁棒性测试方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于kubernetes的异构智能模型鲁棒性测试方法，其特征在于，所述鲁棒性测评指标包括模型行为测评指标和模型结构测评指标，所述模型行为测评指标包括正确类平均置信度、对抗类平均相对置信度以及噪声容忍估计，所述模型结构测评指标包括神经元敏感度、神经元不确定性以及经验噪声不敏感度。
3.根据权利要求2所述的基于kubernetes的异构智能模型鲁棒性测试方法，其特征在于，所述正确类平均置信度的计算公式如下：
4.根据权利要求2所述的基于kubernetes的异构智能模型鲁棒性测试方法，其特征在于，所述对抗类平均相对置信度的的计算公式如下：
5.根据权利要求2所述的基于kubernetes的异构智能模型鲁棒性测试方法...
【专利技术属性】
技术研发人员：陈颖慧，张剑，刘俊涛，王元斌，罗荣，
申请(专利权)人：中船智海创新研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。