本发明专利技术公开了一种高效的规模化人工智能模型安全性评估方法及装置，其中方法包括：对待测人工智能模型的输入进行预处理，并根据使用的攻击和防御方法生成相应的配置文件；对物理资源进行监控，实时记录资源使用情况；将所有对抗攻击方法打包为Docker镜像形式保存在镜像库，根据为待测人工智能模型生成的配置文件以及资源使用情况启动对应的测试任务，从镜像库中启动相应攻击方法的镜像容器，被启动的镜像容器根据配置文件自动执行攻击算法，攻击结束后将镜像容器返回的结果保存至数据库。可实现不同框架模型之间的统一格式转换和描述，支持多种人工智能框架，可实现对抗样本攻击算法的虚拟化和容器化。法的虚拟化和容器化。法的虚拟化和容器化。
【技术实现步骤摘要】
一种高效的规模化人工智能模型安全性评估方法及装置
[0001]本专利技术涉及人工智能
，尤其涉及一种高效的规模化人工智能模型安全性评估方法及装置。
技术介绍
[0002]近几年对人工智能的研究和应用发展非常迅速，机器学习和深度学习模型大量应用在现实生活中，例如智能驾驶，语音识别等。尽管人工智能的广泛应用成功的为人类解决了某些复杂问题，但是有研究表明人工智能技术也面临多种不容忽视的安全威胁，攻击者可以通过构造加入了人眼难以察觉的轻微扰动的对抗样本来干扰人工智能模型的判断，甚至可以更改模型的输出为攻击者想要的任意结果，随着人工智能算法的不断发展和攻防双方对抗的逐步激化，如何保证深度学习模型的安全成为一个迫在眉睫的问题。
[0003]因此需要在人工智能模型投入使用前对其进行安全分析。但目前人工智能框架繁多，常见的有Pytorch，TensorFlow，MXNet等，目前已有的对模型进行安全分析的方法通常是使用对抗攻击和防御方法针对某个框架或特定模型的，这些模型通常需要多种多样的运行环境，且模型本身体积较大，具有通用性差，部署困难，使用门槛高等缺点。
技术实现思路
[0004]为了解决上述问题，本专利技术提出一种高效的规模化人工智能模型安全性评估方法及装置，可实现不同框架模型之间的统一格式转换和描述，支持多种人工智能框架，可实现对抗样本攻击算法的虚拟化和容器化；能够对多个同时运行的攻击容器进行资源管理与调度，使之更有效的利用物理资源；能够自动对人工智能模型进行黑白盒攻击测试，并可以生成对抗样本，评估模型安全性。
[0005]本专利技术采用的技术方案如下：
[0006]一种高效的规模化人工智能模型安全性评估方法，包括：
[0007]测试配置生成：对待测人工智能模型的输入进行预处理，并根据使用的攻击和防御方法生成相应的配置文件；
[0008]资源监控：对物理资源进行监控，实时记录资源使用情况；
[0009]容器调度管理：将所有对抗攻击方法打包为Docker镜像形式保存在镜像库，根据为待测人工智能模型生成的配置文件以及资源使用情况启动对应的测试任务，从镜像库中启动相应攻击方法的镜像容器，被启动的镜像容器根据配置文件自动执行攻击算法，攻击结束后将镜像容器返回的结果保存至数据库。
[0010]进一步地，测试配置生成过程中，使用ONNX即开放神经网络交换技术对输入的待测人工智能模型进行转换，自动判断待测人工智能模型的框架格式，并根据格式调用相应框架的ONNX转换代码容器，完成从目标模型到ONNX模型的格式转换。
[0011]进一步地，完成对待测人工智能模型的攻击后，会生成若干对抗样本文件，通过统计其中攻击成功和攻击失败的样本个数，以及每个对抗样本与原始样本的差别从而得到安
全性评估指标。
[0012]进一步地，所述安全性评估指标包括误分类率、对抗样本类别平均置信度、正确类别平均置信度和平均失真。
[0013]进一步地，误分类率的高低直接反映了攻击的有效性，对于非目标攻击而言误分类率是指将样本错误地分类到任意除正确的类别中的频率，而对于目标攻击来说误分类率是指将样本错误归类到指定的类别中的频率；误分类率的计算公式为：
[0014][0015][0016]其中N为样本总数，为生成的第i个对抗样本的类别，y
i
为对应的第i个原始样本类别，为第i个样本的目标攻击类别。
[0017]进一步地，对抗样本类别平均置信度是对错误分类的可靠性进行评估的指标，值越大反映模型的误判程度越大，证明在相同攻击参数下模型鲁棒性越低；对抗样本类别平均置信度的计算公式为：
[0018][0019]其中n为对抗攻击成功的样本数目，为第i个模型对样本的预测输出结果，为针对第i个样本模型输出层输出的各类别概率结果。
[0020]进一步地，正确类别平均置信度是对正确分类的可靠性进行评估的指标，更细化地评估攻击偏离正确类的程度，值越小表示模型对正确类别的置信度越低，模型鲁棒性越差；正确类别平均置信度的计算公式为：
[0021][0022]其中n为对抗攻击成功的样本数目，y
i
为第i个样本的正确标签，为针对第i个样本模型输出层输出的各类别概率结果。
[0023]进一步地，平均失真表示生成的对抗样本与原始样本之间的p阶范数距离，其中L0范数表示对抗样本中有多少像素发生了改变，L2范数表示对抗样本与原始样本的欧氏距离，L
∞
范数表示对抗样本中被改变的元素最大值，这三个距离表示攻击方法产生能够让模型误分类的图像与原图像的差别，该差别越小则说明模型鲁棒性越差；平均失真的计算公式为：
[0024][0025]其中p为范数，n为样本数，为对抗样本图像，X
i
为原始样本图像。
[0026]一种高效的规模化人工智能模型安全性评估装置，包括：
[0027]测试配置生成模块，用于对待测人工智能模型的输入进行预处理，并根据使用的攻击和防御方法生成相应的配置文件；
[0028]资源监控模块，用于对物理资源进行监控，实时记录资源使用情况；
[0029]容器调度管理模块，用于将所有对抗攻击方法打包为Docker镜像形式保存在镜像库，根据为待测人工智能模型生成的配置文件以及资源使用情况启动对应的测试任务，从镜像库中启动相应攻击方法的镜像容器，被启动的镜像容器根据配置文件自动执行攻击算法，攻击结束后将镜像容器返回的结果保存至数据库。
[0030]进一步地，测试配置生成模块通过ONNX即开放神经网络交换技术对输入的待测人工智能模型进行转换，自动判断待测人工智能模型的框架格式，并根据格式调用相应框架的ONNX转换代码容器，完成从目标模型到ONNX模型的格式转换。
[0031]本专利技术的有益效果在于：
[0032](1)可实现不同框架模型之间的统一格式转换和描述，支持多种人工智能框架模型，方便部署和使用；
[0033](2)可对人工智能模型的安全性进行评估测试，提示模型可能面对的攻击风险；
[0034](3)使用简单方便，只需配置少量代码即可自动对不同模型进行多种安全性测试。
[0035](4)能够对多个同时运行的攻击容器进行资源管理与调度，有效利用硬件计算资源。
附图说明
[0036]图1为智能模型安全性评估装置的系统架构图。
[0037]图2为智能模型安全性评估装置的使用流程图。
[0038]图3为容器调度模块的工作流程图。
具体实施方式
[0039]为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现说明本专利技术的具体实施方式。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术，即所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0040]实施例1<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种高效的规模化人工智能模型安全性评估方法，其特征在于，包括：测试配置生成：对待测人工智能模型的输入进行预处理，并根据使用的攻击和防御方法生成相应的配置文件；资源监控：对物理资源进行监控，实时记录资源使用情况；容器调度管理：将所有对抗攻击方法打包为Docker镜像形式保存在镜像库，根据为待测人工智能模型生成的配置文件以及资源使用情况启动对应的测试任务，从镜像库中启动相应攻击方法的镜像容器，被启动的镜像容器根据配置文件自动执行攻击算法，攻击结束后将镜像容器返回的结果保存至数据库。2.根据权利要求1所述的高效的规模化人工智能模型安全性评估方法，其特征在于，测试配置生成过程中，使用ONNX即开放神经网络交换技术对输入的待测人工智能模型进行转换，自动判断待测人工智能模型的框架格式，并根据格式调用相应框架的ONNX转换代码容器，完成从目标模型到ONNX模型的格式转换。3.根据权利要求1所述的高效的规模化人工智能模型安全性评估方法，其特征在于，完成对待测人工智能模型的攻击后，会生成若干对抗样本文件，通过统计其中攻击成功和攻击失败的样本个数，以及每个对抗样本与原始样本的差别从而得到安全性评估指标。4.根据权利要求3所述的高效的规模化人工智能模型安全性评估方法，其特征在于，所述安全性评估指标包括误分类率、对抗样本类别平均置信度、正确类别平均置信度和平均失真。5.根据权利要求3所述的高效的规模化人工智能模型安全性评估方法，其特征在于，误分类率的高低直接反映了攻击的有效性，对于非目标攻击而言误分类率是指将样本错误地分类到任意除正确的类别中的频率，而对于目标攻击来说误分类率是指将样本错误归类到指定的类别中的频率；误分类率的计算公式为：指定的类别中的频率；误分类率的计算公式为：其中N为样本总数，为生成的第i个对抗样本的类别，y
i
为对应的第i个原始样本类别，为第i个样本的目标攻击类别。6.根据权利要求3所述的高效的规模化人工智能模型安全性评估方法，其特征在于，对抗样本类别平均置信度是对错误分类的可靠性进行评估的指标，值越大反映模型的误判程度越大，证明在相同攻击参数下模型鲁棒性越低；对抗样本类别平均置信...
【专利技术属性】
技术研发人员：王一凡，孙治，和达，权赵恒，何秉钧，陈剑锋，
申请(专利权)人：中国电子科技网络信息安全有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。