一种网络模型的防攻击能力测试方法及装置制造方法及图纸

本说明书实施例提供了一种网络模型的防攻击能力测试方法及装置。在该方法中，服务平台执行可以提供自定义待测试的网络模型，自定义针对网络模型的自然测试集，自定义针对网络模型的攻击方式，以及自定义用于评估网络模型的防攻击效果的评估指标的功能。当确定待检测的网络模型以及自然测试集、攻击方式和评估指标之后，可以利用自然测试集，在攻击方式下确定网络模型输出的预测结果，并基于评估指标和预测结果，对网络模型的防攻击能力进行评估，得到评估结果。得到评估结果。得到评估结果。

【技术实现步骤摘要】
一种网络模型的防攻击能力测试方法及装置


[0001]本说明书一个或多个实施例涉及计算机
，尤其涉及一种网络模型的防攻击能力测试方法及装置。

技术介绍

[0002]在当前的数据计算时代中，确保模型的安全性和鲁棒性至关重要。最近，研究者发现机器学习算法无法有效地处理攻击样本。这些伪造的攻击样本对人类的判断没有太大影响，但会使经过深度学习的网络模型输出意想不到的结果，影响了网络模型的安全性和鲁棒性。并且，目前大家对自己的隐私数据越来越关注，当模型的安全性不够高时，也会影响用户隐私数据的安全性。
[0003]因此，希望能有更新的方案，可以提高对网络模型进行防攻击能力测试时的有效性和通用性，以便根据测试结果更好地提升网络模型的安全性和鲁棒性。

技术实现思路

[0004]本说明书一个或多个实施例描述了一种网络模型的防攻击能力测试方法及装置，以有效地对网络模型的防攻击能力进行测试。具体的技术方案如下。
[0005]第一方面，实施例提供了一种网络模型的防攻击能力测试方法，通过服务平台执行，包括：
>[0006]获取待本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络模型的防攻击能力测试方法，通过服务平台执行，包括：获取待测试的网络模型；确定针对所述网络模型的自然测试集，确定针对所述网络模型的攻击方式；确定用于评估所述网络模型的防攻击效果的评估指标；利用所述自然测试集，在所述攻击方式下确定所述网络模型输出的预测结果；基于所述评估指标和所述预测结果，对所述网络模型的防攻击能力进行评估，得到评估结果。2.根据权利要求1所述的方法，所述获取待测试的网络模型的步骤，包括：接收用户输入的待预测的网络模型。3.根据权利要求1所述的方法，所述确定针对所述网络模型的自然测试集的步骤，包括：接收用户输入的针对所述网络模型的自然测试集；或者，基于用户针对测试集库中的若干个自然测试集的选择操作，确定针对所述网络模型的自然测试集。4.根据权利要求1所述的方法，所述确定针对所述网络模型的攻击方式的步骤，包括：接收用户输入的针对所述网络模型的攻击方式；或者，基于用户针对攻击方式库中的若干个攻击方式的选择操作，确定针对所述网络模型的攻击方式。5.根据权利要求1所述的方法，所述确定用于评估所述网络模型的防攻击效果的评估指标的步骤，包括：接收用户输入的针对所述网络模型的所述评估指标；或者，基于用户针对评估指标库中的若干个评估指标的选择操作，得到所述评估指标。6.根据权利要求1所述的方法，所述利用所述自然测试集，在所述攻击方式下确定所述网络模型输出的预测结果的步骤，包括：采用与所述攻击方式对应的数据处理方式对所述自然测试集进行处理，得到对抗测试集；通过所述网络模型，分别确定所述对抗测试集中的样本对应的预测结果。7.根据权利要求6所述的方法，所述自然测试集为若干个，所述攻击方式为若干个；所述采用与所述攻击方式对应的数据处理方式对所述自然测试集进行处理的步骤，包括：确定若干个自然测试集与若干个攻击方式之间的组合；针对每个组合，采用与该组合中的攻击方式对应的数据处理方式对该组合中的自然测试集进行处理，得到该组合对应的对抗测试集，从而得到每个组合对应的对抗测试集；所述通过所述网络模型，分别确定所述对抗测试集中的样本对应的预测结果的步骤，包括：通过所述网络模型，分别确定每个组合对应的对抗测试集中样本的预测结果。8.根据权利要求6所述的方法，所述对所述网络模型的防攻击能力进行评估的步骤，包括：通过所述网络模型，分别确定所述自然测试集中的样本对应的预测结果；
基于所述评估指标，以及所述对抗测试集对应的预测结果和所述自然测试集对应的预测结果，对所述网络模型的防攻击能力进行评估。9.根据权利要...

【专利技术属性】
技术研发人员：崔世文，李志峰，孟昌华，王维强，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：