一种模型攻击的防御方法及装置制造方法及图纸

本说明书提供一种模型攻击的防御方法及装置。所述方法包括：当集成模型被调用时，获取所述集成模型中各个子模型输出的子预测结果；判断所述调用是否符合攻击调用；若所述调用符合攻击调用，则采用预设的防御输出策略，基于所述各个子模型输出的子预测结果确定出所述集成模型的预测结果并输出。上述方案可有效防御成员推测攻击、对抗样本攻击等模型攻击，避免用户隐私泄露，保护用户个人数据的安全。

A defense method and device of model attack

【技术实现步骤摘要】
一种模型攻击的防御方法及装置
本说明书涉及人工智能领域，尤其涉及一种模型攻击的防御方法及装置。
技术介绍
随着人工智能技术的不断发展，机器学习即服务(MachineLearningasaService，MLaaS)已广泛应用于互联网公司的云平台服务中，例如Google的预测API、亚马逊机器学习(AmazonML)、MicrosoftAzure机器学习(AzureML)等等。MLaaS依赖于机器学习模型为用户提供服务，随着机器学习模型的不断发展与完善，针对模型的攻击也越来越多，例如：成员推测攻击、对抗攻击等，这些攻击会对机器学习模型的安全性造成巨大威胁。以成员推测攻击为例，攻击者会利用模型在训练集和测试集上表现的差异，推测模型的训练集，即推测模型在训练过程中是否使用了某个特定的样本。例如，某公司线上部署了一个训练好的模型，攻击者可以通过成员推测攻击，推测模型的训练集，进而根据推测得到的训练集进一步推测模型的结构、模型参数等数据，威胁了模型的安全。当模型的样本涉及用户的隐私数据时，攻击者还能利用推测得到的训练集样本，推测用户的隐私本文档来自技高网...

【技术保护点】
1.一种模型攻击的防御方法，包括：/n当集成模型被调用时，获取所述集成模型中各个子模型输出的子预测结果；/n判断所述调用是否符合攻击调用；/n若所述调用符合攻击调用，则采用预设的防御输出策略，基于所述各个子模型输出的子预测结果确定出所述集成模型的预测结果并输出。/n

【技术特征摘要】
1.一种模型攻击的防御方法，包括：
当集成模型被调用时，获取所述集成模型中各个子模型输出的子预测结果；
判断所述调用是否符合攻击调用；
若所述调用符合攻击调用，则采用预设的防御输出策略，基于所述各个子模型输出的子预测结果确定出所述集成模型的预测结果并输出。


2.根据权利要求1所述方法，所述方法还包括：
若所述调用不符合攻击调用，则采用预设的缺省输出策略，基于所述各个子模型输出的子预测结果确定出所述集成模型的预测结果并输出。


3.根据权利要求2所述方法，所述采用预设的缺省输出策略，基于所述各个子模型输出的子预测结果确定出所述集成模型的预测结果并输出，包括：
对所述子预测结果进行加权平均计算，得到所述集成模型的预测结果并输出；或
将所述子预测结果中置信度最高的子预测结果作为所述集成模型的预测结果并输出；或
当所述子预测结果中存在多个相同的子预测结果时，将出现次数最多的子预测结果作为所述集成模型的预测结果并输出。


4.根据权利要求1所述方法，所述采用预设的防御输出策略，基于所述各个子模型输出的子预测结果确定出所述集成模型的预测结果并输出，包括：
将所述子预测结果中置信度最低的子预测结果作为所述集成模型的预测结果并输出。


5.根据权利要求1所述方法，所述判断所述调用是否符合攻击调用，包括：
判断调用方的调用频率是否达到频率阈值，若达到所述频率阈值，则确定所述调用符合攻击调用；或
判断调用方在当前统计周期内的调用次数是否达到次数阈值，若达到所述次数阈值，则确定所述调用符合攻击调用。


6.根据权利要求5所述方法，所述频率阈值/次数阈值的确定方式，包括：
根据调用方标识获取调用方的历史调用信息，基于所述历史调用信息确定所述频率阈值/次数阈值。


7.根据权利要求6所述方法，所述基于所述历史调用信息确定所述频率阈值/次数阈值，包括：
根据所述调用方在指定的历史统计周期内的调用频率/调用次数，建立逻辑回归模型；
根据所述逻辑回归模型预测所述调用方在当前统计周期的调用频率/调用次数；
根据所述当前统计周期的调用频率/调用次数确定所述频率阈值/次数阈值。


8.一种模型攻击的防御装置，包括：
获取模块，当集成模型被调用时，获取所述集成模型中各个子模型输出的子预测结果；
判断模块，判断所述调用是...

【专利技术属性】
技术研发人员：翁海琴，薛峰，宗志远，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33