【技术实现步骤摘要】
本专利技术涉及信息安全技术，特别涉及在机器学习即服务模式mlaas的防御技术。
技术介绍
0、技术背景
1、近年来，为了促进机器学习服务的部署，许多科技巨头，如谷歌、亚马逊、微软等已经推出了它们基于云的机器学习即服务(machine learning as a services，mlaas)模式。用户可以通过云服务器所提供的应用程序编程接口api访问机器学习预测服务，这一操作大大降低了使用机器学习服务的门槛，用户可以从繁琐耗时的模型训练过程中解脱出来，直接付费使用第三方公司提供的机器学习服务。因此，mlaas中预训练好的深度学习模型可以被视为公司的知识产权，因为训练一个模型需要大量的数据和计算资源。然而，最近的研究表明，mlaas中处于发布阶段的预训练模型很容易受到模型窃取攻击的威胁。攻击者使用恶意构造的查询样本来不断查询待保护模型，以获得回复的结果。然后利用这些(查询-回复)集合作为训练集来重建一个与原始模型(也称为待保护模型)功能相似的替代模型。
2、在防御模型窃取的研究上出现了很多优秀的工作，它们主要可以分为三类：恶意查询检测、带扰动的回复和模型水印，分别实施于查询阶段，模型回复阶段和事后防御措施。
3、然而，现有的模型窃取防御工作仍然有一些局限性：在恶意查询检测方面，敌手可能会通过串通多个的恶意用户来查询待保护模型以绕过方案的检测，分类器的过度自信现象也可能会降低检测方法的检测精度；在带扰动的回复方面，之前的工作提出过多种防御手段，但它们的防御效果都不够显著，仍能够被进一步改进和提高。
技术实现思路
1、本专利技术所要解决的技术问题是，提供一种能提高模型窃取攻击的检测精度，且在mlaas模式的多个步骤上都施加模型窃取攻击防御的方法。
2、本专利技术为解决上述技术问题所采用的技术手段是，一种针对模型窃取攻击的综合防御方法，包括步骤：
3、对抗训练步骤：在训练阶段将现有的训练样本中靠近原始决策边界的正常样本生成的对抗样本放入正常样本训练集中进行被保护模型的训练；
4、恶意查询检测步骤：在接收到查询时，先计算各查询经过温度缩放的最大置信度tmsp，判断tmsp与预设查询阈值比较区分各查询是恶意查询或良性查询；在利用各用户提交的恶意查询数与总查询次数之比得到该用户的可疑程度值；最后，通过该用户的可疑程度值与预设嫌疑度阈值比较来检测出恶意用户，为每个恶意用户建立并维护该恶意用户的一个扰动结果集后进入自适应回复步骤；
5、自适应回复步骤：按照预设概率向恶意用户返回扰动过的预测结果并将该恶意用户的查询以及扰动过的预测结果存储至所述扰动结果集；所述扰动的方式为基于最优停止理论的标签翻转；
6、所有权验证步骤：使用恶意用户的扰动结果集对被保护模型之外的其他模型进行是否窃取被保护模型的验证，先发送恶意用户的扰动结果集的查询至待验证模型，接收验证模型返回的预测结果并与查询对应的扰动过的预测结果进行比较，如一致，则认为该查询被验证；当存在一个恶意用户的扰动结果集中被验证的查询与该恶意用户的扰动结果集中查询总数之比大于预设比例阈值时，则判断待验证模型为通过模型窃取而得的非法模型。
7、本专利技术提出的针对模型窃取攻击的综合防御框架amao，在训练阶段施加对抗训练以获得更鲁棒的模型，并削弱模型窃取攻击的效果，导致攻击者需要提交更多的恶意查询才能达到预期的攻击目标。在这之后，恶意查询检测用来检测和识别恶意查询并标记恶意用户。然后，针对恶意用户，防御者采用自适应回复策略，用添加了扰动的结果回复恶意用户。这些扰动的结果不仅可以减弱模型窃取攻击的效果，还可以为后续的模型所有权验证步骤做准备。最后，模型所有权验证可以通过扰动结果集进行验证。
8、本专利技术的有益效果是，能提高模型窃取攻击的检测精度，且amao在mlaas模式的每个阶段都有相应的防御措施，各个阶段能够相互促进，并达到最佳的整体防御能力。
本文档来自技高网...【技术保护点】
1.一种针对模型窃取攻击的综合防御方法，其特征在于，包括步骤：
2.如权利要求1所述方法，其特征在于，自适应回复步骤中基于最优停止理论的标签翻转的具体方式为：按照预设概率1/M，从恶意用户收到的查询每M个分为一组，再设置一个小于M的观察值r；对一组查询，先计算前r-1个查询的置信度差距，再从第M-r+1个查询开始，如出现任何一个查询的置信度差距大于前r-1个查询中置信度差距的最大值，则该查询被选中进行其预测结果对应标签的翻转到置信度最低的类别；所述置信度差距为每个查询的最大置信度和最小置信度之间的差距。
3.如权利要求2所述方法，其特征在于，观察值r设置为M/e，其中e为自然常数。
4.如权利要求1所述方法，其特征在于，查询经过温度缩放的最大置信度TMSP计算方式如下：
5.如权利要求1所述方法，其特征在于，嫌疑度阈值设置为0.1。
6.如权利要求1所述方法，其特征在于，预设比例阈值被设定为0.01。
【技术特征摘要】
1.一种针对模型窃取攻击的综合防御方法，其特征在于，包括步骤：
2.如权利要求1所述方法，其特征在于，自适应回复步骤中基于最优停止理论的标签翻转的具体方式为：按照预设概率1/m，从恶意用户收到的查询每m个分为一组，再设置一个小于m的观察值r；对一组查询，先计算前r-1个查询的置信度差距，再从第m-r+1个查询开始，如出现任何一个查询的置信度差距大于前r-1个查询中置信度差距的最大值，则该查询被选中进行其预测结果对应标签的...
【专利技术属性】
技术研发人员：姜文博，李洪伟，鲁钰馨，张瑞，张然，王涛，张希琳，杨浩淼，刘鹏飞，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。