为了解决托管在云服务中、为用户提供查询服务的深度学习模型易受模型窃取攻击的问题，本发明专利技术提出了一种基于模型正交化的深度学习分类模型隐私保护方法及系统，通过最大化类对之间的距离，在不牺牲精度的前提下优化了决策边界，使得模型鲁棒性增加，显著减少了受攻击模型的信息泄露，有效的降低了模型窃取攻击的成功率，解决了传统防御策略的不足，从而保障了高成本的深度学习模型所有者的知识产权。
【技术实现步骤摘要】
本专利技术属于人工智能安全领域，利用模型正交化技术调整模型的决策边界，期望最大化类对之间的距离，在模型提供服务前进行训练，以抵御模型窃取攻击。
技术介绍
1、深度学习，特别是深度神经网络dnns，已经在许多领域的应用中取得了巨大的成功。一般来说，训练一个性能良好的深度神经网络模型需要大量的训练样本和计算资源。数据收集和训练都是昂贵且耗时的，这使得该模型对其所有者是一个有价值的知识产权。
2、深度学习模型通常托管在一个安全的云服务中提供服务，客户端通过基于云端的预测api查询模型，而无法获取模型结构和参数等隐私信息。然而，现有的研究已经证明了：即使在攻击者对模型隐私没有任何信息的前提下，攻击者可以通过查询私有模型的部分训练样本，训练一个具有与私有模型相似功能的替代模型。这损害了模型的隐私，破坏了模型的商业价值，因为攻击者后来获得基于替代模型的推理服务，而不向模型提供者支付费用。此外，由于对抗性样本在相同架构的模型之间比不同架构的模型之间具有更好的可转移性，因此经常理由替代模型制作好的可转移对抗样本，从而有效地欺骗原始模型做出错误的预测，构成严重的安全威胁。
3、模型硬化是一种常用的模型优化技术，旨在提高模型的鲁棒性。当前的模型硬化技术包括对抗性训练at、普遍对抗性扰动uap等，但现有的技术仍有很大的局限性，包括但不限于保护不足和影响模型性能。
技术实现思路
1、本专利技术提出了一种基于模型正交化的模型窃取攻击防御方法，使得模型可以抵御模型窃取攻击。
>2、本专利技术所涉及的基于模型正交化的深度学习分类模型隐私保护方法，其特殊之处在于，包括以下步骤：3、提供一个训练好的深度神经网络模型；
4、生成一个后门，将除目标类以外的其他类转换到目标类中，并用矩阵记录转换过程中损失变化，该矩阵称作先选矩阵，在先选矩阵中选择损失变化最大的类与目标类组成最有前途类对；
5、使用对称的后门生成算法生成两个附加后门，将两个附加后门分别附加在最有前途类对上，生成两个对抗样本；即这些后门被附加在类的样本后将类a的样本修改类b，类b的样本修改为类a；
6、利用对抗样本对模型进行训练，当模型精度下降达到预设边界时终止训练过程。
7、优选地，所述训练好的深度神经网络模型为已有模型或者初始模型，若为初始模型，则采用大量干净数据进行训练，数据过少则采用数据增强方法来扩大数据规模。
8、优选地，基于先选矩阵，使用一个k-arm调度器来选择最有前途类对。
9、优选地，在选择最有前途类对中，损失为交叉熵损失，最有前途类对调度过程中，利用贪婪算法在选择中引入随机性，具体来说，一个随机样本是从[0,1)上的均匀分布中抽取的，如果样本大于阈值，选择基于当前原则选取类对；否则，随机选择一个类对。
10、优选地，迭代训练过程，类对的选择引入一个目标函数，该目标函数结合了类对先选矩阵和后选矩阵；利用对抗样本对模型进行训练，将每个类对的距离变化用矩阵记录，该矩阵称作后选矩阵；类对的选择具体为：
11、
12、其中，p是所选择的类对，w是用于选择有潜力的类对的目标函数，决定了随机性水平，目标函数w是两个分量先选矩阵u和后选矩阵v相结合，具体为：
13、
14、其中，参数α控制调度器对来自两个阶段的信息的依赖程度，i是训练迭代的次数，n是类的数量， n为目标类个数。
15、进一步地，为防止因为类距离在训练过程中的震荡导致错过潜在的类对，考虑了一个积累的类距离变化与指数衰减的早期变化，如下所示，
16、
17、其中，q是类对被选择当前迭代的次数；是后门掩码矩阵m从源类s到目标类t的范数，用于表示它们的距离，在预热阶段使用通用后门的尺寸作为初始的，后选择矩阵v中的条目在每次迭代都用上式进行更新，后选择矩阵v的条目表示类对的累计类距离变化。
18、基于同一专利技术构思，本方案还设计了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；
19、当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现基于模型正交化的深度学习分类模型隐私保护方法。
20、基于同一专利技术构思，本方案还设计了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现基于模型正交化的深度学习分类模型隐私保护方法。
21、本专利技术的优点在于：提出了一种全新的模型硬化方法，能够抵御后门攻击以及模型窃取攻击，以保护模型所有者的知识产权不受破坏。现有的研究发现，良好的决策边界可以显著提高模型的鲁棒性，减少预测过程中的模型隐私泄露。本专利技术利用模型正交化技术，目标是实现类对之间的正交决策边界。首先利用神经净化技术为每个类对生成两个后门，用于翻转样本的预测；然后利用生成的后门对模型进行反向训练，从而实现类对之间的正交决策边界。同时提出了一种全新的调度程序，未每批训练选择最有潜力的类对，大幅降低训练成本。
本文档来自技高网...
【技术保护点】
1.一种基于模型正交化的深度学习分类模型隐私保护方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于模型正交化的深度学习分类模型隐私保护方法，其特征在于：所述训练好的深度神经网络分类模型为已有模型或者初始模型，若为初始模型，则采用大量干净数据进行训练，数据过少则采用数据增强方法来扩大数据规模。
3.根据权利要求1所述的基于模型正交化的深度学习分类模型隐私保护方法，其特征在于：采用通用后门生成步骤生成一个后门，其表示公式为：
4.根据权利要求1所述的基于模型正交化的深度学习分类模型隐私保护方法，其特征在于：基于先选矩阵，使用一个K-arm调度器来选择最有前途类对。
5.根据权利要求1所述的基于模型正交化的深度学习分类模型隐私保护方法，其特征在于：在选择最有前途类对中，损失为交叉熵损失，损失变化采用下式进行：
6.根据权利要求1所述的基于模型正交化的深度学习分类模型隐私保护方法，其特征在于：最有前途类对调度过程中，利用贪婪算法在选择中引入随机性，具体来说，一个随机样本是从[0,1)上的均匀分布中抽取的，如果样本大于阈值，选择基于当前原则选取类对；否则，随机选择一个类对。
7.根据权利要求6所述的基于模型正交化的深度学习分类模型隐私保护方法，其特征在于：迭代训练过程，类对的选择引入一个目标函数，该目标函数结合了类对先选矩阵和后选矩阵；利用对抗样本对模型进行训练，将每个类对的距离变化用矩阵记录，该矩阵称作后选矩阵；类对的选择具体为：
8.根据权利要求1所述的基于模型正交化的深度学习分类模型隐私保护方法，其特征在于：为防止因为类距离在训练过程中的震荡导致错过潜在的类对，考虑了一个积累的类距离变化与指数衰减的早期变化，如下所示，
9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；
10.一种计算机可读介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现权利要求1-8中任一项所述的方法。
...
【技术特征摘要】
1.一种基于模型正交化的深度学习分类模型隐私保护方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于模型正交化的深度学习分类模型隐私保护方法，其特征在于：所述训练好的深度神经网络分类模型为已有模型或者初始模型，若为初始模型，则采用大量干净数据进行训练，数据过少则采用数据增强方法来扩大数据规模。
3.根据权利要求1所述的基于模型正交化的深度学习分类模型隐私保护方法，其特征在于：采用通用后门生成步骤生成一个后门，其表示公式为：
4.根据权利要求1所述的基于模型正交化的深度学习分类模型隐私保护方法，其特征在于：基于先选矩阵，使用一个k-arm调度器来选择最有前途类对。
5.根据权利要求1所述的基于模型正交化的深度学习分类模型隐私保护方法，其特征在于：在选择最有前途类对中，损失为交叉熵损失，损失变化采用下式进行：
6.根据权利要求1所述的基于模型正交化的深度学习分类模型隐私保护方法，其特征在于：最有前途类对调度过...
【专利技术属性】
技术研发人员：何秉坤，杨德淞，王骞，龚雪鸾，
申请(专利权)人：武汉大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。