【技术实现步骤摘要】
本专利技术涉及深度学习模型保护领域，尤其涉及一种基于授权验证机制的边缘端模型保护方法及其系统。
技术介绍
1、深度学习模型现已广泛应用于各种场景，如自动驾驶车辆的路标识别，医疗图像分析等。一方面，训练深度神经网络(dnn)模型是非常高成本的，为了训练出一个能够解决实际任务的模型，拥有者往往需要投入大量的成本和花销。另一方面，随着dnn模型的应用范围越来越广泛，将dnn模型直接部署在了边缘端设备中将成为一种趋势，最近的研究显示，从2020年2月到2021年4月，谷歌商店中的深度学习模型嵌入式程序的数量几乎翻倍。
2、然而，这些边缘设备模型很容易受到攻击者的窃取和非法访问，这些部署在边缘设备上的dnn模型可以被逆向，从而得到dnn模型的结构和参数，当边缘设备模型未加保护时，攻击者可以很轻松的访问并滥用模型，这会给模型所有者带来很大的利益损失。为了保护模型所有者的利益，亟需一种有效的边缘端模型保护技术。
3、边缘端模型由特征提取器和分类器构成，特征提取器主要由卷积核组成，分类器主要为全连接层；目前的边缘端模型保护技术主要依赖于模型加密。这些方法通过对模型进行加密，使发布者能将其加密后部署到硬件设备中。尽管这些方法能在存储阶段保护模型，但执行环境的安全性常难以确保。研究者发现，一旦这些dnn模型在解密后运行，处于执行状态的模型仍可能被攻击者捕获并反向工程，最终获取其高级表示，这对于基于模型加密的方法构成了挑战。
4、为了保护处于运行状态的模型，部分方法将模型放入可信执行环境中进行运行来保护模型，可信执
5、综上所述，保护边缘端模型的关键在于三个方面：(1)有效保护模型的结构和参数；(2)不仅在存储状态下，在执行过程中也要起到保护作用；(3)对模型的运行开销尽量的小。
技术实现思路
1、本专利技术针对现有技术的不足，提出了一种基于授权验证机制的边缘端模型保护方法及其系统。本专利技术采用授权验证机制做到了对模型使用权的隔离，起到了保护模型知识产权的作用。在授权使用的情况下，经过保护的模型可以和保护前的模型具有几乎相同的准确率，在未经过授权的情况下经过保护的模型准确率将会发生大幅度退化。本专利技术提出的保护方案在额外运算开销极小的情况下，实现了边缘端模型的知识产权的有效保护。
2、本专利技术首先提供了一种基于授权验证机制的边缘端模型保护方法，包括以下步骤：
3、1)在边缘端模型中确定待保护的卷积核并确定授权参数；对待保护的卷积核做混淆；所述边缘端模型包括特征提取器和分类器，特征提取器包括卷积核，分类器包括全连接层；所述授权参数包括授权矩阵和授权因子；
4、2)根据步骤1)中的授权参数构建授权模块并生成验证层；
5、3)将步骤2)中构建的授权模块部署到边缘端模型，并将生成的验证层嵌入边缘端模型中，完成边缘端模型保护系统的构建。
6、作为本专利技术的优选方案，所述步骤1)中根据边缘端模型中各层卷积核与输入层的距离以及各层卷积核的参数数量确定待保护的卷积核。
7、作为本专利技术的优选方案，所述步骤1)中所述授权矩阵为一个和待保护卷积核的输入特征图维度相同的矩阵，其中矩阵的每个元素都由随机数生成；所述随机数根据随机分布生成；所述授权因子为一个浮点数，由随机分布直接生成。
8、作为本专利技术的优选方案，所述步骤1)中对待保护的卷积核做混淆具体为：在待保护卷积核[w]·[x1]+[b]＝[y1]中引入一个混淆因子α，并将原本待保护卷积核的参数都扩大α倍从而进行混淆，混淆后的卷积核为α[w]·[x1]+α[b]＝α[y1]；其中w是根据待保护卷积核的参数构造出的等价乘积矩阵，b是根据待保护卷积核的参数构造出的等价偏置矩阵，x1是输入特征图，y1是输入特征图后待保护卷积核运算的输出。
9、作为本专利技术的优选方案，步骤2)中，所述验证层包括乘法部分和加法部分；乘法部分的乘法元素γ为：
10、
11、加法部分的矩阵元素[d]为：
12、
13、[w]·[k]+[b]＝[y2]
14、其中，β为授权参数中的授权因子；k为授权参数中的授权矩阵，y2为输入授权矩阵待保护卷积核运算的输出。
15、作为本专利技术的优选方案，所述步骤3)中，部署授权模块具体为：将授权模块单独部署在安全的环境中，利用授权模块对混淆后的卷积核的输入特征图进行授权；
16、作为本专利技术的优选方案，所述步骤3)中，生成的验证层嵌入神经网络后对混淆后的卷积核的输出进行运算
17、作为本专利技术的优选方案，所述安全的环境为可信执行环境。
18、本专利技术还提供了一种用于实现上述边缘端模型保护方法的系统，包括：
19、卷积核混淆模块，用于确定待保护的卷积核，并将待保护的卷积核进行混淆；
20、授权模块，独立置于安全的环境中；利用确定待保护的卷积核的授权参数对输入特征图授权，并将授权后的特征图传输到混淆后的卷积核进行卷积；
21、验证层生成模块，用于根据授权参数构建验证层，并将验证层嵌入到混淆后的卷积核之后，通过验证层对混淆后卷积核的输出进行运算。
22、与现有技术相比，本专利技术的有益效果如下：
23、1)因为本专利技术采用了一种能够对边缘端模型进行使用授权的机制，该机制能够在模型推理过程中对模型的使用进行授权，未经过授权的深度学习将无法使用，很好的让深度学习模型免受于未授权使用。因此克服了现有技术中无法在模型运行时保护模型的问题，从而做到了边缘端设备中深度学习模型的有效保护
24、2)因为本专利技术提出的使用授权机制能够在不影响模型准确率的情况下对模型加以保护，这克服了现有技术中给模型添加防御后模型会产生准确率损失的问题，从而让方法的实用性大大提升，避免了模型准确率和鲁棒性之间需要折衷的问题。
25、3)因为本专利技术提出的授权过程仅需要1次矩阵乘法运算和1次矩阵加法运算即可完成，这让方法在可信执行环境中的额外开销相比于模型原开销而言非常的小，因此克服了现有方法大多在很大程度上增加了模型开销的问题，从而让方法在实际使用过程中能够更加轻量化，避免了在系统运算开销和防御鲁棒性之间的折衷
本文档来自技高网...【技术保护点】
1.一种基于授权验证机制的边缘端模型保护方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的边缘端模型保护方法，其特征在于，所述步骤1)中根据边缘端模型中输入层与各层卷积核的距离以及各层卷积核的参数数量确定待保护的卷积核。
3.根据权利要求1所述的边缘端模型保护方法，其特征在于，所述步骤1)中所述授权矩阵为一个和待保护卷积核的输入特征图维度相同的矩阵，其中矩阵的每个元素都由随机数生成；所述随机数根据随机分布生成；所述授权因子为一个浮点数，由随机分布直接生成。
4.根据权利要求1所述的边缘端模型保护方法，其特征在于，所述步骤1)中对待保护的卷积核做混淆具体为：在待保护卷积核[w]·[x1]+[b]＝[y1]中引入一个混淆因子α，并将原本待保护卷积核的参数都扩大α倍从而进行混淆，混淆后的卷积核为α[w]·[x1]+α[b]＝α[y1]；其中w是根据待保护卷积核的参数构造出的等价乘积矩阵，b是根据待保护卷积核的参数构造出的等价偏置矩阵，x1是输入特征图，y1是输入特征图后待保护卷积核运算的输出。
5.根据权利要求4所述的边缘端模型保
6.根据权利要求5所述的边缘端模型保护方法，其特征在于，所述步骤3)中，部署授权模块具体为：将授权模块单独部署在安全的环境中，利用授权模块对混淆后的卷积核的输入特征图进行授权；经过授权的特征图输入到混淆后的卷积核为：
7.根据权利要求6所述的边缘端模型保护方法，其特征在于，所述步骤3)中，生成的验证层嵌入边缘端模型后对混淆后的卷积核的输出进行运算：
8.根据权利要求6所述的边缘端模型保护方法，其特征在于，所述安全的环境为可信执行环境。
9.一种用于实现权利要求1所述边缘端模型保护方法的系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于授权验证机制的边缘端模型保护方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的边缘端模型保护方法，其特征在于，所述步骤1)中根据边缘端模型中输入层与各层卷积核的距离以及各层卷积核的参数数量确定待保护的卷积核。
3.根据权利要求1所述的边缘端模型保护方法，其特征在于，所述步骤1)中所述授权矩阵为一个和待保护卷积核的输入特征图维度相同的矩阵，其中矩阵的每个元素都由随机数生成；所述随机数根据随机分布生成；所述授权因子为一个浮点数，由随机分布直接生成。
4.根据权利要求1所述的边缘端模型保护方法，其特征在于，所述步骤1)中对待保护的卷积核做混淆具体为：在待保护卷积核[w]·[x1]+[b]＝[y1]中引入一个混淆因子α，并将原本待保护卷积核的参数都扩大α倍从而进行混淆，混淆后的卷积核为α[w]·[x1]+α[b]＝α[y1]；其中w是根据待保护卷积核的参...
【专利技术属性】
技术研发人员：张旭鸿，李秦峰，尹建伟，纪守领，云雷，卢列文，马燕娇，章婷华，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。