软硬件结合的卷积神经网络模型知识产权保护方法技术

本发明专利技术公开了一种软硬件结合的卷积神经网络模型知识产权保护方法，通过对神经网络模型两次重训练构建子网和非子网，根据子网和非子网分布修改加速器计算单元电路结构。使用DRAM PUF建立与硬件对应的唯一性密钥，根据密钥的正确性生成不同的输入信号，若密钥正确，则生成的输入信号控制加速器计算单元电路选择模型的子网权重参与计算，计算结果正确。反之，生成的输入信号控制加速器计算单元电路选择模型的全部权重参与计算，计算结果错误。权重选择无需额外的选择时间，使用加速器中自带的DRAM用作PUF验证密钥，无需特定的解密过程，硬件开销极小，可以实现高效率，低开销，高安全性的神经网络模型权重知识产权保护。性的神经网络模型权重知识产权保护。性的神经网络模型权重知识产权保护。

【技术实现步骤摘要】
软硬件结合的卷积神经网络模型知识产权保护方法


[0001]本专利技术涉及信息
，尤其涉及一种软硬件结合的卷积神经网络模型知识产权保护方法。

技术介绍

[0002]CNN在字符识别、人脸识别、语音识别、图像分类等领域都有着广泛的应用。CNN模型的成功直接得益于高质量的数据集。但许多商业数据集往往是私有的，因为它们包含企业的商业秘密或者客户隐私等。数据集的收集和处理需要大量人力物力开销。此外，训练一个高性能的CNN模型，往往需要昂贵的训练资源。如模型训练用到的加速器(TPU,GPU,FPGA等)，需要较高能耗，训练期间也需要一定的人力资源和时间资源。如对模型进行调参工作，就需要富有经验的调参技术人员，利用自身知识和经验，进行调参。模型供应商是依靠出售CNN的使用权来获取利润的，如果不对CNN模型的IP进行保护，一旦不良使用者或者恶意攻击者窃听或购买带有权重和偏置的CNN模型的IP，攻击者就可能复制并分发给未经授权的终端用户，不仅会降低企业的利润、市场份额，还可能损害品牌声誉。因此，需要对CNN模型的IP进行保护。
[0003]对神经网络模型的IP保护工作主要有三方向：训练数据集IP保护、加速器IP保护、模型参数IP保护。模型提供商、加速器供应商通常是可信的，而从模型供应商提供神经网络模型给用户，到用户利用加速器供应商提供的加速器进行模型推理阶段不可信，即模型权重参数可能在模型供应商分发模型给用户阶段被窃取，也可能在模型在加速器推理阶段被窃取。从而导致窃取者可以免费使用对应的神经网络模型。
[0004]因此，如果要对模型参数IP进行保护，需要在模型供应商提供给用户之前对模型的权重进行加密处理。用户如果需要正常使用模型，就必须从模型供应商处获得正确的密钥进行解密。在已有的工作中，对模型加密的方法主要有两种。最常见的是第一种，即利用传统加密算法对权重进行加密。在需要使用加密的模型时，在模型推理阶段利用密钥解密恢复权重。一般来说，用于模型推理的加速器是被视为被如SGX方案保护的，运行阶段攻击者不可直接访问或操作加速器内部。但如果是训练之前将全部权重进行解密，被解密的模型数据仍有可能在加速器读取外部权重数据时被被攻击者窃取。如果将加密的权重全部在加速器内部解密，这将大大加大加速器的运算开销，降低加速器的性能。第二种是利用混淆算法对权重进行混淆，交换权重位置来保护权重知识产权的方法，相比传统加密算法虽然减少了权重加解密过程中可能造成的时间、硬件上的开销，但由于混淆算法相对来说都比较简单，而较为复杂的混淆算法同样会造成较大的时间、空间开销。

技术实现思路

[0005]为解决上述问题，本专利技术提供了一种软硬件结合的卷积神经网络模型知识产权保护方法，通过对神经网络模型两次重训练构建子网和非子网，根据子网和非子网分布对部分加速器计算单元电路结构进行修改，修改后的加速器计算单元可根据一定的输入信号决
定参与计算的权重或权重计算结果。使用DRAM PUF建立与硬件对应的唯一性密钥，根据密钥的正确性生成不同的输入信号，若密钥正确，则生成的输入信号控制加速器计算单元电路的修改部分，选择模型的子网部分权重参与计算，所得结果为正确结果，模型正常使用。反之，生成的输入信号控制加速器计算单元电路的修改部分选择模型的全部权重参与计算，所得结果为错误结果，模型不可正常使用。这种方法将神经网络模型与加速器特定硬件进行绑定，有效提高了卷积神经网络模型的权重数据的安全性，且本方法的实现无需特定的解密过程，时间开销、硬件开销极小。可以实现对神经网络模型权重知识产权高效率，低开销，高安全性的保护。
[0006]为达到上述技术效果，本专利技术的技术方案是：
[0007]一种软硬件结合的卷积神经网络模型知识产权保护方法，包括如下步骤：
[0008]步骤一、卷积神经网络模型提供商方得到正确训练数据集D和错误的训练数据集D2；
[0009]步骤二、卷积神经网络模型提供商方采用正确训练数据集D对卷积神经网络模型进行第一次重训练，划分得到子网部分和非子网部分，非子网部分的权重均置为0；然后用正确训练数据集D对子网部分进行训练，得到子网部分的权重数据，得到正确的训练后卷积神经网络模型；
[0010]步骤三、卷积神经网络模型提供商方采用错误的训练数据集D2对卷积神经网络模型进行第二次重训练，训练过程中保持子网部分的权重不变，改变非子网权重得到非子网部分的权重数据，得到错误的训练后卷积神经网络模型，使得错误的训练后卷积神经网络模型输出错误的预期结果；
[0011]步骤四、划分加速器中DRAM区域，用作DRAM PUF区域，分别启动加速器给DRAM PUF区域通电，测量不同地址范围的DRAM启动初始值，其中DRAM地址范围作为DRAM PUF的激励C，对应激励C得到的DRAM初始值为响应R；得到多个C
‑
R对，简称CRP,作为密钥；
[0012]步骤五、设置加速器计算模块，使得输入的密钥正确时，加速器采用正确的训练后卷积神经网络模型的子网部分的权重数据与卷积神经网络模型的输入数据进行计算输出正确结果；否则采用错误的训练后卷积神经网络模型中非子网部分、子网部分的权重数据与卷积神经网络模型的输入数据进行计算，输出错误结果；
[0013]步骤六、用户从供应商方购买卷积神经网络模型及相应加速器，从卷积神经网络模型供应商方获取密钥，其中，密钥包括多个CRP；
[0014]步骤七、用户将获取的密钥中的任意一个CRP输入加速器，加速器启动，输入的CRP包括激励C和对应的响应R，激励C对应DRAM区域获得启动值，得到响应R
’
，R
’
和R进行相似度计算，若相似度不小于预设阈值σ，则认为密钥正确，加速器采用正确的训练后卷积神经网络模型的子网部分的权重数据对与卷积神经网络模型的输入数据进行计算输出正确结果；否则加速器采用错误的训练后卷积神经网络模型中子网部分的权重数据及非子网部分的权重数据与卷积神经网络模型的输入数据进行计算，输出错误结果。
[0015]进一步的改进，所述错误的训练数据集D2通过对正确训练数据集D重新进行错误标注得到。
[0016]进一步的改进，所述正确训练数据集D和错误的训练数据集D2均为图像数据集。
[0017]进一步的改进，所述R
’
和R进行相似度计算的方法如下：其中，J(R,R`)表示R
’
和R的相似度。
[0018]进一步的改进，σ＝0.95。
[0019]进一步的改进，所述步骤五中，设置输入的密钥对CRP正确时，加速器的计算单元选择信号置0，否则加速器的计算单元选择信号置1。
[0020]本专利技术的有益效果是：
[0021]本专利技术通过对神经网络模型两次重训练构建子网和非子网，根据子网和非子网分布修改部分加速器计算单元电路结构。使用DRAM PUF建立与硬件对应的唯一性密钥，根据密钥的正确性生成不同的输入信号，若密钥正确，则生成的输入信号控制加速器计算单元电路的修改部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种软硬件结合的卷积神经网络模型知识产权保护方法，其特征在于，包括如下步骤：步骤一、卷积神经网络模型提供商方得到正确训练数据集D和错误的训练数据集D2；步骤二、卷积神经网络模型提供商方采用正确训练数据集D对卷积神经网络模型进行第一次重训练，划分得到子网部分和非子网部分，非子网部分的权重均置为0；然后用正确训练数据集D对子网部分进行训练，得到子网部分的权重数据，得到正确的训练后卷积神经网络模型；步骤三、卷积神经网络模型提供商方采用错误的训练数据集D2对卷积神经网络模型进行第二次重训练，训练过程中保持子网部分的权重不变，改变非子网权重得到非子网部分的权重数据，得到错误的训练后卷积神经网络模型，使得错误的训练后卷积神经网络模型输出错误的结果；步骤四、划分加速器中DRAM区域，用作DRAM PUF区域，分别启动加速器给DRAM PUF区域通电，测量不同地址范围的DRAM启动初始值，其中DRAM地址范围作为DRAM PUF的激励C，对应激励C得到的DRAM初始值为响应R；得到多个C
‑
R对，简称CRP,作为密钥；步骤五、设置加速器计算模块，使得输入的密钥正确时，加速器采用正确的训练后卷积神经网络模型的子网部分的权重数据与卷积神经网络模型的输入数据进行计算输出正确结果；否则采用错误的训练后卷积神经网络模型中非子网部分、子网部分的权重数据与卷积神经网络模型的输入数据进行计算，输出错误结果；步骤六、用户从供应商方购买卷积神经网络模型及相应加速器，从卷积神经网络模型供应商方获取密钥，其中，密钥包括...

【专利技术属性】
技术研发人员：张吉良，廖慧芝，伍麟珺，洪庆辉，陈卓俊，关振宇，
申请(专利权)人：湖南大学，
类型：发明
国别省市：