一种基于公私钥对的深度学习模型水印的嵌入和提取方法技术

一种基于公私钥对的深度学习模型水印的嵌入和提取方法，包括：通过将深度卷积神经网络模型中的批归一化层转换成水印层，将鉴权信息通过水印嵌入损失函数在模型的训练过程中嵌入模型的任意一层或者任意几层，形成特异性水印，其中，将所述批归一化层中的缩放因子变成公钥和私钥，所述私钥为不可学习的缩放因子，在模型初始化阶段随机选取特征图生成，所述公钥为可学习的缩放因子，在训练过程中所述公钥随着所述私钥的改变而产生同步变化。通过对模型水印中的鉴权信息进行提取，能够实现模型所有权的认证。

【技术实现步骤摘要】
一种基于公私钥对的深度学习模型水印的嵌入和提取方法
本专利技术涉及计算机视觉、深度学习、模型水印、医学影像、模型安全等领域，具体涉及一种基于公私钥对的深度学习模型水印的嵌入和提取方法。
技术介绍
随着深度学习技术在近十年的快速发现，越来越多的传统计算机视觉任务逐渐被深度神经网络模型方法所取代，无论在传统的自然图像或是医学图像相关的分类，检测，分割等任务上，深度卷积神经网络在性能表现上有着非常明显的提升。在这个过程中，对于深度学习框架，模型，数据等方面的开源发挥了极其关键的作用，开源资源的轻松获取使得开发相关深度学习模型变得简单。尽管如此，在特定的图像任务上训练一个性能表现优异，能达到实际产品使用标准的深度学习模型仍然不是一件轻而易举的事情，主要的困难有以下几个方面：(1)需要大量标注良好的带标签的数据，尤其对于复杂的任务而言，例如医学图像分割，需要专业的医生来完成，是一个十分耗时耗力的工作，因此标注的成本往往十分的高昂；(2)需要充足的计算资源来完成深度学习模型的训练工作，对于商业级别的深度学习模型的训练往往需要大量的GPU资源以及较长的训练周期才能完成；(3)对于一个出色的模型往往还需要研究开发人员对于模型的参数设置进行反复的调参以得到最优的参数结构，这个过程同样需要耗费大量的时间。由于以上原因的存在使得深度学习模型的开发仍然是一个成本高昂的过程，然而目前一种可行的操作通常通过对已有预训练模型进行小规模数据集上的微调或者迁移学习，预训练模型往往构建在超大规模数据集上。这种操作所需要的数据规模小，时间、计算成本更低，微调之后的模型同样能够近似预训练模型的效果。这种方式的存在对于模型开发者往往是把双刃剑，既能够加快模型的开发，同时又需要考虑如何保护自己的知识产权。目前深度学习模型也逐渐成为很多商业公司的重要产品，因此对于这些模型的保护就会变得至关重要，一旦发生盗用或者在其基础上的二次开发就可能会产生较为严重的经济损失。因此为了保证整个领域的健康快速发展，鼓励大家的开源分享，这种深度学习模型知识产权的保护就显得格外重要。对于目前常用的深度卷积神经网络模型，例如VGGNet，ResNet等，其模型本身不含有任何包含身份的信息，因此如果部署的模型发生了未经授权的拷贝或者窃取盗用的情况也很难及时发现，存在发现难、举证难的困境。很多公司机构希望分享的模型仅仅用于科研目的，避免被竞争对手所盗用，目前的模型特点往往很难满足这一点。为了保证深度学习模型不被窃用或者低成本的二次开发，需要实现以下两点：(1)模型在未经授权的情况下不可用；(2)模型在发生盗用时能够对模型的所有权进行举证。参考在多媒体内容中被广泛使用的数字水印技术，可以尝试对深度学习模型添加同样的数字水印以实现身份的证明。目前关于深度学习模型的数字水印技术的研究还处于初始阶段，现有的一些方法往往存在身份认证模糊的问题，即如果未经授权的第三方获取到了模型，如果发现了其中存在水印，可以通过一系列逆向工程的方法仿造水印，或者通过一些去除攻击的方法来去除存在的水印，从而造成了模型的归属性上的认证困难。
技术实现思路
本专利技术所要解决的技术问题是：弥补上述技术的不足，提出一种基于公私钥对的深度学习模型水印的嵌入和提取方法，保证了模型在未经授权的条件下不可用，即使在发生窃用的情况下可以通过对水印中包含的身份信息的提取实现所有权的举证。为实现上述目的，本专利技术采用以下技术方案：一种基于公私钥对的深度学习模型水印的嵌入方法，包括：通过将深度卷积神经网络模型中的批归一化层转换成水印层，将鉴权信息通过水印嵌入损失函数在模型的训练过程中嵌入模型的任意一层或者任意几层，形成特异性水印，其中，将所述批归一化层中的缩放因子变成公钥和私钥，所述私钥为不可学习的缩放因子，在模型初始化阶段随机选取特征图生成，所述公钥为可学习的缩放因子，在训练过程中所述公钥随着所述私钥的改变而产生同步变化。进一步地：对要嵌入的所述信息先进行格式上的转换，由字符串转为ASCI工码再转成二进制编码，根据嵌入损失函数的特点选择使用{0，1}编码或者{1，-1}编码。所述私钥的生成过程包括：在网络模型的初始化阶段，从训练数据集中随机选取一定数量的图像作为生成私钥的随机种子，然后输入到预训练网络中分别得到每一层的特征图，若选定某一层作为水印层，则从该层的特征图中随机选择一定数量的特征图作为私钥产生源，然后经过平均操作后，将得到的缩放因子作为所述私钥。在所述私钥的生成过程中，保留深度卷积神经网络模型卷积块中正常的卷积层、Relu激活层不变，仅将所述批归一化层中的可学习缩放因子和平移因子变成不可学习参数，通过所述平均操作得到与所述可学习缩放因子和平移因子相同形状的特征，其中的缩放因子即为所述私钥水印。通过教师-学生模型的训练策略训练得到公私钥对水印，在训练过程中，使用两个除水印层外其余层均参数共享的子网络进行协同训练，来得到成对的公私钥；其中，私钥和公钥成对产生，分别位于两个子网络中，所述公钥与所述私钥相对应，在训练过程中与私钥保持近似的更新程度以保证得到的公私钥对在网络中能够使网络实现同样的性能。在训练过程中对公私钥对加入额外的监督损失函数。嵌入损失函数包括余弦相似性损失函数LCS，如下：其中γ，分别为对应的公钥和私钥水印，γi和分别表示水印表示向量的第i个元素，C表示模型中通道的数目，∈为设定的常量；对于分类任务模型使用交叉熵损失函数作LCE为分类损失函数，模型的整体损失函数L如下：LCE(y，p)＝-∑yilogpi其中，y表示样本的标记，p表示样本预测的概率分布；yi对应第i个样本标记，pi则为第i个样本预测为正的概率，LID(W)表示网络参数W时候的嵌入水印识别的损失函数，W表示网络的卷积层对应权重λ1，λ2均为超参数，用于平衡不同损失函数。还将水印添加到深度卷积神经网络的卷积层，其中水印添加在模型训练阶段，或者在模型后续的微调阶段。一种基于公私钥对的深度学习模型水印的提取方法，对使用所述的基于公私钥对的深度学习模型水印的嵌入方法在模型中嵌入的特异性水印进行提取，其中，在验证模型所有权时，通过将模型中的公钥替换成私钥，使得替换后的模型既能够保持性能一致又能够通过私钥提取到所述鉴权信息，从而完成模型归属权的认证。可以对水印层使用符号函数从嵌入水印的模型提取所述鉴权信息。本专利技术与现有技术对比的有益效果是：1)本专利技术提出了一种用于深度学习模型的公私钥水印的嵌入和提取方法。该方法在不影响模型原有性能的情况下能够实现高效的嵌入，通过对模型水印中的鉴权信息(通常为包括模型创造者身份的信息)进行提取，能够实现模型所有权的认证；2)将深度卷积神经网络中的批归一化成转变成水印层，得到成对的公私钥水印，能够有效的保证嵌入水印的安全；3)不同数据集上的实验表明这种深度学习模型中嵌入的水印能够具有很好的保证性和较强的鲁棒性，安全性，有助于保护深度学习模型的知识产权，促进相关方向的健康本文档来自技高网...

【技术保护点】
1.一种基于公私钥对的深度学习模型水印的嵌入方法，其特征在于，包括：通过将深度卷积神经网络模型中的批归一化层转换成水印层，将包含模型鉴权信息通过水印嵌入损失函数在模型的训练过程中嵌入模型的任意一层或者任意几层，形成特异性水印，其中，将所述批归一化层中的缩放因子变成公钥和私钥，所述私钥为不可学习的缩放因子，在模型初始化阶段随机选取特征图生成，所述公钥为可学习的缩放因子，在训练过程中所述公钥随着所述私钥的改变而产生同步变化。/n

【技术特征摘要】
1.一种基于公私钥对的深度学习模型水印的嵌入方法，其特征在于，包括：通过将深度卷积神经网络模型中的批归一化层转换成水印层，将包含模型鉴权信息通过水印嵌入损失函数在模型的训练过程中嵌入模型的任意一层或者任意几层，形成特异性水印，其中，将所述批归一化层中的缩放因子变成公钥和私钥，所述私钥为不可学习的缩放因子，在模型初始化阶段随机选取特征图生成，所述公钥为可学习的缩放因子，在训练过程中所述公钥随着所述私钥的改变而产生同步变化。


2.如权利要求1所述的基于公私钥对的深度学习模型水印的嵌入方法，其特征在于，对要嵌入的所述信息先进行格式上的转换，由字符串转为ASCII码再转成二进制编码，根据嵌入损失函数的特点选择使用{0,1}编码或者{1,-1}编码。


3.如权利要求1或2所述的基于公私钥对的深度学习模型水印的嵌入方法，其特征在于，所述私钥的生成过程包括：在网络模型的初始化阶段，从训练数据集中随机选取一定数量的图像作为生成私钥的随机种子，然后输入到预训练网络中分别得到每一层的特征图，若选定某一层作为水印层，则从该层的特征图中随机选择一定数量的特征图作为私钥产生源，然后经过平均操作后，将得到的缩放因子作为所述私钥。


4.如权利要求3所述的基于公私钥对的深度学习模型水印的嵌入方法，其特征在于，在所述私钥的生成过程中，保留深度卷积神经网络模型卷积块中正常的卷积层、Relu激活层不变，仅将所述批归一化层中的可学习缩放因子和平移因子变成不可学习参数，通过所述平均操作得到与所述可学习缩放因子和平移因子相同形状的特征，其中的缩放因子即为所述私钥水印。


5.如权利要求1至4任一项所述的基于公私钥对的深度学习模型水印的嵌入方法，其特征在于，通过教师-学生模型的训练策略训练得到公私钥对水印，在训练过程中，使用两个除水印层外其余层均参数共享的子网络进行协同训练，来得到成...

【专利技术属性】
技术研发人员：杨余久，庄新瑞，杨芳，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44