深度神经网络黑盒水印方法、装置及终端制造方法及图纸

本发明专利技术提供一种深度神经网络黑盒水印方法、装置及终端。该方法包括：在样本集中生成密钥样本，并根据密钥样本确定触发集；生成噪声样本，将噪声样本与触发集进行合并，得到目标触发集；采用多个目标触发集对预设标志网络进行训练，得到目标标志网络；将目标标志网络嵌入目标模型中，得到水印处理后的目标模型。本发明专利技术能够在将密钥样本嵌入目标模型中时，设计了标志网络，采用多个目标触发集对预设标志网络进行训练，得到目标标志网络，将目标标志网络嵌入多个目标模型中，不直接使用密钥样本对目标模型训练，使得训练分离，降低了时间开销。降低了时间开销。降低了时间开销。

【技术实现步骤摘要】
深度神经网络黑盒水印方法、装置及终端


[0001]本专利技术涉及水印处理
，尤其涉及一种深度神经网络黑盒水印方法、装置及终端。

技术介绍

[0002]深度神经网络(Deep Neural Networks，DNN)的高价值使得盗版DNN模型变得有利可图。目前，用户主要通过远程应用接口API使用深度学习平台的查询服务。在这种场景下，攻击者可以通过多种攻击手段对DNN模型进行攻击，导致可能出现盗版模型，严重侵害所有者的权益。为此，DNN黑盒水印技术被提出，以便保护DNN模型的知识产权以拒绝盗版服务。
[0003]DNN黑盒水印中的水印具体由目标DNN模型学习的密钥样本对表示，现有文本分类DNN黑盒水印技术主要包括以下三种：第一种，基于词频
‑
逆文档频率得分的DNN黑盒水印技术，即根据词频
‑
逆文档频率得分交换不同文本样本中的单词来生成密钥样本，指定目标标签后，采用混入训练向目标模型中嵌入水印；第二种，基于分次训练的DNN黑盒水印技术，即收集目标模型训练集分布之外的文本作为密钥样本，针对不用目标模型，将密钥样本的预测概率次优的对应标签作为目标标签，之后采用训练向目标模型中嵌入水印；第三种，基于交替训练的DNN黑盒水印技术，即随机从训练集的每个类别中选择多个样本，将目标标签指定为其最小预测概率的对应标签，之后采用交替训练嵌入水印。
[0004]然而，上述三种黑盒水印技术，均存在水印嵌入过程效率低下的问题。

技术实现思路

[0005]本专利技术实施例提供了一种深度神经网络黑盒水印方法、装置及终端，以解现有技术种黑盒水印存在水印嵌入过程效率低下的问题。
[0006]第一方面，本专利技术实施例提供了一种深度神经网络黑盒水印方法，包括：
[0007]在样本集中生成密钥样本，并根据所述密钥样本确定触发集；
[0008]生成噪声样本，将所述噪声样本与所述触发集进行合并，得到目标触发集；
[0009]采用多个目标触发集对预设标志网络进行训练，得到目标标志网络；
[0010]将所述目标标志网络嵌入目标模型中，得到水印处理后的目标模型。
[0011]在一种可能的实现方式中，在样本集中生成密钥样本，包括：
[0012]计算词向量矩阵中每个词到其他词的第一距离，根据每个词到其他词的第一距离确定每个词的近义词集；
[0013]对于样本集中的每个词，计算每个词与对应的近义词集中每个词的第二距离以及在每个词点相对目标值的梯度，并确定每个词对应的第二距离与梯度的乘积中，最大乘积对应的近义词为最佳近义词，得到每个词对应的最佳近义词；
[0014]将所述样本集中每个词对应的最佳近义词对应的乘积中乘积最大的预设个数的词进行替换，得到所述样本集对应的密钥样本。
[0015]在一种可能的实现方式中，在样本集中生成密钥样本，包括：
[0016]确定预设文本风格，并在开源数据库中确定与所述预设文本风格相关的语料，构成语料库；
[0017]采用所述语料库中的语料训练预设架构的文本风格转换模型，得到目标文本风格转换模型；
[0018]从目标模型的训练集中选择样本输入所述目标文本风格转换模型中，得到密钥样本。
[0019]在一种可能的实现方式中，根据所述密钥样本确定触发集，包括：
[0020]将所述密钥样本输入所述目标模型的网络层中，得到输出向量；
[0021]对所述输出向量进行抽样，得到抽样向量；
[0022]对所述抽样向量进行聚类处理，得到簇心数据点；
[0023]计算所述输出向量与所述簇心数据点中每个簇心数据点之间的第三距离，并将所述第三距离中大于预设阈值中的目标第三距离中最大的N个第三距离对应的密钥样本作为触发集，N表示大于等于1的正整数。
[0024]在一种可能的实现方式中，所述生成噪声样本，将所述噪声样本与所述触发集进行合并，得到目标触发集，包括
[0025]在词向量词典中获取随机长度的索引值，构成多个噪声样本；
[0026]将所述多个噪声样本与所述触发集进行合并，得到目标触发集，其中噪声样本的数量大于所述触发集中密钥样本的数量。
[0027]在一种可能的实现方式中，在得到目标触发集之后，还包括：
[0028]确定所述目标触发集中密钥样本的原类别和目标类别，并将每个密钥样本的原类别和目标类型进行一一映射，得到所述目标触发集的映射集；
[0029]确定多个目标模型对应的所有目标触发集中密钥样本数量最多的目标触发集作为第一目标触发集；
[0030]将密钥样本数量少于所述第一目标触发集中密钥样本数量的第二目标触发集进行密钥样本生成，使得所述第二目标触发集中的密钥样本数量与所述第一目标触发集中的密钥样本数量相同。
[0031]在一种可能的实现方式中，将所述目标标志网络嵌入目标模型中，得到水印处理后的目标模型，包括：
[0032]将所述样本集中任一样本分别输入到所述目标标志网络和所述目标模型中，得到所述目标标志网络的第一输出向量和所述目标模型的第二输出向量；
[0033]根据所述第二输出向量对所述第一输出向量进行裁剪，使所述第一输出向量的输出维度大于或等于所述第二输出向量的输出维度；
[0034]将裁剪后的第一输出向量和所述第二输出向量进行融合，得到水印处理后的目标模型。
[0035]在一种可能的实现方式中，所述将裁剪后的第一输出向量和所述第二输出向量进行融合，得到水印处理后的目标模型，包括：
[0036]根据得到水印处理后的目标模型；
[0037]其中，表示水印处理后的目标模型的概率输出，x表示所述样本集中任一样本，F(
·
)表示所述目标模型输出的第二输出向量，θ表示所述目标模型的权重，softmax(
·
)表示概率映射函数，k表示替换比例，λ表示占比权重，F
*
(
·
)表示所述目标标志网络输出的裁剪后的第一输出向量，θ
*
表示所述目标标志网络的权重。
[0038]第二方面，本专利技术实施例提供了一种深度神经网络黑盒水印装置，包括：
[0039]密钥样本生成模块，用于在样本集中生成密钥样本，并根据所述密钥样本确定触发集；
[0040]密钥样本嵌入模块，用于生成噪声样本，将所述噪声样本与所述触发集进行合并，得到目标触发集；
[0041]标识网络训练模块，用于采用多个目标触发集对预设标志网络进行训练，得到目标标志网络；
[0042]水印嵌入模块，用于将所述目标标志网络嵌入目标模型中，得到水印处理后的目标模型。
[0043]第三方面，本专利技术实施例提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述的深度神经网络黑盒水印方法的步骤。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度神经网络黑盒水印方法，其特征在于，包括：在样本集中生成密钥样本，并根据所述密钥样本确定触发集；生成噪声样本，将所述噪声样本与所述触发集进行合并，得到目标触发集；采用多个目标触发集对预设标志网络进行训练，得到目标标志网络；将所述目标标志网络嵌入目标模型中，得到水印处理后的目标模型。2.根据权利要求1所述的深度神经网络黑盒水印方法，其特征在于，在样本集中生成密钥样本，包括：计算词向量矩阵中每个词到其他词的第一距离，根据每个词到其他词的第一距离确定每个词的近义词集；对于样本集中的每个词，计算每个词与对应的近义词集中每个词的第二距离以及在每个词点相对目标值的梯度，并确定每个词对应的第二距离与梯度的乘积中，最大乘积对应的近义词为最佳近义词，得到每个词对应的最佳近义词；将所述样本集中每个词对应的最佳近义词对应的乘积中乘积最大的预设个数的词进行替换，得到所述样本集对应的密钥样本。3.根据权利要求1所述的深度神经网络黑盒水印方法，其特征在于，在样本集中生成密钥样本，包括：确定预设文本风格，并在开源数据库中确定与所述预设文本风格相关的语料，构成语料库；采用所述语料库中的语料训练预设架构的文本风格转换模型，得到目标文本风格转换模型；从目标模型的训练集中选择样本输入所述目标文本风格转换模型中，得到密钥样本。4.根据权利要求1
‑
3中任一项所述的深度神经网络黑盒水印方法，其特征在于，根据所述密钥样本确定触发集，包括：将所述密钥样本输入所述目标模型的网络层中，得到输出向量；对所述输出向量进行抽样，得到抽样向量；对所述抽样向量进行聚类处理，得到簇心数据点；计算所述输出向量与所述簇心数据点中每个簇心数据点之间的第三距离，并将所述第三距离中大于预设阈值中的目标第三距离中最大的N个第三距离对应的密钥样本作为触发集，N表示大于等于1的正整数。5.根据权利要求1所述的深度神经网络黑盒水印方法，其特征在于，所述生成噪声样本，将所述噪声样本与所述触发集进行合并，得到目标触发集，包括在词向量词典中获取随机长度的索引值，构成多个噪声样本；将所述多个噪声样本与所述触发集进行合并，得到目标触发集，其中噪声样本的数量大于所述触发集中密钥样本的数量。6.根据权利要求5所述的深度神经网络黑盒水印方法，其特征在于，在得到目标触发集之后，还包括：确定所述目标触发集中密钥样本的原类别和目标类别，并将每个密...

【专利技术属性】
技术研发人员：张光华，刘伟发，刘亦纯，李曼，贾刘影，王向红，
申请(专利权)人：河北科技大学，
类型：发明
国别省市：