基于可解释固有特征的深度神经网络版权保护方法技术

本发明专利技术公开一种基于可解释固有特征的深度神经网络版权保护方法，属于网络空间安全和人工智能安全领域。选择一定数量的图片组成验证所有权的验证集；利用深度泰勒分解生成表征原模型和测试模型固有特征的指纹集；利用结构相似度比较原模型和测试模型的指纹集的相似度，判断测试模型是否为盗版模型。本发明专利技术利用了模型固有特征的唯一性以及鲁棒性，能够有效地在多种模型修改和攻击操作下成功验证模型所有权，同时该验证方法具有可解释性。既保证了模型所有权验证的鲁棒性，同时满足了人们追求所有权验证的可解释性的需求。求所有权验证的可解释性的需求。求所有权验证的可解释性的需求。

【技术实现步骤摘要】
基于可解释固有特征的深度神经网络版权保护方法


[0001]本专利技术可以有效验证深度神经网络(Deep Neural Network，DNN)的版权所有者。属于一种深度神经网络的版权保护方法，属于网络空间安全和人工智能安全领域。

技术介绍

[0002]近年来，深度学习技术广泛应用于各个领域，其中也包括一些安全相关的领域。训练高精度的深度学习模型需要海量的训练数据、大量的硬件计算资源、专家知识，其训练过程往往耗时几周，因而成本高昂。此外，一个高性能的深度学习模型能带来巨大的经济效益，因此，近年来，深度学习模型已被视为一种知识产权。为了节省训练一个高性能深度学习模型的成本，一些攻击者可能会非法盗版模型来获取经济效益，并且声称自己是模型的所有者。攻击者能通过多种恶意的方式来达到自己的盗版目的。这是一种很严重的知识产权侵权行为，并且给模型所有者造成了重大的经济损失。
[0003]传统的多媒体水印是一种嵌入在多媒体载体数据中的隐藏数据，是在多媒体版权保护领域广泛应用的一种版权保护技术。然而多媒体领域的数字水印并不能直接应用于深度神经网络的版权保护。近几年许多研究者开始研究面向深度神经网络模型版权保护的水印方法。目前已有的深度神经网络模型的水印方法主要包括参数型水印、后门型水印和指纹型水印。参数型水印是在训练阶段利用正则化的方法将水印嵌入到深度神经网络模型的参数中，通过提取水印来进行版权验证；后门型水印是在训练阶段利用一些特定图像(后门水印图像)训练模型来嵌入水印，模型所有者可以通过特定的后门输入来触发后门输出特定的目标类，以此来进行深度神经网络的版权验证；指纹型水印主要利用模型决策边界的唯一性来进行版权验证，主要是通过寻找决策边界的数据点作为模型的指纹，在验证阶段，利用这些数据点进行查询验证以达到验证版权的目的。
[0004]然而，已有的深度学习模型水印面临多种攻击。攻击者可以通过一定的操作，如微调模型参数、对模型进行剪枝、逆向工程攻击等达到去除水印的目的。同时，随着深度学习技术的不断发展，人们也在追求智能决策的可解释性。现有的深度学习模型版权保护方法都缺乏可解释性。本专利首次创新性地提出一种具有可解释性的鲁棒深度神经网络版权保护方法，具有较好的研究前景和应用价值。

技术实现思路

[0005]本专利技术的目的在于，提出了一种基于可解释固有特征的鲁棒深度神经网络版权保护方法。该专利技术不向模型中嵌入水印(即，不用修改模型)，利用可解释方法提取模型的固有特征作为模型的指纹，并且该专利技术对模型修改等攻击具有鲁棒性。
[0006]本专利技术的目的通过以下技术方案来实现：一种基于可解释固有特征的深度神经网络版权保护方法，其包括以下步骤：构建一个验证版权的数据集；对数据集进行预处理操作并对模型进行初始化操作；训练一个深度神经网络模型；生成一定数量的表征模型固有特征的指纹，用生成的指纹作为模型的指纹集；比较生成的两个指纹集的相似度是否大于阈
值T，最终判断测试模型是否为盗版模型。
[0007]进一步说明，构建一个验证版权的数据集方法如下：选取一定数量的图片作为验证版权的数据集。从数据集中随机选择n张图片作为验证集X
v
＝{x
(1)
，x
(2)
，...，x
(n)
}——用于验证模型版权时产生指纹的数据集。
[0008]进一步说明，对数据集进行预处理操作并对模型进行初始化操作方法如下：将数据集中的图片进行归一化操作(即将图片的像素值由0～255转换到0～1之间)，选择合适的优化器，设置合适的学习率和迭代轮数。
[0009]进一步说明，训练一个深度神经网络模型的操作方法如下：在本专利技术中，所验证的模型是图像分类模型，即G：X
→
Y，其中X表示输入模型的图片集合，Y表示图片所对应的标签集合。在训练过程中，计算输出的类标签的概率与真实标签的概率的差值，并将该差值作为损失反向传播，不断迭代更新模型参数，直到模型输出的类标签与真实标签一致。在训练结束后，模型的预测精度几乎保持不变。
[0010]进一步说明，生成一定数量的表征模型固有特征的指纹的方法如下：加载验证数据集X
v
＝{x
(1)
，x
(2)
，...，x
(n)
}，在训练好的深度神经网络模型G中输入图片x
(i)
，并利用深度泰勒分解方法对每张图片产生一个解释，即表征模型固有特征的指纹s
i
。验证集的所有图片输入到模型中，利用深度泰勒分解方法产生相应的指纹集S＝{s1，s2，...，s
n
}和S
′
＝{s
′1，s
′2，...，s
′
n
}。其生成指纹的过程可以用以下公式表示：G(x)是深度神经网络模型中学到的预测函数，且这个函数是可微分的函数。表示在根点(即：)处进行近似泰勒展开。表示将图片中对应像素点p的梯度作为像素点p与输出的相关性分数。将所有像素点与输出的相关性分数按照像素点的位置组合成一个相关性矩阵，并可视化输出为一张显著图——指纹。可以用以下公式表示：s
i
＝Image(G(x
(i)
))Image(
·
)表示对模型决策的解释进行可视化操作，即生成对应的指纹。
[0011]进一步说明，比较生成的两个指纹集的相似度是否大于阈值T，最终判断测试模型是否为盗版模型的方法如下：利用结构相似度(SSIM)来比较S
′
和S的相似度。SSIM(S
′
，S)将S
′
和S中由同一张输入图片生成的指纹进行比较。SSIM(x，y)是衡量两个图片的结构相似度的指标，本方法中用来比较表征原模型的指纹与表征测试模型指纹的结构性差异。结构相似度SSIM(x，y)可以用以下公式来表示：其中λ
x
和λ
y
分别表示图片x和y的平均值，δ
xy
表示图片x和y的协方差，δ
x
和δ
y
表示图片x和y的标准差。本专利技术利用SSIM(x，y)评估原模型和测试模型生成表征固有特征的指纹的相似度，以此来判断测试模型是不是盗版的原模型。若原模型和测试模型的指纹集的结构相似度SSIM(S
′
，S)＞T，则说明测试模型为盗版模型，若SSIM(S
′
，S)＜T，则说明测试模型
不是盗版模型。
[0012]有益效果：与现有技术相比，本专利技术具有以下优点：(1)无需对模型做任何改动，无需向模型做任何嵌入水印的操作。打破了以往的方法需要嵌入水印然后在验证阶段需要提取水印进行版权验证的局限性，只需要在验证阶段产生模型的固有特征作为模型的指纹，并进行相应的比对来达到版权验证的目的。此方法1)只需要按照常规的深度神经网络模型的训练方式来进行训练，不需要对训练过程添加任何额外的操作，不改动模型；2)只需要在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可解释固有特征的深度神经网络版权保护方法，其特征在于：其包括以下步骤：步骤1：本发明首先需要从数据集中随机选择部分数据构建一个验证集X
v
＝{x
(1)
，x
(2)
，...，x
(n)
}。步骤2：对数据集进行预处理操作并对模型进行初始化操作。步骤3：生成表征模型固有特征的指纹集S和S
′
。步骤4：利用结构相似度(SSIM)进行所有权验证。2.根据权利要求1所述的一种基于可解释固有特征的深度神经网络版权保护方法，其特征在于：对数据集进行预处理操作包括：将数据集中的图片进行归一化操作，即将图片的像素值由0～255转换到0～1之间。3.根据权利要求1所述的一种基于可解释固有特征的深度神经网络版权保护方法，其特征在于：对模型进行初始化操作包括：选择合适的损失函数、优化方式、学习率和迭代轮数等去训练目标模型。4.根据权利要求1所述的一种基于可解释固有特征的深度神经网络版权保护方法，其特征在于：生成表征模型固有特征的指纹集S和S
′
包括：步骤4.1生成模型固有特征的计算公式如下：G(x)是深度神经网络模型中学到的预测函数，且这个函数是可微分的函数。表示在根点(即：)处进行近似泰勒展开。表示将图片中对应像素点p的梯度作为像素点p与输出的相关性分数，即产生的对该像素点的解释；步骤4.2将所有像素点与输出的相关性分数按照像素点的位置组合成一个相关性矩阵，并可视化输出为一张显著图。该过程可以表示为：s
i
＝Image(G(x

【专利技术属性】
技术研发人员：薛明富，吴英浩，王鑫，顾杜娟，刘文懋，
申请(专利权)人：绿盟科技集团股份有限公司，
类型：发明
国别省市：