通过可逆水印实现卷积神经网络完整性认证的方法技术

本发明专利技术公开了一种通过可逆水印实现卷积神经网络完整性认证的方法，通过可逆水印技术可以在模型中嵌入水印信息，并结合了传统多媒体可逆信息隐藏的理论，实现了对模型的完整性认证，从而使得模型接收方能够主动地判断模型的完整性和可靠性，避免在不知情的情况下引入模型后门等潜在危险。

【技术实现步骤摘要】
通过可逆水印实现卷积神经网络完整性认证的方法
本专利技术涉及神经网络完整性认证
，尤其涉及一种通过可逆水印实现卷积神经网络完整性认证的方法。
技术介绍
深度卷积神经网络(CNN)在计算机视觉领域取得了显著成就，例如图像分类、自动驾驶等。但是，随着模型性能的提高，这些模型的结构越来越复杂，训练也越来越困难。针对这些问题，很多学者将自己的预训练的模型公开，供其他人下载并研究。然而，这些预训练模型在传播期间，很容易遭到攻击者的非法篡改，如后门攻击、重放攻击等。这些攻击会给模型留下致命的漏洞，降低其准确性，威胁模型的安全。因此，确保模型不被非法篡改，对模型进行完整性认证，是模型安全性研究的一项重要内容。模型的安全性保护，目前有两种主流方法：被动防御和主动验证。被动防御侧重于对篡改的检测和擦除，但这种方法很容易导致漏检与虚警；主动验证是通过人工嵌入一些有意义的信息(例如模型水印)来实现的。根据模型的内部细节是否为公众所知，模型水印可以被大致分为两类：白盒水印和黑盒水印。白盒水印方法中水印信息是直接被嵌入到模型内部的权重和偏差中；黑盒水印方法则是通过一定的方法改变模型的决策边界，将水印嵌入到仅具有应用程序编程接口(API)访问权限的模型中。然而，这些水印技术都是不可逆的。在嵌入过程中，不可逆水印只能最大程度地减少对原始模型性能的影响，但是这种水印仍然会永久性地修改内部参数并破坏模型的完整性。
技术实现思路
本专利技术的目的是提供一种通过可逆水印实现卷积神经网络完整性认证的方法，该方法不仅可以在模型中嵌入水印信息来实现完整性认证，同时可以保证水印提取后完全恢复模型的原始参数。本专利技术的目的是通过以下技术方案实现的：一种通过可逆水印实现卷积神经网络完整性认证的方法，包括：卷积神经网络模型的可逆水印嵌入阶段：操作对象是原始卷积神经网络模型单层或者多层，各层独立进行，每一层的操作过程包括：获取原始卷积神经网络模型第i层对于输入图像产生的特征图，根据特征图的熵值计算结果，选出若干通道的参数作为水印嵌入的载体序列；对载体序列进行预处理后，采用图像可逆隐藏方法将水印信息可逆地嵌入至载体序列，得到载密序列，利用载密序列更新卷积神经网络模型第i层的参数，并将加密后的保证水印可逆提取的参数信息，采用替换的方式嵌入到第i层的相关参数中；最终，得到嵌入水印模型；其中，水印信息包含原始卷积神经网络模型的特征信息以及保证水印可逆提取的参数信息；卷积神经网络模型完整性认证阶段：应用者获取嵌入水印模型，采用与可逆水印嵌入阶段相反的方式提取出水印信息，并重构原始卷积神经网络模型；提取重构的原始卷积神经网络模型的特征信息，并与提取出的水印信息进行比较，从而判断嵌入水印模型是否被篡改。由上述本专利技术提供的技术方案可以看出，通过可逆水印技术可以在模型中嵌入水印信息，并结合了传统多媒体可逆信息隐藏的理论，实现了对模型的完整性认证，从而使得模型接收方能够主动地判断模型的完整性和可靠性，避免在不知情的情况下因非法篡改引入模型后门等潜在危险。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种通过可逆水印实现卷积神经网络完整性认证的方法的示意图；图2为本专利技术实施例提供的可逆水印嵌入与提取的流程图；图3为本专利技术实施例提供的直方图平移嵌入水印过程示意图；图4为本专利技术实施例提供的直方图平移嵌入水印过程示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。针对现有的卷积神经网络模型水印永久修改了模型内部参数，不能实现完整性认证的问题，本专利技术提出了针对卷积神经网络模型的可逆水印方法，并结合了传统多媒体可逆信息隐藏的理论，实现了对模型的完整性认证。该方法使得模型接收方能够主动地判断模型的完整性和可靠性，避免在不知情的情况下引入模型后门等潜在危险。实验证明，本专利技术中的可逆水印嵌入对模型本身的性能影响可以忽略不计，具有较高的隐蔽性；在提取水印后，模型能够完整的重构，与原模型参数保持完全一致。在完整性认证方面，本专利技术提出的认证方法也能很好的实现完整性认证，保护了模型的数据安全。如图1所示，为本专利技术实施例提供的一种通过可逆水印实现卷积神经网络完整性认证的方法的示意图，其主要包括如下两个阶段：一、卷积神经网络模型的可逆水印嵌入阶段。可逆水印嵌入阶段的操作对象是原始卷积神经网络模型单层或者多层，各层独立进行，每一层的操作过程主要包括：获取原始卷积神经网络模型第i层对于输入图像产生的特征图，根据特征图的熵值计算结果，选出若干通道的参数作为水印嵌入的载体序列；对载体序列进行预处理后，采用图像可逆隐藏方法将水印信息可逆地嵌入至载体序列(一些保证水印可逆提取的参数一并嵌入载体中)得到载密序列；利用载密序列更新卷积神经网络模型第i层的参数，并将加密后的保证水印可逆提取的参数，采用替换的方式嵌入到第i层的相关参数中；最终得到嵌入水印模型。如图2的上部分所示，本阶段的优选实施方式如下：1、获取原始卷积神经网络模型第i层对于输入图像产生的特征图，根据特征图的熵值计算结果，选出若干通道的参数作为水印嵌入的载体序列。1)从数据集中选取μ张图像作为原始卷积神经网络模型的输入，并获取第i层输出的特征张量T。对于每一图像，都能够得到一个大小为d×h×w的张量，其中d为输出通道数，h和w分别是输出的特征图的长和宽。对于μ张图像，能够得到大小为μ×d×h×w的张量T。2)为了更好地刻画通道重要性，对特征张量T的若干维度进行平均池化操作，获得特征矩阵F。示例性的，可以选择特征张量T的第3、4维度进行平均池化操作，得到大小为μ×d×1×1的张量，丢弃大小为1的维度，即可获得大小为μ×d的特征矩阵F。3)将特征矩阵F按列重排，得到序列FF1,F2,…,Fd}，对每一个列向量Fl等分区间，然后计算落入区间r的概率pr，用来计算熵值Hl：其中，Fl∈F，每个列向量Fl的大小均为μ×1；d为通道数目，pr是落入r区间的概率。4)对于得到的熵值序列H＝{H1,H2,…,Hd}，按照从小到大的顺序排列得到熵值升序序列其中J＝{j1,j2,…,jd}是{1,2,…,d}的一个排列；选取熵值升序序列中对应的前N个通道作为载体序列构造的备选参数，按照升序顺序依次排列得到：其中，N＜d；K表示对应索引通道的卷积核，大小为k×(k×c)，这里c表示该通道的卷积核数目；为便于后续步骤本文档来自技高网...

【技术保护点】
1.一种通过可逆水印实现卷积神经网络完整性认证的方法，其特征在于，包括：/n卷积神经网络模型的可逆水印嵌入阶段：操作对象是原始卷积神经网络模型单层或者多层，各层独立进行，每一层的操作过程包括：获取原始卷积神经网络模型第i层对于输入图像产生的特征图，根据特征图的熵值计算结果，选出若干通道的参数作为水印嵌入的载体序列；对载体序列进行预处理后，采用图像可逆隐藏方法将水印信息可逆地嵌入至载体序列，得到载密序列，利用载密序列更新卷积神经网络模型第i层的参数，并将加密后的保证水印可逆提取的参数信息，采用替换的方式嵌入到第i层的相关参数中；最终，得到嵌入水印模型；其中，水印信息包含原始卷积神经网络模型的特征信息以及保证水印可逆提取的参数信息；/n卷积神经网络模型完整性认证阶段：应用者获取嵌入水印模型，采用与可逆水印嵌入阶段相反的方式提取出水印信息，并重构原始卷积神经网络模型；提取重构的原始卷积神经网络模型的特征信息，并与提取出的水印信息进行比较，从而判断嵌入水印模型是否被篡改。/n

【技术特征摘要】
1.一种通过可逆水印实现卷积神经网络完整性认证的方法，其特征在于，包括：
卷积神经网络模型的可逆水印嵌入阶段：操作对象是原始卷积神经网络模型单层或者多层，各层独立进行，每一层的操作过程包括：获取原始卷积神经网络模型第i层对于输入图像产生的特征图，根据特征图的熵值计算结果，选出若干通道的参数作为水印嵌入的载体序列；对载体序列进行预处理后，采用图像可逆隐藏方法将水印信息可逆地嵌入至载体序列，得到载密序列，利用载密序列更新卷积神经网络模型第i层的参数，并将加密后的保证水印可逆提取的参数信息，采用替换的方式嵌入到第i层的相关参数中；最终，得到嵌入水印模型；其中，水印信息包含原始卷积神经网络模型的特征信息以及保证水印可逆提取的参数信息；
卷积神经网络模型完整性认证阶段：应用者获取嵌入水印模型，采用与可逆水印嵌入阶段相反的方式提取出水印信息，并重构原始卷积神经网络模型；提取重构的原始卷积神经网络模型的特征信息，并与提取出的水印信息进行比较，从而判断嵌入水印模型是否被篡改。


2.根据权利要求1所述的一种通过可逆水印实现卷积神经网络完整性认证的方法，其特征在于，所述获取原始卷积神经网络模型第i层对于输入图像产生的特征图，根据特征图的熵值计算结果，选出若干通道的参数作为水印嵌入的载体序列包括：
从数据集中选取μ张图像作为原始卷积神经网络模型的输入，并获取第i层输出的特征张量T；
对特征张量T的若干维度进行平均池化操作，获得特征矩阵F；
将特征矩阵F按列重排，得到序列F＝{F1，F2，…，Fd}，对每一个列向量Fl等分区间，然后计算落入区间r的概率pr，用来计算熵值Hl：



其中，Fl∈F，d为通道数目，pr是落入r区间的概率；
对于得到的熵值序列H＝{H1，H2，…，Hd}，按照从小到大的顺序排列得到熵值升序序列H＝{Hj1，Hj2，…，Hjd}，其中J＝{j1，j2，…，jd}是{1，2，…，d}的一个排列；选取熵值升序序列中对应的前N个通道作为载体序列构造的备选参数，按照升序顺序依次排列，得到：



其中，N＜d；K表示对应索引通道的卷积核，大小为k×(k×c)，这里c表示该通道的卷积核数目；
将Wi重写为：



其中，a＝k×N，b＝k×c；w为卷积核参数。


3.根据权利要求1或2所述的一种通过可逆水印实现卷积神经网络完整性认证的方法，其特征在于，对载体序列进行预处理包括：将载体序列Wi中的有符号浮点数进行处理，生成无符号整数载体序列，步骤如下...

【专利技术属性】
技术研发人员：俞能海，张卫明，管玺权，周航，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34