基于训练过程证明的深度学习模型所有权验证方法和装置制造方法及图纸

本申请提出了一种基于训练过程证明的深度学习模型所有权验证方法，包括：获取待验证深度学习模型初始化使用的高斯混合分布、待验证深度学习模型的待验证中间模型序列，以及对应的验证集，根据高斯混合分布、待验证中间模型序列和验证集，计算待验证中间模型序列的准确率单调性指标、参数距离单调性指标、参数分布连续性指标、初始参数分布指标、初始参数随机性指标和模型序列距离指标，并根据计算得到的待验证中间模型序列的各项指标，判断待验证中间模型序列的真实性，从而得到待验证深度学习模型的所有权验证结果。本申请提出一种模型所有权验证方案，适用范围广，不会造成模型性能损失，且难以被攻击者攻击。且难以被攻击者攻击。且难以被攻击者攻击。

【技术实现步骤摘要】
基于训练过程证明的深度学习模型所有权验证方法和装置


[0001]本申请涉及人工智能安全
，尤其涉及一种基于训练过程证明的深度学习模型所有权验证方法和装置。

技术介绍

[0002]近年来深度学习技术迅速发展，在广泛的领域中得到了实际应用。在实践中，训练高性能的深度学习模型需要开发者大量调试模型结构与超参数，在这一过程中不可避免需要大量的计算资源和高质量的训练数据资源。因此,深度学习模型有较高的知识产权价值。然而，在实践中，深度学习模型可能被售卖给客户，客户可能违规将模型发布给第三方、侵犯模型所有者的模型知识产权权益。同时，深度学习模型应用场景复杂多样，攻击者可以利用模型提取攻击(model extraction attack)、基于侧信道的模型参数窃取等攻击手段非法获取所有者的模型。
[0003]面对这些潜在的对模型知识产权的侵犯行为，设计深度学习模型的所有权验证算法可以判断模型持有者是否对模型具有所有权，从而为模型真实所有者提供所有权证明、保护模型的知识产权。攻击者不具有非法获取的模型的所有权证明，在知识产权争议中无法证明对模型具有所有权。为应对现实中的安全和可用性问题，验证算法需要满足以下要求：(1)模型完整性(model intactness)，验证算法不应对模型本身功能产生较大影响；(2)鲁棒性(robustness)，攻击者无法使模型真实所有者的所有权证明失效；(3)排他性(exclusiveness)，攻击者非法获取到模型后无法伪造出一个对应的能通过验证的所有权证明。
[0004]现有的模型所有权验证算法主要可以分为以下两类：模型水印(model watermarking)，此类方法向模型的参数分布、激活值分布中隐写入数字签名，或者向模型的输出中嵌入后门函数(backdoor)以作为模型所有者的所有权证明，这些方法需要通过修改训练目标函数、对模型进行微调等操作以嵌入额外信息，造成模型性能的损失。模型指纹(model fingerprint)，此类方法通过提取模型的对抗样本等决策边界信息来作为所有权证明，不会对模型性能产生影响。
[0005]针对模型所有权验证算法，攻击者可以从以下两类方式进行对抗攻击：破坏模型所有者的所有权证明，例如，攻击者可以通过对模型进行微调、参数裁剪、对抗训练等方式，去除掉训练者在模型中嵌入的水印信息或者改变模型的决策边界使得所有者提取的模型指纹失效。伪造模型所有权证明，例如，攻击者可以使用算法向模型中嵌入新水印或者提取出模型决策边界指纹信息，作为攻击者对非法获取的模型的所有权证明。
[0006]现有的基于模型水印和指纹的模型所有权验证算法无法确保在发生以上攻击时仍然可准确有效地对模型所有权进行验证。

技术实现思路

[0007]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
[0008]为此，本申请的第一个目的在于提出一种基于训练过程证明的深度学习模型所有权验证方法，解决了现有模型所有权验证方法无法确保在所有权证明破坏和伪造攻击下仍能准确有效地对模型所有权进行验证的技术问题，通过将深度学习模型训练过程产生的中间模型序列作为训练过程的证明，能够在不向模型中嵌入额外信息影响性能的同时提供模型所有权证明，并根据中间模型序列的基本性质进行所有权验证，满足了模型验证算法完整性、鲁棒性、排他性的要求，在可能的所有权证明破坏和伪造攻击下仍能准确进行验证，适用于各种不同结构、任务的深度学习模型，同时适用范围广，不会造成模型性能损失，难以被攻击者攻击，能有效保护模型训练者的知识产权。
[0009]本申请的第二个目的在于提出一种基于训练过程证明的深度学习模型所有权验证装置。
[0010]本申请的第三个目的在于提出一种计算机设备。
[0011]本申请的第四个目的在于提出一种非临时性计算机可读存储介质。
[0012]为达上述目的，本申请第一方面实施例提出了一种基于训练过程证明的深度学习模型所有权验证方法，包括：获取待验证深度学习模型初始化使用的高斯混合分布、待验证深度学习模型的待验证中间模型序列，以及对应的验证集，其中，待验证中间模型序列由待验证深度学习模型在每个训练轮次中的模型参数组成；根据高斯混合分布、待验证中间模型序列和验证集，计算待验证中间模型序列的准确率单调性指标、参数距离单调性指标、参数分布连续性指标、初始参数分布指标、初始参数随机性指标和模型序列距离指标；根据待验证中间模型序列的准确率单调性指标、参数距离单调性指标、参数分布连续性指标、初始参数分布指标、初始参数随机性指标和模型序列距离指标，判断待验证中间模型序列的真实性，从而得到待验证深度学习模型的所有权验证结果。
[0013]可选地，在本申请的一个实施例中，根据高斯混合分布、待验证中间模型序列和验证集，计算待验证中间模型序列的准确率单调性指标、参数距离单调性指标、参数分布连续性指标、初始参数分布指标、初始参数随机性指标和模型序列距离指标，包括：
[0014]根据待验证中间模型序列和验证集，依次计算待验证中间模型序列中的模型在验证集上的准确率，并计算准确率和训练轮次的皮尔森相关系数作为准确率单调性指标；
[0015]计算待验证中间模型序列中的模型和收敛模型之间的参数距离，并计算参数距离和训练轮次之间的皮尔森相关系数作为参数距离单调性指标，其中，收敛模型为待验证中间模型序列中的最终模型；
[0016]依次计算待验证中间模型序列中连续的两个模型的参数分布距离，得到参数分布连续性指标；
[0017]计算待验证中间模型序列中初始模型和高斯混合分布之间的参数分布距离，得到初始参数分布指标；
[0018]计算待验证中间模型序列中初始模型的参数的随机程度，得到初始参数随机性指标；
[0019]计算待验证中间模型序列中的初始模型和收敛模型之间的参数距离，得到模型序列距离指标。
[0020]可选地，在本申请的一个实施例中，准确率单调性指标的计算方法为：
[0021][0022]其中，ρ
acc
表示准确率单调性指标，N表示总训练轮次数目，rank(
·
)表示中间模型准确率在待验证中间模型序列中大小的排名，acc(C
i
,D
val
)表示待验证中间模型序列中的第i个中间模型C
i
在验证集上的准确率，D
val
表示验证集；
[0023]参数距离单调性指标的计算方式为：
[0024][0025]其中，ρ
dis
表示参数距离单调性指标，N表示总训练轮次数目，rank(d(C
i
,C
N
))表示中间模型和收敛模型之间参数的欧氏距离在待验证中间模型序列中大小的排名，d(C
i
,C
N
)表示待验证中间模型序列中的第i个中间模型C
i
和收敛模型C
N
之间参数的欧氏距离；
[0026]参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于训练过程证明的深度学习模型所有权验证方法，其特征在于，包括以下步骤：获取待验证深度学习模型初始化使用的高斯混合分布、所述待验证深度学习模型的待验证中间模型序列，以及对应的验证集，其中，所述待验证中间模型序列由所述待验证深度学习模型在每个训练轮次中的模型参数组成；根据所述高斯混合分布、所述待验证中间模型序列和所述验证集，计算所述待验证中间模型序列的准确率单调性指标、参数距离单调性指标、参数分布连续性指标、初始参数分布指标、初始参数随机性指标和模型序列距离指标；根据所述待验证中间模型序列的准确率单调性指标、参数距离单调性指标、参数分布连续性指标、初始参数分布指标、初始参数随机性指标和模型序列距离指标，判断所述待验证中间模型序列的真实性，从而得到所述待验证深度学习模型的所有权验证结果。2.如权利要求1所述的方法，其特征在于，所述根据所述高斯混合分布、所述待验证中间模型序列和所述验证集，计算所述待验证中间模型序列的准确率单调性指标、参数距离单调性指标、参数分布连续性指标、初始参数分布指标、初始参数随机性指标和模型序列距离指标，包括：根据所述待验证中间模型序列和所述验证集，依次计算所述待验证中间模型序列中的模型在所述验证集上的准确率，并计算所述准确率和训练轮次的皮尔森相关系数作为准确率单调性指标；计算所述待验证中间模型序列中的模型和收敛模型之间的参数距离，并计算所述参数距离和训练轮次之间的皮尔森相关系数作为参数距离单调性指标，其中，所述收敛模型为所述待验证中间模型序列中的最终模型；依次计算所述待验证中间模型序列中连续的两个模型的参数分布距离，得到参数分布连续性指标；计算所述待验证中间模型序列中初始模型和所述高斯混合分布之间的参数分布距离，得到初始参数分布指标；计算所述待验证中间模型序列中初始模型的参数的随机程度，得到初始参数随机性指标；计算所述待验证中间模型序列中的初始模型和收敛模型之间的参数距离，得到模型序列距离指标。3.如权利要求2所述的方法，其特征在于，所述准确率单调性指标的计算方法为：其中，ρ
acc
表示准确率单调性指标，N表示总训练轮次数目，rank(
·
)表示中间模型准确率在待验证中间模型序列中大小的排名，acc(C
i
,D
val
)表示待验证中间模型序列中的第i个中间模型C
i
在验证集上的准确率，D
val
表示验证集；所述参数距离单调性指标的计算方式为：
其中，ρ
dis
表示参数距离单调性指标，N表示总训练轮次数目，rank(d(C
i
,C
N
))表示中间模型和收敛模型之间参数的欧氏距离在待验证中间模型序列中大小的排名，d(C
i
,C
N
)表示待验证中间模型序列中的第i个中间模型C
i
和收敛模型C
N
之间参数的欧氏距离；所述参数分布连续性指标的计算方式为：其中，c
weight
表示参数分布连续性指标，N表示总训练轮次数目，L表示模型的层数，表示待验证中间模型序列中第i个中间模型第l层的参数矩阵，P(
·
)表示参数的分布，EMD(
·
,
·
)表示两个分布之间的推土距离；所述初始参数分布指标的计算方式为：其中，d
init
表示初始参数分布指标，L表示模型的层数，EMD(
·
,
·
)表示两个分布之间的推土距离，P(
·
)表示参数的分布，表示初始模型的第l层的参数矩阵，P
GMM
(
·
0表示高斯混合分布；所述初始参数随机性指标的计算方式为计算待验证中间模型序列中初始模型的各层参数主成分分析结果中最大主成分的方差占比；所述模型序列距离指标的计算方式为：d
chain
＝d(C
...

【专利技术属性】
技术研发人员：李琦，刘云鹏，徐恪，刘卓涛，
申请(专利权)人：清华大学，
类型：发明
国别省市：