基于后门触发器的DRL模型知识产权保护方法技术

本发明专利技术涉及一种基于后门触发器的DRL模型知识产权保护方法，包括以下步骤：步骤S1:由模型所有者生成水印种子集合;步骤S2:基于WMGen算法，通过水印种子修改每个状态对应的奖励值，并且改变状态对应的动作；步骤S3:Mark算法使用训练数据和水印序列重新训练模型，嵌入该后门触发器,修改每个动作对应的奖励值;步骤S4:根据步骤S2中的每个状态获得对应的APD组成验证时间水印序列TW

【技术实现步骤摘要】
基于后门触发器的DRL模型知识产权保护方法


[0001]本专利技术涉及知识产权保护领域，一种基于后门触发器的DRL模型知识产权保护方法。

技术介绍

[0002]深度强化学习(Deep Reinforcement Learning,DRL)已经证明了它在各种复杂任务中的有效性，例如，机器人控制，竞争视频游戏和自动驾驶。由于出色的性能和健壮性，DRL正在加速商业化过程。由于生成一个DRL策略需要大量的计算资源和专业知识，一个训练有素的DRL模型已经成为人工智能应用程序和产品的核心知识产权(Intellectual Property,IP)。保护这些资产，防止非法抄袭、未经授权的分发和复制DRL模型是至关重要的。
[0003]将水印技术引入深度强化学习模型知识产权保护是可行且有意义的。现有两种深度强化学习模型水印方案：第一种是Vahid Behzadan提出的序列触发器水印，将水印嵌入额外的动作状态空间中。此类方案的缺点是额外的动作状态空间非常容易被攻击者所识别，进而可以轻易伪造额外的空间水印。第二种方案是Chen提出的一种时间序列水印方案，提出了一种无损失状态，强制要求整条序列的每个状态都为无损失状态，计算每个状态的动作概率分布与水印集合对应该动作的动作概率分布的KL散度作为水印。这种方案的条件过于苛刻，并且容易被攻击伪造，难以保证水印发非公平所有权。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于后门触发器的DRL模型知识产权保护方法，解决空间水印易于被攻击者检测以及无损失状态条件过于苛刻的问题。
[0005]为实现上述目的，本专利技术采用如下技术方案：
[0006]一种基于后门触发器的DRL模型知识产权保护方法，包括以下步骤：
[0007]步骤S1:由模型所有者生成水印种子集合；
[0008]步骤S2:基于WMGen算法，通过水印种子修改每个状态对应的奖励值，并且改变状态对应的动作；
[0009]步骤S3:Mark算法使用训练数据和水印序列重新训练模型，嵌入该后门触发器,修改每个动作对应的奖励值；
[0010]步骤S4:根据步骤S2中的每个状态获得对应的APD组成验证时间水印序列TW^；
[0011]步骤S5:通过水印种子对应的初始状态由此得到每个状态以及对应的APD组成的可疑时间序列TW
’
；
[0012]步骤S6:使用Verify算法比较验证时间水印序列TW^与可疑时间序列TW
’
的距离：如果该距离JS
TW^_TW
’
小于阈值ε1，并且可疑时间序列TW
’
所对应的总奖励值R
TW
’
小于阈值ε2，则该模型为受保护模型；否则，该模型为非受保护模型。
[0013]进一步的，所述状态对应的奖励值由水印种子对应的初始状态的环境与智能体
agent交互得到。
[0014]进一步的，所述WMGen算法，具体为：
[0015]设WMGen生成一个数据集C，它由n条水印序列组成，每个水印序列由状态和相应的APD对组成，长度为L:
[0016][0017]TW
i
＝[(s
i,0
,P
i,0
),(s
i,1
,P
i,1
),...,(s
i,L
‑1,P
i,L
‑1)][0018]WMGen首先生成一系列的随机种子作为水印算法的水印启动条件；每个随机种子对应环境的一个初始状态且该初始状态唯一，使用该随机种子将环境初始化与已经训练好的智能体进行交互，获得了一个该状态对应的APD；
[0019]对该状态进行下毒，选择概率最小的动作并且给予该动作一个正向的奖励值，将该动作与环境进行交互得到环境的下一个状态，对新得到的状态也进行上述的下毒操作，由此得到了一条下毒的动作状态序列，该序列与初始的随机水印种子唯一对应。
[0020]进一步的，所述步骤S3具体为：使用WMGen函数生成的水印序列与原模型进行再训练得到一个新的模型；并根据WMGen获得的每个状态，由智能体Agent获得每个状态对应的APD，由此构成的一系列后续验证所需的验证时间水印序列TW^。
[0021]进一步的，所述步骤S6具体为：
[0022]模型的所有者通过水印状态运行智能体Agent，观察后续的状态APD对，并检查序列行为是否与验证时间水印TW^相匹配来提取水印；
[0023]模型的所有者多次运行智能体agent，收集预测的动作并计算其概率分布，得到时间序列TW'＝[(s0,P0'),(s1,P1'),...,(s
L
‑1,P
L
‑1')]；
[0024]通过对比验证时间水印序列TW^和可疑时间序列TW
’
的JS散度JS
TW^_TW
’
以及后门阈值奖励验证深度强化学习模型的所有权。
[0025]进一步的，所述JS散度计算公式为：
[0026]JS(P||Q)＝(1/2)*KL(P||(P+Q)/2)+(1/2)*KL(Q||(P+Q))
[0027]KL(P||Q)＝Σ(P(i)*log(P(i)/Q(i))。
[0028]本专利技术与现有技术相比具有以下有益效果：
[0029]本专利技术将水印作用于时间序列中，可以避免被常规的异常空间检测算法所检测，并且无需整条序列的状态为无损失状态，大大降低水印序列的要求，并可以有效防止知识产权非法抄袭，提高可靠性。
附图说明
[0030]图1是本专利技术一实施例中方案构成示意图；
[0031]图2是本专利技术一实施例中方法流程示意图。
具体实施方式
[0032]下面结合附图及实施例对本专利技术做进一步说明。
[0033]请参照图1，本专利技术提供一种基于后门触发器的DRL模型知识产权保护方法，包括以下步骤：
[0034]步骤S1:由模型所有者生成水印种子集合；
[0035]步骤S2:基于WMGen算法，通过水印种子修改每个状态对应的奖励值，并且改变状态对应的动作；
[0036]步骤S3:Mark算法使用训练数据和水印序列重新训练模型，嵌入该后门触发器,修改每个动作对应的奖励值；
[0037]步骤S4:根据步骤S2中的每个状态获得对应的APD组成验证时间水印序列TW^；
[0038]步骤S5:通过水印种子对应的初始状态由此得到每个状态以及对应的APD组成的可疑时间序列TW
’
；
[0039]步骤S6:使用Verify算法比较验证时间水印序列TW^与可疑时间序列TW
’
的距离：如果该距离JS
TW^_TW
’
小于阈值ε1，并且可疑时间序列TW
’
所对应的总奖励值R
TW
’<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于后门触发器的DRL模型知识产权保护方法，其特征在于，包括以下步骤：步骤S1:由模型所有者生成水印种子集合；步骤S2:基于WMGen算法，通过水印种子修改每个状态对应的奖励值，并且改变状态对应的动作；步骤S3:Mark算法使用训练数据和水印序列重新训练模型，嵌入该后门触发器,修改每个动作对应的奖励值；步骤S4:根据步骤S2中的每个状态获得对应的APD组成验证时间水印序列TW^；步骤S5:通过水印种子对应的初始状态由此得到每个状态以及对应的APD组成的可疑时间序列TW
’
；步骤S6:使用Verify算法比较验证时间水印序列TW^与可疑时间序列TW
’
的距离：如果该距离JS
TW^_TW
’
小于阈值ε1，并且可疑时间序列TW
’
所对应的总奖励值R
TW
’
小于阈值ε2，则该模型为受保护模型；否则，该模型为非受保护模型。2.根据权利要求1所述的基于后门触发器的DRL模型知识产权保护方法，其特征在于，所述状态对应的奖励值由水印种子对应的初始状态的环境与智能体agent交互得到。3.根据权利要求1所述的基于后门触发器的DRL模型知识产权保护方法，其特征在于，所述WMGen算法，具体为：设WMGen生成一个数据集C，它由n条水印序列组成，每个水印序列由状态和相应的APD对组成，长度为L:TW
i
＝[(s
i,0
,P
i,0
),(s
i,1
,P
i,1
),...,(s
i,L
‑1,P
i,L
‑1)]WMGen首先生成一系列的随机种子作为水印算法的水印启动条件；每个随机种子对应环境的一个初始状态且该初始状态唯一，...

【专利技术属性】
技术研发人员：金彪，姚志强，陈瑜霖，蔡娟娟，熊金波，李逸康，
申请(专利权)人：福建师范大学，
类型：发明
国别省市：