【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及数字水印领域，具体地，涉及用于防止未经授权使用深度强化学习智能体的方法、系统和计算机程序产品。
技术介绍
1、机器学习是人工智能(artificial intelligence，ai)的一部分，为系统和应用提供一种通过经验和数据的使用来学习和自动改进的能力。机器学习可以分为三种主要类型：监督学习、无监督学习和强化学习(reinforcement learning，rl)。在监督学习和无监督学习中，神经网络是基于现有数据集来训练的。在强化学习中，存在一个智慧智能体，它行动并指导其活动以实现目标，并通过与环境交互来学习以实现一组特定的目标。智慧智能体或智能体可以以表格或神经网络的形式实现或表示。rl试图解决的控制问题与监督学习和无监督学习试图解决的问题不同。
2、rl智能体的动作选择被建模为策略。为了生成深度rl策略，需要大量的资源和计算，因此，训练有素的rl智能体常常成为非法复制、未经许可使用和分发的目标。因此，已经进行了一些尝试来验证(深度)rl智能体的所有权，并保护其免遭非法复制(例如，窃取)或对抗实体(例如...
【技术保护点】
1.一种用于防止未经授权使用深度强化学习DRL智能体的方法，所述方法包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求1所述的方法，其特征在于，所述训练所述DRL智能体基于期望的策略还包括：当将所述秘密操作密钥和第二秘密操作密钥都提供给所述DRL智能体时，训练所述DRL智能体基于所述期望的策略进行操作，所述第二秘密操作密钥专门供所述授权实体使用；
4.根据权利要求1所述的方法，还包括：
5.根据权利要求4所述的方法，其特征在于，所述秘密操作密钥被指定为所述原始状态空间中的状态或状态组合的秘密函数，所述秘密函...
【技术特征摘要】
【国外来华专利技术】
1.一种用于防止未经授权使用深度强化学习drl智能体的方法，所述方法包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求1所述的方法，其特征在于，所述训练所述drl智能体基于期望的策略还包括：当将所述秘密操作密钥和第二秘密操作密钥都提供给所述drl智能体时，训练所述drl智能体基于所述期望的策略进行操作，所述第二秘密操作密钥专门供所述授权实体使用；
4.根据权利要求1所述的方法，还包括：
5.根据权利要求4所述的方法，其特征在于，所述秘密操作密钥被指定为所述原始状态空间中的状态或状态组合的秘密函数，所述秘密函数仅为所述drl智能体的所有者所知。
6.根据权利要求1所述的方法，其特征在于，所述秘密操作密钥是从所述drl智能体在一个或多个离散时间步长上的行为轨迹的状态迁移空间中导出的临时序列。
7.根据权利要求1所述的方法，其特征在于，所述秘密操作密钥是通过实体对象提供的。
8.根据权利要求1所述的方法，其特征在于，所述秘密操作密钥是由嵌入到与所述drl智能体操作关联的系统中的函数提供的。
9.根据权利要求1所述的方法，其特征在于，所述drl智能体的操作级别取决于向所述drl智能体所提供的秘密操作密钥。
10.一种用于防止未经授权使用深度强化学习drl智能体的方法，所述方法包括：
11.根据权利要求10所述的方法，其特征在于，所述智能体确定模块配置为循环神经网络或长短期记忆lstm模块。
12.根据权利要求10所述的方法，其特征在于，所述智能体确定模块配置为确定性密钥过滤器。
13.根据权利要求11所述的方法，其特征在于，所述智能体确定模块向反相器输出，所述反相器用于激活所述第一drl智能体和所述第二drl智能体中的一个。
14.根据权利要求12所述的方法，其特征在于，所述智能体确定模块向反相器输出，所述反相器用于激活所述第一drl智能体和所述第二drl智能体中的一个。
15.根据权利要求12所述的方法，所述方法还包括：
16.根据权利要求10所述的方法，其特征在于，所述秘密操作密钥是从表示与所述第一drl智能体和所述第二drl智能体相关联的一组状态的状态空间中导出的临时序列。
17.一种用于防止未经授权使用深度强化学习drl智能体的系统，包括：
18.根据权利要求17所述的系统，其特征在于，所述drl智能体训练单元还用于：
19.根据权利要求17所述的系统，其特征在于，所述训练所述drl智能体基于期望的策略还包括：当将所述秘密操作密钥和第二秘密操作密钥都提供给所述drl智能体时，训练所述drl智能体基于所述期望的策略进行操作，所述第二秘密操作密钥专门供所述授权实体使用；
20.根据权利要求17所述的系统，其特征在于，所述drl智能体执行设备还用于：
【专利技术属性】
技术研发人员：奥马尔·艾哈迈德·穆罕默德·阿尔侯赛因，彼得·阿什伍德史密斯，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。