【技术实现步骤摘要】
本专利技术涉及智能体强化学习，尤其涉及一种智能体策略网络训练方法、装置、电子设备及存储介质。
技术介绍
1、强化学习在各种顺序决策问题中取得了令人瞩目的成功，例如顺序推荐系统、自动化和机器人运动技能学习。异策略强化学习算法利用由先前策略在策略改进路径上收集的多样化经验数据，相比于在线策略方法，可以实现更高的数据效率。
2、相关技术中，传统异策略强化学习算法通常是历史的(状态，动作，奖励，下一步状态)的交互转移四元组依次存储在经验池中，在使用强化学习算法更新的过程中，从经验池中采样并利用采样得到的数据对神经网络进行更新。然而，在网络更新过程中，训练样本的采样策略通常是优先选择当前策略生成的样本，从而导致待训练的策略网络无法根据历史策略样本进行训练，进而，导致待训练的策略网络的训练效果较差，影响最终应用的目标策略网络的性能。
技术实现思路
1、本专利技术提供了一种智能体策略网络训练方法、装置、电子设备及存储介质，以实现提高策略网络训练效果和训练速度的效果，可以更加准确便捷地训练出目标策略网络，进而，提升了目标策略网络的决策性能。
2、根据本专利技术的一方面，提供了一种智能体策略网络训练方法，该方法包括：
3、针对从第一经验池中获取的每个第一训练样本，基于预先训练完成的在线性判别器对当前第一训练样本进行处理，得到与所述当前第一训练样本对应的在线性得分；其中，所述第一训练样本为多元组，所述多元组包括初始状态、第一历史时刻的状态、所述第一历史时刻的决策动作
4、将所述当前第一训练样本分别输入至状态动作价值网络、状态价值网络以及策略网络中，得到与所述状态动作价值网络对应的第一实际输出、与所述状态价值网络对应的第二实际输出以及与所述策略网络对应的第三实际输出；
5、根据所述第二实际输出、所述第一历史时刻的累计奖赏、所述在线性得分以及所述状态动作价值网络对应的第一损失函数对所述第一实际输出和所述第一历史时刻的奖赏进行处理，得到第一损失值，并根据所述第一损失值对所述状态动作价值网络中的参数进行修正；以及，
6、根据所述状态价值网络对应的第二损失函数对所述第二实际输出和所述第一历史时刻的奖赏进行处理，得到第二损失值，并根据所述第二损失值对所述状态价值网络中的参数进行修正；以及，
7、根据所述策略网络对应的第三损失函数对所述第三实际输出和所述第一历史时刻的决策动作进行处理，得到第三损失值，并根据所述第三损失值对所述策略网络中的参数进行修正，直至达到所述策略网络对应的预设收敛条件时训练结束，得到目标策略网络；
8、其中，所述第三损失函数与所述状态动作价值网络对应的实际输出和所述状态价值网络对应的实际输出相关联；所述目标策略网络用于对智能体对应的当前时刻的状态进行判断，以得到当前时刻的目标决策动作。
9、根据本专利技术的另一方面，提供了一种智能体策略网络训练装置，该装置包括：
10、训练样本获取模块，用于针对从第一经验池中获取的每个第一训练样本，基于预先训练完成的在线性判别器对当前第一训练样本进行处理，得到与所述当前第一训练样本对应的在线性得分；其中，所述第一训练样本为多元组，所述多元组包括初始状态、第一历史时刻的状态、所述第一历史时刻的决策动作、下一历史时刻的状态、所述第一历史时刻的奖赏以及所述第一历史时刻的累计奖赏；其中，所述下一历史时刻是将第一历史时刻作为当前时刻时对应的下一时刻；
11、训练样本处理模块，用于将所述当前第一训练样本分别输入至待训练的状态动作价值网络、状态价值网络以及策略网络中，得到与所述状态动作价值网络对应的第一实际输出、与所述状态价值网络对应的第二实际输出以及与所述策略网络对应的第三实际输出；
12、第一损失值确定模块，用于根据所述第二实际输出、所述第一历史时刻的累计奖赏、所述在线性得分以及所述状态动作价值网络对应的第一损失函数对所述第一实际输出和所述第一历史时刻的奖赏进行处理，得到第一损失值，并根据所述第一损失值对所述状态动作价值网络中的参数进行修正；以及，
13、第二损失值确定模块，用于根据所述状态价值网络对应的第二损失函数对所述第二实际输出和所述第一历史时刻的奖赏进行处理，得到第二损失值，并根据所述第二损失值对所述状态价值网络中的参数进行修正；以及，
14、第三损失值确定模块，用于根据所述策略网络对应的第三损失函数对所述第三实际输出和所述第一历史时刻的决策动作进行处理，得到第三损失值，并根据所述第三损失值对所述策略网络中的参数进行修正，直至达到所述策略网络对应的预设收敛条件时训练结束，得到目标策略网络；
15、其中，所述第三损失函数与所述状态动作价值网络对应的实际输出和所述状态价值网络对应的实际输出相关联；所述目标策略网络用于对智能体对应的当前时刻的状态进行判断，以得到当前时刻的目标决策动作。
16、根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
17、至少一个处理器；以及
18、与所述至少一个处理器通信连接的存储器；其中，
19、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的智能体策略网络训练方法。
20、根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的智能体策略网络训练方法。
21、本专利技术实施例的技术方案，通过针对从第一经验池中获取的每个第一训练样本，基于预先训练完成的在线性判别器对当前第一训练样本进行处理，得到与当前第一训练样本对应的在线性得分；之后，将当前第一训练样本分别输入至状态动作价值网络、状态价值网络以及策略网络中，得到与状态动作价值网络对应的第一实际输出、与状态价值网络对应的第二实际输出以及与策略网络对应的第三实际输出，之后，根据第二实际输出、第一历史时刻的累计奖赏、在线性得分以及状态动作价值网络对应的第一损失函数对第一实际输出和第一历史时刻的奖赏进行处理，得到第一损失值，并根据第一损失值对状态动作价值网络中的参数进行修正；以及，根据状态价值网络对应的第二损失函数对第二实际输出和第一历史时刻的奖赏进行处理，得到第二损失值，并根据第二损失值对状态价值网络中的参数进行修正；以及，根据策略网络对应的第三损失函数对第三实际输出和第一历史时刻的决策动作进行处理，得到第三损失值，并根据第三损失值对策略网络中的参数进行修正，直至达到策略网络对应的预设收敛条件时训练结束，得到目标策略网络，解决了相关技术中待训练的策略网络无法根据历史策略样本进行训练，进而，导致待训练的策略网络的训练效果较差，影响最终应用的目标策略网络本文档来自技高网...
【技术保护点】
1.一种智能体策略网络训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述第二实际输出、所述第一历史时刻的累计奖赏、所述在线性得分以及所述状态动作价值网络对应的第一损失函数对所述第一实际输出和所述第一历史时刻的累计奖赏进行处理，得到第一损失值，包括：
3.根据权利要求2所述的方法，其特征在于，所述第二实际输出包括下一历史时刻的状态对应的实际价值和所述初始状态对应的实际价值；相应的，所述根据所述第二实际输出、所述第一历史时刻的累计奖赏、所述在线性得分以及预先确定的温度系数，对所述初始损失值进行处理，得到所述第一损失值，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述下一历史时刻的状态对应的实际价值、所述初始状态对应的实际价值以及所述第一历史时刻的累计奖赏，确定前瞻分布权重，包括：
5.根据权利要求1所述的方法，其特征在于，还包括：
6.根据权利要求1或5所述的方法，其特征在于，还包括：
7.根据权利要求1所述的方法，其特征在于，还包括：
8.根据权利要求
9.一种智能体策略模型训练装置，其特征在于，所述装置包括：
10.一种电子设备，其特征在于，所述电子设备包括：
...【技术特征摘要】
1.一种智能体策略网络训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述第二实际输出、所述第一历史时刻的累计奖赏、所述在线性得分以及所述状态动作价值网络对应的第一损失函数对所述第一实际输出和所述第一历史时刻的累计奖赏进行处理，得到第一损失值，包括：
3.根据权利要求2所述的方法，其特征在于，所述第二实际输出包括下一历史时刻的状态对应的实际价值和所述初始状态对应的实际价值；相应的，所述根据所述第二实际输出、所述第一历史时刻的累计奖赏、所述在线性得分以及预先确定的温度系数，对所述初始损失值进行处理，得到所述第一损失值，包括：
4.根据权利要求3所述...
【专利技术属性】
技术研发人员：刘天硕，刘旭辉，陈瑞峰，张智龙，韩璐瑶，
申请(专利权)人：南栖仙策南京高新技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。