一种动作预测方法及装置制造方法及图纸

本申请提供了一种动作预测方法及装置，其中，该方法包括：获取智能体与所在环境中的环境对象进行交互过程中的轨迹序列；对多个所述轨迹数据集合进行动作奖励值重分配，使得每个轨迹数据集合对应的动作奖励值非零；从进行动作奖励值重分配后的所述轨迹序列中选取目标轨迹序列作为待训练的目标样本；基于多个所述目标样本，训练得到状态转移模型；所述状态转移模型用于为智能体预测待执行的动作。本申请实施例由于训练模型所用的数据量大大减少，可以在降低状态转移建模难度的同时加快训练过程的收敛速度。并且由于法无需人工干预和额外辅助数据，具有较强的泛化性。

【技术实现步骤摘要】
一种动作预测方法及装置
本申请涉及人工智能
，尤其是涉及一种动作预测方法及装置。
技术介绍
在强化学习问题中，智能体通常会不断与环境进行交互，并以最大化环境反馈的累积奖励为目标，更新自身的行为策略。然而，在许多复杂情况下，环境往往很少会反馈奖励，进而导致智能体无法获取到有效的信息来更新自身行为策略。这种很难直接从环境中获取到奖励的问题即为稀疏奖励问题。在稀疏奖励情况下，常见的强化学习方案很难取得有效的成果。一方面，由于智能体的大部分行为不能获得直接奖励，无法根据环境奖励选取动作；另一方面，此类游戏通常较为复杂，需要一定策略才能完成，想要在巨大的状态空间中随机探索到该策略难度很大。目前解决稀疏奖励问题的方案包括增添额外奖励方案、模仿学习方案、奖励重分配方案和环境建模方案。申请人在研究中发现，现有的这几种方案存在状态转移建模难度大、模型训练过程的收敛速度慢以及泛化性较差。
技术实现思路
有鉴于此，本申请的目的在于提供一种动作预测方法和装置，以在在降低状态转移建模难度的同时加快训练过程的收敛速度。第一本文档来自技高网...

【技术保护点】
1.一种动作预测方法，其特征在于，包括：/n获取智能体与所在环境中的环境对象进行交互过程中的轨迹序列；所述轨迹序列包括多个连续动作下的轨迹数据集合，每个轨迹数据集合中的参数信息包括动作奖励值；/n对多个所述轨迹数据集合进行动作奖励值重分配，使得每个轨迹数据集合对应的动作奖励值非零；/n从进行动作奖励值重分配后的所述轨迹序列中选取目标轨迹序列作为待训练的目标样本，每个所述目标样本中包括对应的轨迹数据集合中的至少一种参数信息；/n基于多个所述目标样本，训练得到状态转移模型；所述状态转移模型用于为智能体预测待执行的动作。/n

【技术特征摘要】
1.一种动作预测方法，其特征在于，包括：
获取智能体与所在环境中的环境对象进行交互过程中的轨迹序列；所述轨迹序列包括多个连续动作下的轨迹数据集合，每个轨迹数据集合中的参数信息包括动作奖励值；
对多个所述轨迹数据集合进行动作奖励值重分配，使得每个轨迹数据集合对应的动作奖励值非零；
从进行动作奖励值重分配后的所述轨迹序列中选取目标轨迹序列作为待训练的目标样本，每个所述目标样本中包括对应的轨迹数据集合中的至少一种参数信息；
基于多个所述目标样本，训练得到状态转移模型；所述状态转移模型用于为智能体预测待执行的动作。


2.根据权利要求1所述的方法，其特征在于，训练得到状态转移模型之后，还包括：
基于智能体的目标状态信息，基于所述状态转移模型，预测所述智能体在所述目标状态下执行不同动作序列后，分别对应的累积动作奖励；
为所述智能体选取对应的累积动作奖励最多的动作序列。


3.根据权利要求1所述的方法，其特征在于，获取智能体与环境交互过程中的轨迹序列，包括：
获取智能体与所在环境中的环境对象进行交互过程中的完整轨迹序列；
若所述完整轨迹序列的长度大于预设长度，则将所述完整轨迹序列切割为多段轨迹序列；
分别获取每段轨迹序列。


4.根据权利要求1所述的方法，其特征在于，对多个所述轨迹数据集合进行动作奖励值重分配，包括：
利用贡献分配算法对多个所述轨迹数据集合进行动作奖励值重分配；所述贡献分配算法包括逐层相关性传播算法、泰勒近似算法和路径积分算法中的任意一种。


5.根据权利要求1所述的方法，其特征在于，从进行动作奖励值重分配后的所述轨迹序列中选取目标轨迹序列作为待训练的目标样本，包括：
从进行动作奖励值重分配后的所述轨迹序列中，按照预设规则选取目标轨迹序列作为待训练的目标样本；所述预设规则用于描述对轨迹数据集合中至少一种参数信息的约束条件。


6.根据权利要求1所述的方法，其特征在于，基于多个所述目标样本，训练得到状态转移模型，包括：
将所述目标样本中除所述动作奖励值外的参数信息作为状态转移模型的输入参数信息，将所述动作奖励值作为状态转移模型的输出参数信息，训练得到所述状态转移模型。


7.根据权利要求6所述的方法，其特征在于，所述目标样本中除所述动作奖励值外的参数信息包括：动作信息和状态信息。


8.根据权利要求2所述的方法，其特征在于，基于智能体的目标状态信息，基于所述状态转移模型，预测所述智能体在所述目标状态下执行不同动作序列后，分别对应的累积动作奖励，包括：
基于智能体的目标状态信息，基于所述状态转移模型，预测所述智能体在所述目标状态下执行每个动作序列后，得到所述动作序列中每个动作对应的动作奖励值；
将所述动作序列中各个动作对应的动作奖励值与该动作奖励值的累积系数的乘积的和确定为所述动作序列对应的累积动作奖励。


9.一种动作预测装置，其特征在于，包括：
获取模块，用于获取智能体与所在环境中的环境对象进行交互过程中的轨迹序列；所述轨迹序列包括多个连续动作下的轨迹数据集合，每个轨迹...

【专利技术属性】
技术研发人员：宋研，林磊，范长杰，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江;33