【技术实现步骤摘要】
本申请涉及强化学习，尤其涉及一种强化学习模型的训练方法及装置。
技术介绍
1、强化学习算法可以基于前一时刻智能体所处环境的状态预测后一时刻智能体所要采取的动作，根据智能体采取该动作后，环境给智能体的反馈(奖励)优化强化学习算法，所以强化学习算法从被创造出就是为了适用于环境探测或者相关场景。然而在实践中，发现现有的强化学习算法在探测环境中，并不能保证多数探索的是新环境，可能探索的是已经探测过的环境。为了解决这个问题，已有很多改进，比如探索到新环境的奖励更大，探索到旧环境的奖励更小等方法，但是效果均不理想。
技术实现思路
1、有鉴于此，本申请实施例提供了一种强化学习模型的训练方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，无法引导智能体探索新环境的问题。
2、本申请实施例的第一方面，提供了一种强化学习模型的训练方法，包括：构建环境探索网络，其中，环境探索网络内部包含特征提取网络、前向网络和后向网络；利用环境探索网络和强化学习网络构建强化学习模型；获取第一时刻智能体的第一行为信息和智能体所处环境的第一状态信息，以及第二时刻智能体所处环境的第二状态信息；基于第一行为信息、第一状态信息和第二状态信息，通过环境探索网络预测第一时刻智能体的第二行为信息，以及第二时刻智能体所处环境的目标状态特征；基于第一行为信息，通过强化学习网络预测第二时刻智能体的第三行为信息；基于环境探索网络和强化学习网络预测的结果，计算目标损失，并依据目标损失优化强化学习模型。
3、本申请
4、本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
5、本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
6、本申请实施例与现有技术相比存在的有益效果是：因为本申请实施例通过构建环境探索网络，其中，环境探索网络内部包含特征提取网络、前向网络和后向网络；利用环境探索网络和强化学习网络构建强化学习模型；获取第一时刻智能体的第一行为信息和智能体所处环境的第一状态信息，以及第二时刻智能体所处环境的第二状态信息；基于第一行为信息、第一状态信息和第二状态信息，通过环境探索网络预测第一时刻智能体的第二行为信息，以及第二时刻智能体所处环境的目标状态特征；基于第一行为信息，通过强化学习网络预测第二时刻智能体的第三行为信息；基于环境探索网络和强化学习网络预测的结果，计算目标损失，并依据目标损失优化强化学习模型。采用上述技术手段，可以解决现有技术中，无法引导智能体探索新环境的问题，进而提高智能体探索新环境的效率。
本文档来自技高网...【技术保护点】
1.一种强化学习模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，基于所述第一行为信息、所述第一状态信息和所述第二状态信息，通过所述环境探索网络预测第一时刻所述智能体的第二行为信息，以及第二时刻所述智能体所处环境的目标状态特征，包括：
3.根据权利要求2所述的方法，其特征在于，基于所述环境探索网络和所述强化学习网络预测的结果，计算目标损失，并依据所述目标损失优化所述强化学习模型，包括：
4.根据权利要求3所述的方法，其特征在于，基于所述第一行为信息和所述第二行为信息之间的差值，计算第一损失，包括：
5.根据权利要求3所述的方法，其特征在于，基于所述第二状态特征和所述目标状态特征之间的差值，计算内部奖励和第二损失，并基于所述内部奖励计算第三损失，包括：
6.根据权利要求3所述的方法，其特征在于，计算第三行为信息对应的外部奖励，并基于所述外部奖励计算第四损失，包括：
7.根据权利要求3所述的方法，其特征在于，所述方法还包括：
8.一种强化学习模型的训练装置，其特征在于，包括
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种强化学习模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，基于所述第一行为信息、所述第一状态信息和所述第二状态信息，通过所述环境探索网络预测第一时刻所述智能体的第二行为信息，以及第二时刻所述智能体所处环境的目标状态特征，包括：
3.根据权利要求2所述的方法，其特征在于，基于所述环境探索网络和所述强化学习网络预测的结果，计算目标损失，并依据所述目标损失优化所述强化学习模型，包括：
4.根据权利要求3所述的方法，其特征在于，基于所述第一行为信息和所述第二行为信息之间的差值，计算第一损失，包括：
5.根据权利要求3所述的方法，其特征在于，基于所述第二状态特征和所述目标状态特征之间的差值，计算内部...
【专利技术属性】
技术研发人员：王芳，暴宇健，
申请(专利权)人：深圳须弥云图空间科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。