动作价值的确定方法、装置、学习框架、介质及设备制造方法及图纸

本公开涉及一种动作价值的确定方法、装置、学习框架、介质及设备，所述方法包括：获取深度强化学习模型与虚拟环境交互所产生的交互序列，其中，交互序列包括多个采样数据，每一采样数据包括环境的环境状态、以及与环境状态对应的决策动作；针对每一采样数据，确定深度强化学习模型的优势函数与该采样数据中的环境状态对应的优势函数值，以及在采样数据对应的决策策略下优势函数值的优势期望，决策策略对应的概率分布为基于优势函数和深度强化学习模型的策略熵参数构造的；针对每一采样数据，根据采样数据、与采样数据对应的优势函数值、优势期望以及深度强化学习模型的状态值函数，确定采样数据对应的动作价值，提高对决策策略的评价准确性。策略的评价准确性。策略的评价准确性。

【技术实现步骤摘要】
动作价值的确定方法、装置、学习框架、介质及设备


[0001]本公开涉及计算机
，具体地，涉及一种动作价值的确定方法、装置、学习框架、介质及设备。

技术介绍

[0002]随机计算机技术的发展，各类大型模型、复杂的机器学习模型逐渐开始应用。深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，更接近人类思维方式。在深度强化学习模型的训练过程中，通常需要基于动作值函数对某一状态下的选择决策动作策略进行评价，以便于该深度强化学习模型的策略提升。
[0003]相关技术中在确定该动作价值时，通常需要根据优势函数值和状态函数值进行确定，而在计算过程中是基于优势函数值的平均值对其期望进行估计，则其必然会引入误差，而动作价值的准确性则会严重影响深度强化学习模型确定的决策动作的准确性。

技术实现思路

[0004]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于深度强化学习模型的动作价值的确定方法，其特征在于，所述方法包括：获取深度强化学习模型与虚拟环境交互所产生的交互序列，其中，所述交互序列包括多个采样数据，其中，每一所述采样数据包括所述虚拟环境的环境状态、以及与所述环境状态对应的决策动作；针对每一所述采样数据，确定所述深度强化学习模型的优势函数与该采样数据中的环境状态对应的优势函数值，以及在所述采样数据对应的决策策略下所述优势函数值的优势期望，其中，所述决策策略对应的概率分布为基于所述优势函数和所述深度强化学习模型的策略熵参数构造的；针对每一所述采样数据，根据所述采样数据、与所述采样数据对应的优势函数值、所述优势期望以及所述深度强化学习模型的状态值函数，确定所述采样数据对应的动作价值。2.根据权利要求1所述的方法，其特征在于，所述决策策略对应的概率分布通过以下方式构造：根据所述优势函数值与所述策略熵参数确定所述决策策略对应的目标参数；将所述目标参数进行softmax处理后得到的概率分布确定为所述决策策略对应的概率分布。3.根据权利要求1所述的方法，其特征在于，所述根据所述采样数据、与所述采样数据对应的优势函数值、所述优势期望以及所述深度强化学习模型的状态值函数，确定所述采样数据对应的动作价值，包括：根据所述采样数据中的环境状态，确定所述状态值函数对应的状态价值；将所述优势函数值与所述优势期望之差确定为处理优势函数值；将所述处理优势函数值与所述状态价值之和确定为所述动作价值。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述动作价值确定所述深度强化学习模型的动作值函数的更新梯度信息；根据所述更新梯度信息对所述深度强化学习模型进行更新。5.根据权利要求4所述的方法，其特征在于，所述基于所述动作价值确定所述深度强化学习模型的动作值函数的更新梯度信息，包括：根据所述决策策略的更新梯度信息、和在所...

【专利技术属性】
技术研发人员：范嘉骏，肖昌南，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：