【技术实现步骤摘要】
本申请涉及物联网，特别是涉及一种状态预测方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
1、现在的机房中通常采用ups(uninterruptible power supply，不间断电源)蓄电池作为电源。但是，ups蓄电池着火发生的概率极高，并且油烟会迅速扩散到机房的各个角落，速度很快，造成严重的机房事故。因此，需要通过状态预测方法准确地预测ups蓄电池的健康状态，并在合理时间进行更换ups蓄电池，从而可以大大降低机房安全事故发生的概率。
2、目前的状态预测方法是基于ups蓄电池的历史属性训练数据对有监督的学习算法进行训练，得到训练后的有监督的学习算法。然后，将ups蓄电池的历史属性数据输入训练后的有监督的学习算法，得到ups蓄电池的预测状态。
3、然而，目前的状态预测方法只是单独对各历史属性训练数据进行特征提取，得到历史属性训练数据的静态特征，提取历史属性训练数据特征的维度单一，导致状态预测方法的准确性较低。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种状态预测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面，本申请提供了一种状态预测方法，包括：
3、获取电池属性训练数据集；所述电池属性训练数据集中包含携带电池状态标签的各电池属性训练数据子集；
4、根据各所述电池属性训练数据子集和强化学习模型中的智能体，构建经验池；所述经验池中包含所述电池属性训练数据子集对应的奖励
5、根据所述经验池训练所述智能体中的主网络和目标网络，并在所述智能体满足预设的训练停止条件的情况下，将所述智能体确定为目标智能体；所述目标智能体用于蓄电池的电池状态的预测处理。
6、在其中一个实施例中，所述获取电池属性训练数据集，包括：
7、获取各时间窗口内的电池训练数据子集，并对每一所述电池训练数据子集进行预处理，得到电池属性训练数据子集；所述电池属性训练数据子集包含电池健康状态数值soh；
8、基于所述soh和预设的电池健康状态阈值，对所述电池属性训练数据子集进行状态标注，得到携带电池状态标签的所述电池属性训练数据子集。
9、在其中一个实施例中，所述基于所述soh和预设的电池健康状态阈值，对所述电池属性训练数据子集进行状态标注，得到携带电池状态标签的所述电池属性训练数据子集，包括：
10、判断所述soh是否大于预设的电池健康状态阈值；
11、若所述soh大于所述电池健康状态阈值，标注所述电池属性训练数据子集为健康状态，得到包含健康状态标签的所述电池属性训练数据子集；
12、若所述soh小于等于所述电池健康状态阈值，标注所述电池属性训练数据子集为报废状态，得到包含报废状态标签的所述电池属性训练数据子集。
13、在其中一个实施例中，所述根据各所述电池属性训练数据子集和强化学习模型中的智能体，构建经验池，包括：
14、基于各所述电池属性训练数据子集的电池状态标签，构建强化学习模型中预测环境的动作空间；
15、将各所述包含电池状态标签的电池属性训练数据子集，确定为所述预测环境的状态空间；
16、基于所述状态空间、所述动作空间和强化学习模型中的智能体，构建经验池。
17、在其中一个实施例中，所述基于所述状态空间、所述动作空间和强化学习模型中的智能体，构建经验池，包括：
18、通过所述智能体接收状态空间传输的当前电池属性训练数据子集，并通过预设的贪婪算法从所述动作空间中确定当前状态信息；
19、基于所述当前状态信息和所述当前电池属性训练数据子集中的电池状态标签，确定所述当前状态信息对应的奖励值，并从所述状态空间中获取下一电池属性训练数据子集；
20、基于所述当前状态信息、所述当前状态信息对应的奖励值、所述当前电池属性训练数据子集和所述下一电池属性训练数据子集，构建经验，并将所述经验放入经验池中；
21、判断所述状态空间中是否存在电池属性训练数据子集；
22、在所述状态空间中存在所述电池属性训练数据子集的情况下，将所述下一电池属性训练数据子集确定为所述当前电池属性训练数据子集，并执行所述通过所述智能体接收状态空间传输的当前电池属性训练数据子集，并通过预设的贪婪算法从所述动作空间中确定当前状态信息的步骤，直到所述状态空间中不存在所述电池属性训练数据子集，得到包含各所述经验的所述经验池。
23、在其中一个实施例中，所述根据所述经验池训练所述智能体中的主网络和目标网络，并在所述智能体满足预设的训练停止条件的情况下，将所述智能体确定为目标智能体，包括：
24、从所述经验池中选取经验分别输入到所述智能体中的主网络和目标网络中，得到所述目标网络对应的目标样本标签和主网络对应的主样本标签；
25、根据预设的梯度函数对所述目标样本标签和所述主样本标签进行数据处理，得到梯度值；
26、根据预设的梯度下降算法和所述梯度值更新所述主网络和所述目标网络的参数；
27、判断所述梯度值是否达到预设的梯度阈值，并在所述梯度值达到所述梯度阈值的情况下，将所述智能体确定为目标智能体。
28、在其中一个实施例中，所述判断所述梯度值是否达到预设的梯度阈值之后，所述方法还包括：
29、在所述梯度值未达到所述梯度阈值的情况下，执行所述从所述经验池中选取经验分别输入到所述智能体中的主网络和目标网络中，得到所述目标网络对应的目标样本标签和主网络对应的主样本标签的步骤，直到所述梯度值达到所述梯度阈值。
30、第二方面，本申请还提供了一种状态预测装置，包括：
31、获取模块，用于获取电池属性训练数据集；所述电池属性训练数据集中包含携带电池状态标签的各电池属性训练数据子集；
32、构建模块，用于根据各所述电池属性训练数据子集和强化学习模型中的智能体，构建经验池；所述经验池中包含所述电池属性训练数据子集对应的奖励值；
33、确定模块，用于根据所述经验池训练所述智能体中的主网络和目标网络，并在所述智能体满足预设的训练停止条件的情况下，将所述智能体确定为目标智能体；所述目标智能体用于蓄电池的电池状态的预测处理。
34、第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
35、获取电池属性训练数据集；所述电池属性训练数据集中包含携带电池状态标签的各电池属性训练数据子集；
36、根据各所述电池属性训练数据子集和强化学习模型中的智能体，构建经验池；所述经验池中包含所述电池属性训练数据子集对应的奖励值；
37、根据所述经验池训练所述智能体中的主网络和目标网络，并在所述智能体满足预设的训练停止条件的情况下，将所述智能体确定为目标智能体本文档来自技高网...
【技术保护点】
1.一种状态预测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取电池属性训练数据集，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述SOH和预设的电池健康状态阈值，对所述电池属性训练数据子集进行状态标注，得到携带电池状态标签的所述电池属性训练数据子集，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据各所述电池属性训练数据子集和强化学习模型中的智能体，构建经验池，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述状态空间、所述动作空间和强化学习模型中的智能体，构建经验池，包括：
6.根据权利要求1所述的方法，其特征在于，所述根据所述经验池训练所述智能体中的主网络和目标网络，并在所述智能体满足预设的训练停止条件的情况下，将所述智能体确定为目标智能体，包括：
7.根据权利要求6所述的方法，其特征在于，所述判断所述梯度值是否达到预设的梯度阈值之后，所述方法还包括：
8.一种状态预测装置，其特征在于，所述装置包括：
9.一种
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种状态预测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取电池属性训练数据集，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述soh和预设的电池健康状态阈值，对所述电池属性训练数据子集进行状态标注，得到携带电池状态标签的所述电池属性训练数据子集，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据各所述电池属性训练数据子集和强化学习模型中的智能体，构建经验池，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述状态空间、所述动作空间和强化学习模型中的智能体，构建经验池，包括：
6.根据权利要求1所述的方法，其...
【专利技术属性】
技术研发人员：王耀，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。