用于持续学习最优电池充电的强化学习制造技术

技术编号:41259637 阅读:31 留言:0更新日期:2024-05-11 09:18
用于持续学习最优电池充电的强化学习。公开了优化电池充电的方法和系统。电池状态传感器用于在多个充电周期期间多次确定电池的阳极超电势。在第一阶段中,利用贯穿电池的每个充电周期给出的奖励来训练强化学习模型(例如,行动者‑评论家模型)以优化训练。强化学习模型可以确定电池在充电周期内的健康状态特性,并且在第二阶段中,强化学习模型被相应地扩充。在该扩充期间,利用在逐个周期充电的基础上给出的奖励来训练强化学习模型,其中在每个充电周期结束之后查看充电优化之后给出奖励。基于扩充的强化学习模型,给出对现场电池充电的命令,确定现场电池的相关联健康状态特性,并且相应地进一步扩充强化学习模型。

【技术实现步骤摘要】

本公开涉及用于持续学习最优电池充电的强化学习


技术介绍

1、可充电电池用于多种环境中,包括混合动力车辆或电动车辆、便携式消费设备(例如,移动电话和类似的电子设备)、动力工具、器具、等等。这样的电池可以具有变化的充电容量和寿命。虽然要理解电池的充电可以影响最终的电池寿命,但是影响电池寿命的所有因素(包括充电曲线本身)都是复杂的,并且难以直接测量。一种领先的电池充电方法使用电化学模型来优化充电曲线(充电时的电流与时间)。电化学模型使用偏微分方程系统来对电池内部发生的已知物理过程进行建模。智能充电算法经由电化学模型动态估计电池退化的状态,并使用标准优化方法调整充电以最小化预测的影响。至关重要的是,这种方法在很大程度上依赖于准确的电池模型。实验室观察已经示出,在电化学模型和真实电池之间可能存在实质性差异。这些差异难以校正,并可能导致比模拟中预测的更快速的老化。

2、强化学习是机器学习的一个领域,其涉及智能代理应如何在环境中采取动作,以便最大化累积奖励的概念。强化学习是优化电池充电的候选,但当前的研究范围有限,局限于特定的温度,依赖于实验室数据,并且处本文档来自技高网...

【技术保护点】

1.一种基于模拟数据和现场数据两者优化对车辆电池的充电的方法,所述方法包括:

2.根据权利要求1所述的方法,其中所述强化学习模型利用双延迟深度确定性(TD3)策略梯度。

3.根据权利要求1所述的方法,其中基于模拟电池在多个充电周期内的健康状态特性来扩充强化学习模型的步骤进一步包括:

4.根据权利要求1所述的方法,其中训练强化学习模型的步骤包括应用随机噪声。

5.根据权利要求1所述的方法,其中命令的步骤经由远程服务器发送至现场车辆的电池管理系统。

6.根据权利要求1所述的方法,其中扩充强化学习模型的步骤利用缓慢变化的Ornstei...

【技术特征摘要】

1.一种基于模拟数据和现场数据两者优化对车辆电池的充电的方法,所述方法包括:

2.根据权利要求1所述的方法,其中所述强化学习模型利用双延迟深度确定性(td3)策略梯度。

3.根据权利要求1所述的方法,其中基于模拟电池在多个充电周期内的健康状态特性来扩充强化学习模型的步骤进一步包括:

4.根据权利要求1所述的方法,其中训练强化学习模型的步骤包括应用随机噪声。

5.根据权利要求1所述的方法,其中命令的步骤经由远程服务器发送至现场车辆的电池管理系统。

6.根据权利要求1所述的方法,其中扩充强化学习模型的步骤利用缓慢变化的ornstein-uhlenbeck噪声。

7.根据权利要求1所述的方法,进一步包括:

8.一种基于模拟数据和现场数据两者优化对电池的充电的系统,所述系统包括:

9.根据权利要求8所述的系统,其中所述强化学习利用双延迟深度确定性(td3)策略梯度。

10.根据权利要求8所述的系统,其中基于模拟电池在多个充电周期内的健康状态特性来扩充强化学习模型进一步包括:

11.根据权利要求8所述的系统,其中通过应用随机噪声来训练强化学习模型。

12.根据权利要求8所述的系统,其中所述至少一个处理器中的至少一个驻...

【专利技术属性】
技术研发人员:R·克莱因N·拉维C·克勒纳J·埃文斯
申请(专利权)人:罗伯特·博世有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1