基于Q-learning算法的配电网智能终端电源管理方法技术

本发明专利技术公开了基于Q

【技术实现步骤摘要】
基于Q
‑
learning算法的配电网智能终端电源管理方法


[0001]本专利技术属于电力系统的配电自动化
，具体涉及基于Q
‑
learning算法的配电网智能终端电源管理方法，特别是一种基于Q
‑
learning算法的配电网智能终端电源管理方法。

技术介绍

[0002]1954年，Minsky首次提出“强化”和“强化学习”的概念和术语。从提出至今的60多年里，强化学习已经在科学、工程和艺术等领域获得了越来越广泛的应用，并产生了众多成功案例。游戏作为人工智能算法绝佳的实验床,从中诞生了众多代表性算法。在众多电子游戏中，强化学习算法取得了不错的成绩，在一些游戏中甚至超过了人类玩家，最著名的是Silver等人提出的针对零和、信息完备的回合制棋类游戏程序AlphaGo、AlphaGo Zero和Alpha Zero。
[0003]近年来，强化学习也开始被应用于配电网相关领域。相关文献中提到了基于批量约束强化学习的配电网动态重构、基于强化学习的配电网电压自主分散控制、配电网中基于强化学习的插电式电动汽车最优控制策略等，这些研究都是强化学习在配电网领域应用的有效尝试，均取得了较好的实验结果。
[0004]强化学习作为当前人工智能领域的热门研究方向之一，已经吸引了越来越多的学者对其进行不断地研究和扩展。但将配电网终端后备电源管理行为视为一种智能体的处理过程，对电池寿命及老化状态进行建模，并对电池寿命发展态势进行预演，属于一种全新的尝试。
[0005]随着我国配网自动化建设的持续推进，目前各地区配电网智能化建设及改造已基本完成智能配网的引入，极大的提高了区域供电的可靠性。由于电力、通信等行业的安全性和特殊性，需要24小时不间断供电，因此近些年不间断供电(ups)、阀控铅酸蓄电池、锂子电池组等技术得到快速发展。
[0006]当前，配电终端设备中多采用铅酸蓄电池作为外部应急备用电源，而正常供电电源采用220V，自备内部电源供电，一旦配电网络发生故障停电，迅速启动备用外部电源，确保供电系统供电的安全性和可靠性。但铅酸蓄电池受外界温度影响较大，寿命较短，造成了很大的人力财力开销。如何管理配电终端电源电池组，尽可能延长电池寿命，减少成本支出，是亟待解决的问题。传统方法多采用周期性更换电池，如两三年更换一次电池组，不能及时反馈电池状态，还是会造成浪费。因此配电终端的电源管理工作急需一种模型简单、反馈迅速、易于动态调整的方法，以便对相关数据进行利用，自动实现不同场景下的电源管理方案的生成。
[0007]本专利技术是将强化学习应用于配电网电源管理中，有助于优化电源管理方案，在保证后备电源供电的前提下，减少更换电池带来的人力、财力成本。该方法具有重要的现实意义和理论价值。

技术实现思路

[0008]本专利技术为了解决转变传统方法中的管理方式，以更智能化的方法，提供电源管理方案，以优化电源性能，提高电池寿命的技术问题，设计了基于Q
‑
learning算法的配电网智能终端电源管理方法，通过Q表学习模型改进电源管理方案，最终实现在不同场景下都能得到最优的电源管理方案。
[0009]本专利技术的技术方案是，基于Q
‑
learning算法的配电网智能终端电源管理方法，用于在不同场景下生成最优的电源管理方案，关键是，所述的电源管理方法借助配电网智能终端的CPU以及管理软件实现，具体步骤如下：
[0010]步骤1：借助python语言和神经网络算法建立配电网智能终端的电源电池寿命发展、老化的环境模型，具体包括电源电池的静态信息模型、电池的动态运行数据的离散化模型、处置行为与环境变化的单步交互模型、后备电源管理、更换的人力和财力上限模型、以及环境对处置行为的奖励策略；
[0011]步骤2：基于Q
‑
learning算法构建配电网智能终端的电源管理方案探索的学习模型，并完成模型的训练，具体包括初始化后备电源管理行为集合，构建环境的初始Q
‑
learning算法中的Q表，采用时间差分算法，做出随机的管理行为，并循环更新Q表实现模型的训练；
[0012]步骤3：基于步骤1中的环境模型，从中构建特定环境模型作为预案所对应的环境，所述的特定环境模型为多应力作用下锂离子电池老化模型，包括电池充放电电流、充放电截止电压、环境温度、电池剩余电量影响因素，将上述的组合情况与电池的静态信息模型相结合，生成不同的终端电源管理场景；
[0013]步骤4：将步骤2中训练好的学习模型作用于步骤3的预案环境，生成完整的状态行为序列，即可得到电源最优的管理方案。
[0014]所述的步骤4的具体步骤如下：
[0015]步骤41：采用ε贪婪策略从Q表中选取每个状态下的行动；
[0016]步骤42：记录完整的状态行为序列，即可得到电源的最优管理方案。
[0017]增设步骤5，将电源的最优管理方案生成电源管理方案文档，具体为：借助python
‑
docx插件将步骤4中记录的状态行为序列转化为端电源管理方案文档，
[0018]增设步骤6，生成用户指定环境情况的直观图表，具体为：系统根据用户指定的环境变化情况，生成相应的确定性环境，采用ε贪婪策略从训练生成的Q表中选取行动，将选取的行动在环境中执行，每执行一步，调用环境中的plot进行状态绘制，形成直观的图表。
[0019]本专利技术的有益效果是，本专利技术通过将电池寿命老化相关的数据构建为环境，采用强化学习完成决策优化，采用Q
‑
learning算法构建配电终端电源管理方法探索的智能体学习模型，在环境和智能体完成学习的基础上，给定场景组合，完成智能体评价函数的学习，即生成价值估计Q表；对于每个场景，让智能体与之交互，输出相应的环境和行为序列，即为管理方案。同时可以采用word格式以及图表形式直观的输出方案。本专利技术将电池管理行为视为一种智能体的处理过程，通过对电池寿命及老化状态进行建模，并采用强化学习的方法对电源寿命发展态势进行预演，为配电终端电源管理提供帮助，该方法具有重要的现实意义和理论价值。
附图说明
[0020]图1是本专利技术实施例提供的一种基于Q
‑
learning算法的配电网智能终端电源管理方法的流程框架图。
[0021]图2是本专利技术实施例中基于强化学习的电源管理过程。
[0022]图3是本专利技术实施例中电源管理环境模型的构建过程。
具体实施方式
[0023]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。
[0024]本专利技术提供的一种基于Q
‑
learning算法的配电网智能终端电源管理方法，具体流程如图1所示，包括以下步骤：
[0025]步骤1：基于python和神经网络建立电源电池寿命发展、老化的环境模型；具体包括以下步骤：
[0026]步骤11：构建电源电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Q
‑
learning算法的配电网智能终端电源管理方法，用于在不同场景下生成最优的电源管理方案，其特征在于，所述的电源管理方法借助配电网智能终端的CPU以及管理软件实现，具体步骤如下：步骤1：借助python语言和神经网络算法建立配电网智能终端的电源电池寿命发展、老化的环境模型，具体包括电源电池的静态信息模型、电池的动态运行数据的离散化模型、处置行为与环境变化的单步交互模型、后备电源管理、更换的人力和财力上限模型、以及环境对处置行为的奖励策略；步骤2：基于Q
‑
learning算法构建配电网智能终端的电源管理方案探索的学习模型，并完成模型的训练，具体包括初始化后备电源管理行为集合，构建环境的初始Q
‑
learning算法中的Q表，采用时间差分算法，做出随机的管理行为，并循环更新Q表实现模型的训练；步骤3：基于步骤1中的环境模型，从中构建特定环境模型作为预案所对应的环境，所述的特定环境模型为多应力作用下锂离子电池老化模型，包括电池充放电电流、充放电截止电压、环境温度、电池剩余电量影响因素，将上述的组合情况与电池的静态信息模型相结合，生成不同的终端电源管理...

【专利技术属性】
技术研发人员：熊海军，陈晶晶，王晓辉，谢志远，刘继志，
申请(专利权)人：河北申科电力股份有限公司河北申科电子股份有限公司，
类型：发明
国别省市：