一种基于人工智能控制方法的微电网控制器技术

本发明专利技术涉及一种基于人工智能控制方法的微电网控制器，利用历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互进行训练，直接构建微电网运行工况与协调控制结果的映射关系，微电网控制器直接使用离线训练好的微电网控制器模型进行快速在线决策，计算和响应速度非常快，并定期更新离线训练样本库实现模型的滚动优化和策略的持续改进，实现了微电网控制器对系统内部的源、网、荷、储的实时协调控制，有效提高微电网控制器的高效性和鲁棒性。和鲁棒性。和鲁棒性。

【技术实现步骤摘要】
一种基于人工智能控制方法的微电网控制器


[0001]本专利技术涉及微电网控制
，特别是涉及一种基于人工智能控制方法的微电网控制器。

技术介绍

[0002]微电网是分布式电源、储能装置和负荷等单元的集合，作为分布式能源的重要利用形式，能够充分促进可再生能源与分布式能源的大规模接入，实现对负荷多种能源形式的高可靠供给。与火电、水电等传统能源相比，微电网内的风电、光伏等可再生能源存在易受天气条件影响、能量密度较低等缺点，其输出功率存在波动性；负荷功率受季节气候、生活生产的影响，也存在一定的不确定性。微电网的可控式电源机组和储能装置依据负荷变化调整的同时，还要平抑可再生能源机组出力的功率波动。因此，微电网的运行控制领域面临极大挑战。
[0003]微电网控制器是微电网运行控制系统的重要设备，负责系统底层设备的实时数据采集与转发，提供本地化协调控制策略，实现单独组网运行以及与外部电网的联合组网运行。为保障系统的安全稳定运行、实现新能源的友好接入，控制器需要对系统内部的源、网、荷、储进行协调控制，所以设计稳定可靠的协调控制策略非常关键。分布式电源的控制策略分为有功、无功控制或有功、电压控制，下垂控制和电压频率控制三类；负荷控制策略包括PID控制切负荷等，这些协调控制策略保障了微电网的安全性和可靠性，但经济性较低。为实现微电网各单元的经济控制，模型预测控制等物理模型驱动方法被引入微电网协调控制策略中，但是这些方法存在的普遍问题都是难以对微电网内部元件精确建模、求解效率低、很难满足微电网控制实时性的要求，在决策控制的最优性方面存在不足。
[0004]随着微电网历史运行数据的持续积累和系统控制管理设备算力的逐渐提升，基于数据驱动的人工智能控制方法在微电网运行控制领域迅速发展，有助于突破传统控制方法的局限性。
[0005]将机器学习应用到微电网控制器具体的协调控制策略中，不依赖微电网各单元的内在联系与机理，而是采用无模型的强化学习方式，基于微电网历史运行和决策数据构成的观测集进行动作探索，根据微电网控制器与微电网系统环境的不断交互进行训练，构造出模拟逼近微电网运行工况与控制决策之间关系的数学模型，在实际微电网控制任务中直接根据微电网的运行工况映射出各元件的控制方案。与传统模型驱动方法相比，基于数据驱动的人工智能控制方法通过对微电网历史数据的积累实现对微电网控制器模型的持续性修正，赋予微电网以自学习和更新的能力，并在实际应用过程中不断提升协调控制策略的精度与效率，在面对考虑不同运行场景下的微电网运行控制问题中适用性更好。目前机器学习在微电网方面的应用方法主要是基于DQN算法框架，但该算法的系统状态和输出决策动作仍为离散形式，不可避免的引入了误差，难以应对微电网高维、连续的动作和状态空间。
[0006]传统模型驱动的协调控制策略在决策控制的最优性、应对新能源的不确定性等方
面存在不足，具体体现在：
[0007]1)微电网内部源、网、荷、储的协调控制伴随着强耦合特性，难以对其物理特性与运行特征进行精确的建模分析；
[0008]2)依赖系统单元的内在联系与机理，需要依据网络拓扑结构和电网运行方式建模，对网络拓扑的变化敏感，对新型电力设备接入的适应性不强；
[0009]3)微电网控制器在运行过程中积累的数据蕴含着丰富的相关关系，对未来的决策控制具有指导意义，传统模型驱动方法缺乏对历史决策数据信息的挖掘和利用；
[0010]4)微电网控制问题本质上是一种非线性、多约束、多目标的复杂系统优化问题，在精度和效率之间存在矛盾，通过简化模型来提高决策效率往往会导致精度下降。

技术实现思路

[0011]本专利技术的目的是提供一种基于人工智能控制方法的微电网控制器，以实现微电网控制器对系统内部的源、网、荷、储的实时协调控制，有效提高微电网控制器的高效性和鲁棒性。
[0012]为实现上述目的，本专利技术提供了如下方案：
[0013]一种基于人工智能控制方法的微电网控制方法，所述微电网控制方法包括：
[0014]获取微电网控制器运行过程中的历史样本数据库；所述历史样本数据库以微电网的历史运行工况为输入量，以微电网控制器为能量管理系统提供调度控制策略的决策信息为标签；
[0015]利用所述历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互进行训练，获得训练好的微电网控制器模型；
[0016]将微电网的实时运行数据输入所述训练好的微电网控制器模型，输出实时决策信息；
[0017]当训练好的微电网控制器模型输出的实时决策信息的数量大于或等于预设数量时，将预设数量的实时决策信息与对应的实时运行数据构成实时样本数据集；
[0018]利用所述实时样本数据集替换历史样本数据库中对应数量的历史样本数据，获得更新后的历史样本数据库，并返回步骤“利用所述历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互进行训练，获得训练好的微电网控制器模型”。
[0019]可选的，所述历史运行工况包括：微电网本地柴油机组状态、可再生能源机组最大出力、负荷需求、储能机组状态和电力交易价格；
[0020]所述决策信息包括：每台可控机组各时段的出力大小、储能电池各时段的充放电功率以及微电网与大电网联络线的交换功率。
[0021]可选的，所述获取微电网控制器运行过程中的历史样本数据库，之后还包括：
[0022]采用插补法对历史样本数据库中的缺失值进行填充；
[0023]对填充后的历史样本数据库利用箱线图法检测出异常值并删除；
[0024]根据异常值删除后的历史样本数据库，利用最小冗余最大相关法进行特征选择，获得特征选择后的历史样本数据库。
[0025]可选的，所述深度确定性策略梯度神经网络采用Actor
‑
Critic框架；
[0026]所述Actor
‑
Critic框架中的Actor网络包括在线策略网络和目标策略网络；
[0027]所述Actor
‑
Critic框架中的Critic网络包括在线价值网络和目标价值网络。
[0028]可选的，所述将微电网的实时运行数据输入所述训练好的微电网控制器模型，输出实时决策信息，具体包括：
[0029]将微电网的实时运行数据输入所述训练好的微电网控制器模型中的目标策略网络，输出实时决策信息。
[0030]一种基于人工智能控制方法的微电网控制器，所述微电网控制器包括：
[0031]历史样本数据库获取模块，用于获取微电网控制器运行过程中的历史样本数据库；所述历史样本数据库以微电网的历史运行工况为输入量，以微电网控制器为能量管理系统提供调度控制策略的决策信息为标签；
[0032]训练模块，用于利用所述历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能控制方法的微电网控制方法，其特征在于，所述微电网控制方法包括：获取微电网控制器运行过程中的历史样本数据库；所述历史样本数据库以微电网的历史运行工况为输入量，以微电网控制器为能量管理系统提供调度控制策略的决策信息为标签；利用所述历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互进行训练，获得训练好的微电网控制器模型；将微电网的实时运行数据输入所述训练好的微电网控制器模型，输出实时决策信息；当训练好的微电网控制器模型输出的实时决策信息的数量大于或等于预设数量时，将预设数量的实时决策信息与对应的实时运行数据构成实时样本数据集；利用所述实时样本数据集替换历史样本数据库中对应数量的历史样本数据，获得更新后的历史样本数据库，并返回步骤“利用所述历史样本数据库构成深度确定性策略梯度网络的观测集进行动作探索，然后根据微电网控制器与微电网系统环境的不断交互进行训练，获得训练好的微电网控制器模型”。2.根据权利要求1所述的基于人工智能控制方法的微电网控制方法，其特征在于，所述历史运行工况包括：微电网本地柴油机组状态、可再生能源机组最大出力、负荷需求、储能机组状态和电力交易价格；所述决策信息包括：每台可控机组各时段的出力大小、储能电池各时段的充放电功率以及微电网与大电网联络线的交换功率。3.根据权利要求1所述的基于人工智能控制方法的微电网控制方法，其特征在于，所述获取微电网控制器运行过程中的历史样本数据库，之后还包括：采用插补法对历史样本数据库中的缺失值进行填充；对填充后的历史样本数据库利用箱线图法检测出异常值并删除；根据异常值删除后的历史样本数据库，利用最小冗余最大相关法进行特征选择，获得特征选择后的历史样本数据库。4.根据权利要求1所述的基于人工智能控制方法的微电网控制方法，其特征在于，所述深度确定性策略梯度神经网络采用Actor
‑
Critic框架；所述Actor
‑
Critic框架中的Actor网络包括在线策略网络和目标策略网络；所述Actor
‑
Critic框架中的Critic网络包括在线价值网络和目标价值网络。5.根据权利要求4所述的基于人工智能控制方法的微电网控制方法，其特征在于，所述将微电网的实时运行数据输入所述训练好的微电网控制器模型，输出实时决策信息，具体包括：将微电网的实时运行数据输入所述训练好的微电网控制器模型中的目标策略网络，输出实时决策信息。6.一种基于人工智能控制...

【专利技术属性】
技术研发人员：李鹏，马溪原，俞靖一，黄彦璐，张凡，张子昊，姚森敬，习伟，陈元峰，
申请(专利权)人：南方电网数字电网研究院有限公司，
类型：发明
国别省市：