一种基于强化学习的配电物联网智能决策方法技术

本发明专利技术公开了一种基于强化学习的配电物联网智能决策方法，包括决策模型的构建方法和决策模型的应用方法，通过获取配电物联网的N个状态参数和状态参数对应的决策结果，构建样本集，将样本集输入到强化学习模型中，对强化学习模型进行训练，获取决策模型，引入数据流触发机制，采集配电物联网当前的状态参数，构成状态参数集，将状态参数集输入到决策模型中，获取当前的决策结果，将当前的决策结果发送至配电物联网的执行设备中，由执行设备对当前的决策结果进行执行；本发明专利技术提供的方法，解决了配电物联网自主感知与智能决策之间的耦合矛盾，用于配电物联网的智能决策。

【技术实现步骤摘要】
一种基于强化学习的配电物联网智能决策方法
本专利技术涉及电气工程
，具体涉及一种基于强化学习的配电物联网智能决策方法。
技术介绍
物联网是在互联网基础上延伸和扩展的网络，通过将各种信息传感设备和互联网结合起来而形成的一个巨大网络，实现在任何时间、任何地点，对人机的互联互通。配电物联网体系架构涵盖配电运行自主感知等功能，实现电网运维全寿命周期下的人机交互、时标信息提取等，为高度市场化下的电网运维提供借鉴。配电网现有的监测体系缺乏配电设备泛在互联、配电策略全局最优自主决策方法，不能很好的解决配电物联网自主感知和智能决策之间的耦合矛盾，为电网的自动化运维带来了不便。
技术实现思路
本专利技术的目的：在于提供一种基于强化学习的配电物联网智能决策方法，解决配电物联网自主感知和智能决策之间的耦合问题。技术方案：本专利技术提供的方案包括决策模型的构建方法和决策模型的应用方法，方法具体包括如下步骤：决策模型的构建方法具体包括如下步骤：步骤1、获取配电网的N个状态参数和所述状态参数对应的决策结果，构建样本集；所述决策结果包括是否对配电网中软硬件进行深度解耦；步骤2、选取样本集中的M个状态参数和对应的决策结果作为训练集，选取样本集中剩余的（N-M）个状态参数和对应的决策结果作为测试集，将所述训练集和测试集输入强化学习模型中，对强化学习模型进行训练，获取决策模型；决策模型的应用方法包括实时执行如下步骤：步骤A、引入数据流触发机制，采集配电网当前的状态参数，构成状态参数集；步骤B、将所述状态参数集输入决策模型中，获取当前的决策结果；步骤C、将当前的决策结果发送至配电物联网的执行设备中；由执行设备对当前的决策结果进行执行。还包括步骤D如下，执行完步骤C之后，进入步骤D：步骤D、侦测执行设备是否收到干预决策并执行，如果是，将干预决策和对应的当前的状态参数的构成样本，并将构成的样本加入样本集中，对样本集进行更新；否则，样本集中的样本保持不变。进一步的，还包括决策模型优化方法，按照预设的周期对决策模型进行优化，对决策模型的优化具体包括如下步骤：采集更新的样本集中最新更新的N个状态参数和对应的决策结果构建新的样本集，使用所述新的样本集对强化学习模型进行训练，获取优化的决策模型。进一步的，方法还包括在配电网中安装有多个用于采集配电网状态参数的传感器；在步骤1中，数据流触发机制为：控制系统检测到配电网上电运维时，控制配电网中的各传感器对配电网进行状态参数的采集；所述状态参数包括配电网的电流参数、电压参数。在步骤A中，方法还包括对当前采集的配电网的状态参数进行清洗。在步骤C中，将决策结果发送至配电物联网的执行设备的方法为：采用直接序列扩频技术构建数据包多线程传输机制，融入基于Mesh协议的节点网络自组织和自愈功能，通过协调网络拓扑结构的自组网协调器实现多线程传输。通过协调网络拓扑结构的自组网协调器实现多线程传输具体包括如下步骤：步骤C1、多节点无线物联网上电启动后对自组网协调器的协调器软件进行初始化，并实时监测传感器集群硬件自组网是否成功；步骤C2、开启节点网络监测机制，若监测到网络，则选择协调器或者路由节点作为初始父节点申请加入网络，否则把节点属性设置为协调器组建网络机制；步骤C3、开启子节点入退网监测机制，如果申请入网，则根据组网需求增加子节点并为子节点分配NWK（NetworkLayer，网络层）参数，如果申请退网，释放原有的NWK参数关联；步骤C4、开启多维数据传输机制，选择被测数据传输子节点，接收终端节点的多维数据进行数据上传。优选的，强化学习模型为双重Q网络模型。有益效果：相对于现有技术，本专利技术提供的方法，实现了配电设备泛在互联，解决了配电物联网自主感知和智能决策之间的耦合矛盾，有助于电网的自动化运维。附图说明图1是根据本专利技术提供实施例提供的基于双重Q网络模型的配电物联网智能决策方法逻辑图；图2是根据本专利技术实施例提供的数据多线程传输流程示意图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。参照图1，本专利技术提供的方法包括决策模型的构建过程：步骤1、获取配电网的N个状态参数，以及和各状态参数对应的决策结果，构建样本集。步骤2、随机的从步骤1中构建的样本集中选取的M个状态参数，以及这M个状态参数对应的决策结果作为训练集，将样本集中剩余的（N-M）个状态参数和对应的决策结果作为测试集，将训练集和测试集输入到强化学习模型中，对强化学习模型进行训练，训练好的强化学习模型为决策模型；其中决策结果包括是否对配电网中的软硬件进行深度解耦、物理资源虚拟化管控方法；强化学习模型为参照图1所述的双重Q网络模型；在本专利技术的实施例中，双重Q网络模型包括策略网络和估值网络，在构建好决策模型后，对构建好的决策模型的应用方法包括实时执行如下步骤：步骤A、在配电网中安装多个传感器，用于采集配电网的状态参数；引入了数据流触发机制，数据流触发机制为：在控制系统检测到配电网上电运维时，控制配电网中的各个传感器对配电网进行状态参数的采集；传感器的包括温度传感器、湿度传感器、电流传感器、电压传感器，传感器采集的参数包括配电网的温度参数、湿度参数、电流参数、电压参数；通过引入上述数据流触发机制，采集配电网当前的状态参数，并对采集的配电网当前的状态参数进行清洗，构成状态参数集。步骤B、将步骤A中构建的状态参数集输入到步骤2中构建的决策模型中，获取当前的决策结果；在进行强化学习的过程中，根据单层Q网络模型中内置的卷积核学习运行当前的状态参数，根据双层Q网络模型中内置的卷积核学习动作信息数据，实现物理资源虚拟化管控，进而获取是否对配电网软硬件进行深度解耦的决策结果。步骤C、把步骤B中获取的决策结果发送到配电物联网的执行设备中，由执行设备对当前的决策结果进行执行；在将获取的决策结果发送到配电物联网的执行设备中时，采用序列扩频技术构建数据包多线程传输机制，融入基于Mesh协议的节点网络自组织和自愈功能，通过协调网络拓扑结构的自组网协调器实现多线程传输。参照图2，通过协调网络拓扑结构的自组网协调器实现多线程传输具体包括如下步骤：步骤C1、多节点无线物联网上电启动后对自组网协调器的协调器软件进行初始化，并实时监测传感器集群硬件自组网是否成功；多节点无线物联自组网工作在470MHz或2.4GHz频段，划分为16个信道，步长值为5MHz，编号11～26，协调器通过调用信道轮询函数对信道能量波动进行实时扫描，能量水平高标志该信道无线信号活跃，协调器根据能量扫描信息选择一个可以利用的信道建立自己的无线网络实现多维数据有效传送。步骤C2、开启节点网络监测机制，若监测到网络，则选择协调器或者路由节点作为初始父本文档来自技高网...

【技术保护点】
1.一种基于强化学习的配电物联网智能决策方法，其特征在于，所述方法包括如下步骤：/n决策模型的构建方法具体包括如下步骤：/n步骤 1、获取配电网的N个状态参数和所述状态参数对应的决策结果，构建样本集；所述决策结果包括是否对配电网中软硬件进行深度解耦；/n步骤 2、选取样本集中的M个状态参数和对应的决策结果作为训练集，选取样本集中剩余的（N-M）个状态参数和对应的决策结果作为测试集，将所述训练集和测试集输入强化学习模型中，对强化学习模型进行训练，获取决策模型；/n决策模型的应用方法包括实时执行如下步骤：/n步骤 A、引入数据流触发机制，采集配电网当前的状态参数，构成状态参数集；/n步骤 B、将所述状态参数集输入决策模型中，获取当前的决策结果；/n步骤C、将当前的决策结果发送至配电物联网的执行设备中；由执行设备对当前的决策结果进行执行。/n

【技术特征摘要】
1.一种基于强化学习的配电物联网智能决策方法，其特征在于，所述方法包括如下步骤：
决策模型的构建方法具体包括如下步骤：
步骤1、获取配电网的N个状态参数和所述状态参数对应的决策结果，构建样本集；所述决策结果包括是否对配电网中软硬件进行深度解耦；
步骤2、选取样本集中的M个状态参数和对应的决策结果作为训练集，选取样本集中剩余的（N-M）个状态参数和对应的决策结果作为测试集，将所述训练集和测试集输入强化学习模型中，对强化学习模型进行训练，获取决策模型；
决策模型的应用方法包括实时执行如下步骤：
步骤A、引入数据流触发机制，采集配电网当前的状态参数，构成状态参数集；
步骤B、将所述状态参数集输入决策模型中，获取当前的决策结果；
步骤C、将当前的决策结果发送至配电物联网的执行设备中；由执行设备对当前的决策结果进行执行。


2.根据权利要求1所述的基于强化学习的配电物联网智能决策方法，其特征在于，还包括步骤D如下，执行完步骤C之后，进入步骤D：
步骤D、侦测执行设备是否收到干预决策并执行，若是，将干预决策和对应的当前的状态参数的构成样本，并将构成的样本加入样本集中对样本集进行更新；否则，样本集中的样本保持不变。


3.根据权利要求2所述的基于强化学习的配电物联网智能决策方法，其特征在于，还包括决策模型优化方法，按照预设的周期对决策模型进行优化，对决策模型的优化具体包括如下步骤：
采集更新的样本集中最新更新的N个状态参数和对应的决策结果构建新的样本集，使用所述新的样本集对强化学习模型进行训练，获取优化的决策模型。


4.根据权利要求1所述的基于强化学习的配电物联网智能决策方法，...

【专利技术属性】
技术研发人员：蒋超，单华，宋庆武，徐妍，蒋峰，李春鹏，
申请(专利权)人：江苏方天电力技术有限公司，
类型：发明
国别省市：江苏;32