一种基于深度强化学习的电力选线方法技术

本发明专利技术公开了一种基于深度强化学习的电力选线方法。该方法包括步骤：筛选影响因素；收集影响因素所对应的数据；将影响因素进行标准化处理，然后栅格化为图像；将连续的路径分为片段，用图像、智能体位置、路径片段组合为样本，构建样本库；基于DQN和FCN构建深度强化学习模型；将样本库分为训练集与测试集，先用训练集对模型进行训练，然后用测试集对模型进行评价；在指定选线区域内，利用测试后的模型进行电力选线。该方法将电力选线中所考虑的影响因素栅格化为一张包含量化值的二维图像，使得神经网络感知环境成为可能；通过组合使用FCN和DQN，可以较好感知环境，做出最优决策，克服传统路径规划算法存在的不能及时响应复杂多变的环境的问题。变的环境的问题。变的环境的问题。

【技术实现步骤摘要】
一种基于深度强化学习的电力选线方法


[0001]本专利技术涉及一种基于深度强化学习的电力选线方法，属于输电线路设计


技术介绍

[0002]电力选线是进行高压架空输电线路设计的首要工作。目前电力选线方法主要有两种，一种是基于计算机辅助的电力选线方法，它将遥感影像、数字高程模型、地物数据等在二维或三维场景中叠加在一起，在考虑选线约束条件的基础上，根据选线经验，以人机交互的方式来确定输电线路的路径。这种方法比较依赖于选线人员的经验，不同的选线人员选出的路径质量参差不齐，难以进行标准化工作。另一种是基于GIS的自动选线方法，它是一种基于连续空间的路径规划方法，该方法将连续空间离散化为成本表面，然后将选线时的各种影响因素量化为数值，最后利用最短路径算法进行路径分析，得出输电线路的路径。该方法没有第一种方法存在的缺陷，但由于采用的是传统的路径规划算法，不能及时响应复杂多变的环境。
[0003]电力选线的过程是一个多准则决策过程，而且是多步决策过程，每步决策都会使线路向前延伸一定距离。强化学习作为机器学习中的一个重要领域，其侧重于解决决策问题，关注如何基于环境而行动，以取得最大化的预期收益。因此可以借助于强化学习技术来实现自动的电力选线。
[0004]强化学习模型的结构包括两个部分：智能体（Agent）和环境（Environment）。智能体通过观察环境的状态并获取反馈的奖励来进行学习和决策，环境会受智能体动作影响而改变状态，并给智能体反馈一定的奖励。但是，强化学习局限于低维问题，难以感知诸如电力选线所处的复杂的环境状态。
[0005]深度学习由神经网络深化而来，本质是一个拟合能力很强的函数，通过不断调整函数中的参数来实现实际的输出接近样本训练的结果。深度学习模型由多层神经网络组成，每层的输出作为下一层的输入，实现数据的分层表征。深度学习领域的深度神经网络具有优秀的学习能力，因此可以使用深度神经网络来感知电力选线中的复杂的环境状态，依靠深度神经网络强大的函数逼近能力建立电力选线策略，提高强化学习算法的路径规划能力。

技术实现思路

[0006]为了解决目前自动电力选线中存在的问题，根据深度学习和强化学习的特点，本专利技术提出一种基于深度强化学习的电力选线方法。其中，深度强化学习是强化学习和深度学习的有机结合，用强化学习来定义问题和优化目标，用深度学习来解决策略和值函数的建模问题，然后使用误差反向传播算法来优化目标函数。
[0007]本专利技术提出的方法借助于全卷积神经网络（FCN）和深度Q网络（DQN）来实现电力选线。DQN的核心思想是用神经网络近似最优行动
‑
价值函数，通过Q学习算法求得神经模型参
数，从而得到对应于状态和行动的最优策略。本专利技术提出的选线方法包括如下步骤：（１）筛选影响因素。根据电力选线的设计规范和专家咨询意见，明确电力选线时考虑的影响因素。
[0008]（２）收集数据。收集每种影响因素所对应的数据，并对其进行数据清洗和校正等处理。
[0009]（３）影响因素量化与栅格化。将影响因素所对应的数据进行标准化处理，然后将每种数据展示在二维GIS环境中，形成GIS的一个图层，最后将该所有图层栅格化为一张多波段图像。
[0010]（４）构建样本库。将连续的线路路径打断成片段，把影响因素所生成的图像、智能体的位置和对应的路径片段的走向组合成状态
‑
决策对，构成样本库。
[0011]（５）模型建立。本专利技术使用一个基于DQN反射性机制的FCN模型，该模型在处理数据时能够保持图像数据原有的相对位置信息，能够充分表征路径规划环境的固有属性。该模型还引入了注意力机制，以充分利用特征的关键局部信息。
[0012]（6）模型训练和测试。首先使用留出法将样本库中70%的样本作为训练集，余下30%的样本作为测试集。然后使用训练集对模型进行训练，通过训练直接对目标函数进行优化，达到模型权重学习的目的。最后用测试集来评估模型的优劣。
[0013]（7）基于模型的输电线路路径规划。首先，参照步骤（3）将样本库外的选线区域进行量化和图像化。然后，将选线区域内的图像作为模型输入，最后将输出一条最优路径。
[0014]电力选线的过程本质上是一个多准则决策过程，而且是多步决策过程，本专利技术所提出的基于深度强化学习的电力选线方法是解决该问题的一种有效方法之一。本专利技术的有益效果在于：（1）将电力选线中所考虑的影响因素栅格化为一张包含量化值的二维图像，使得神经网络感知环境成为可能；（2）本专利技术通过组合使用FCN和DQN，可以较好感知环境，做出最优决策，克服传统路径规划算法存在的不能及时响应复杂多变的环境的问题。
附图说明
[0015]图1 基于深度强化学习的电力选线流程图；图2 量化取值区间示意图；图3 基于DQN反射性机制的FCN模型示意图图4 模型训练与预测流程图；图5 基于模型的路径规划算法流程图。
具体实施方式
[0016]下面结合附图和实施例对本专利技术的具体实施方式作进一步描述。
[0017]图1为基于深度强化学习的电力选线流程图。包括如下步骤：步骤1：筛选影响因素。根据电力设计相关规范和专家咨询意见，明确选线时考虑的影响因子，具体为居民地、规划区、工业用地（工厂、矿区、风电场等）、河漫滩、水体（含河流、湖泊、湿地、水库等）、林地、耕地、草地、荒漠与裸露地表、地质、坡度、交通通达度、交叉跨越、线路施工困难区、冰区、污区、转角、距离、水文条件、气象条件、雷害风险区、风景区、自然保护区、核心规划区、历史文化古迹、机场、军事区、不可跨越地物等多种因素。
[0018]步骤2：收集数据。首先根据步骤1中所考虑的影响因素，收集已有输电线路所在区域内各影响因素所对应的数据，比如遥感影像数据、地形图数据、DEM、地质数据、土地利用数据、水文气象数据、冰区污区数据、雷害风险区数据、技术规范等。其次，收集已有的输电线路路径。再次，对收集到的数据进行处理，比如统一空间参考、冗余信息的剔除、数据的正确性验证等。
[0019]步骤3：影响因子量化和标准化。电力选线中要考虑的因素多种多样，有定性的也有定量的，而且定量的因素也具有不同的计算单位或度量尺度，这对后续的路径规划将造成不利影响，为此需要将具有不同计量单位、度量尺度或定性的影响因子进行标准化处理，使它们具有统一的度量尺度，以便于为后续的输电线路路径规划计算提供量化基础。标准化是指把所有影响因子的实际值按照一定的数学方法转换成一种统一度量尺度的数值，从而消除不同的量纲差异所带来的不可比性。由于上述影响因子中既有定性的也有定量的，本专利技术采用Delphi法能对定性和定量因素分配具有统一量纲的数值。具体实施步骤为：（1）组成专家组；（2） 向专家提出需进行标准化的影响因子，因子的量化取值区间定义为1至9，1代表最适宜建设输电线路，9代表最不适宜，如图2；（3） 专家根据经验和相关材料反馈各因子的量化值；（4） 汇总各专家的量化值，进行归纳，再反馈给每位专家，让其修改自本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的电力选线方法，其特征在于，包括以下步骤：步骤1：明确选线时考虑的影响因子；步骤2：收集已有输电线路所在区域内各影响因子所对应的数据，并对收集到的数据进行处理；步骤3：影响因子量化和标准化，将具有不同计量单位、度量尺度或定性的影响因子进行标准化处理，使它们具有统一的度量尺度；步骤4：构建样本库，将连续的路径打断成片段，用路径片段处的图像、智能体的位置和路径片段的走向组合为状态
‑
决策对，将这种状态
‑
决策对作为样本，形成样本库；步骤5：基于深度强化学习，建立基于深度Q网络反射性机制的全卷积神经网络模型；步骤6：模型训练与测试，将样本库中70%的样本作为训练集，余下30%的样本作为测试集；步骤7：利用模型进行电力选线。2.如权利要求1所述的电力选线方法，其特征在于：所述步骤1中的影响因子具体为居民地、规划区、工业用地、河漫滩、水体林地、耕地、草地、荒漠与裸露地表、地质、坡度、交通通达度、交叉跨越、线路施工困难区、冰区、污区、转角、距离、水文条件、气象条件、雷害风险区、风景区、自然保护区、核心规划区、历史文化古迹、机场、军事区、不可跨越地物。3.如权利要求2所述的电力选线方法，其特征在于：所述步骤2中所对应的数据具体为遥感影像数据、地形图数据、DEM、地质数据、土地利用数据、水文气象数据、冰区污区数据、雷害风险区数据、技术规范等。4.如权利要求3所述的电力...

【专利技术属性】
技术研发人员：宋军，詹伟，苗田，张中，孔龙，罗伟，
申请(专利权)人：甘肃电通电力工程设计咨询有限公司，
类型：发明
国别省市：