一种基于强化学习的变电站内巡检机器人路径规划方案制造技术

本发明专利技术涉及一种基于强化学习的变电站内巡检机器人路径规划方案，该方案针对变电站巡检场景，在获取实际变电站环境信息之后，通过栅格法建立变电站环境模型，并采用SARSA算法设计巡检机器人路径规划方案，以贪婪策略代替Q

【技术实现步骤摘要】
一种基于强化学习的变电站内巡检机器人路径规划方案


[0001]本专利技术属于电力巡检
，具体涉及一种基于强化学习的变电站内巡检机器人路径规划方案。

技术介绍

[0002]作为电力运维保障的重要组成部分，变电站巡检可以实时掌握电气设备的运行情况，及时发现故障和异常，防止因突发事故造成变电站功能瘫痪，保障电网的安全稳定运行。传统变电站巡检主要采用人工方式，往往存在巡检人员主观能动性差、漏检现象严重、难以建立电子化档案等问题，在电力物联网广泛建设的当下已然不能完全满足要求。目前，许多变电站已采用先进的电力巡检机器人实现对站内地面设施的常态化巡检，以确保及时发现故障并报告。
[0003]然而，变电站无人巡检也往往存在难以进行有效路径规划的问题。
[0004]1）变电站中，各类电气设备分布情况复杂，部分变电站地面年久失修，无法供机器人安全通行，而需要进行巡检的点位往往呈随机分布，且与各类电气设备在地理位置上高度相关。因此，在进行巡检路径规划时，如何实现安全避障是一个亟待解决的问题。
[0005]2）受限于有限的电池容量，机器人需要合理规划巡检路径的同时尽可能保证巡检路径最短，减少对某一巡检点位多次重复的巡检，造成不必要的资源浪费。因此，如何实现巡检路径的最短和巡检任务的快速完成是另一个亟待解决的问题。
[0006]传统巡检路径规划方案往往采用遗传算法、蚁群算法、模拟退火算法等启发式算法，此类算法对场景参数的要求较高，存在算法复杂度高、性能收敛慢、优化结果不稳定等问题，容易发生陷入局部最优的情况，且适应性差，难以应对灵活多变的变电站场景。而采用强化学习算法可以实现以巡检机器人为主体的自主路径选择与安全避障，通过在模拟场景中不断“试错”，以达到性能的快速高效收敛，相较于传统方式对场景的适应能力更强。

技术实现思路

[0007]有鉴于此，本专利技术的目的在于提出一种基于强化学习的变电站内巡检机器人路径规划方案，以实现有效的安全避障和路径规划。
[0008]为达到上述目的,本专利技术提供如下技术方案。
[0009]一种基于强化学习的变电站内巡检机器人路径规划方案，该方案针对变电站巡检场景，通过栅格法对实际变电站环境建模，并采用SARSA算法设计巡检机器人路径规划方案，在解决巡检机器人安全避障问题的同时合理规划巡检路径，适应实际变电站的复杂环境。该方案具体包括以下步骤。
[0010]S1：获取实际变电站环境信息，建立变电站环境模型。
[0011]S2：设计基于SARSA算法的变电站内巡检机器人路径规划方案。
[0012]S3：简述具体方案流程，并将其在变电站环境模型中进行重复训练。
[0013]S4：通过仿真实例验证本专利技术所提方案的有效性。
[0014]进一步的，所述步骤S1中，利用栅格法对变电站环境进行建模，将其抽象为的栅格图。在变电站环境模型中，白色区域表示变电站内的可通行道路，乘号区域表示障碍物。巡检机器人、巡检点位及充电仓分别用五角星、加号和正五边形表示。
[0015]进一步的，所述步骤S2中，设计基于SARSA算法的巡检机器人路径规划方案，主要包括智能体、环境、状态、动作以及奖赏的设计。其中，在奖赏的设计过程中，当巡检机器人再次经过已到达的巡检点位时，无法重复获得奖励值，从而引导巡检机器人减少到达同一个巡检点位的次数。
[0016]进一步的，所述步骤S3中，具体方案流程包括初始化阶段、学习阶段和终止阶段。其中，在学习阶段，巡检机器人采用贪婪策略进行动作的选取，该策略使机器人得到的巡检路径更为保守，即巡检路径较短但不易与障碍物发生碰撞，由此大大延长巡检机器人的使用寿命。
[0017]与现有技术相比，本专利技术具有以下优点。
[0018]1）本专利技术以贪婪策略代替Q
‑
learning中的贪婪策略，通过更为保守的路径规划，解决了巡检机器人易与障碍物发生碰撞的问题。此外，通过对SARSA算法中奖赏的设计，减少巡检机器人到达同一个巡检点位的次数，解决了资源浪费问题。
[0019]2）本专利技术采用SARSA算法实现以巡检机器人为主体的自主路径选择与避障，通过在变电站环境模型中不断学习，保证机器人高效地完成所有点位的巡检任务的同时实现安全避障。
附图说明
[0020]图1为本专利技术实施例所述的巡检机器人路径规划方案流程示意图。
[0021]图2为本专利技术实施例所述的变电站环境模型图。
[0022]图3为本专利技术实施例所述的累计平均回报随学习周期变化示意图。
具体实施方式
[0023]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程。需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0024]图1为本实施例所述的巡检机器人路径规划方案流程示意图，具体包括以下步骤。
[0025]1）建立变电站环境模型。
[0026]变电站实景地图完全应用于路径规划所需计算量和存储量过于庞大，不利于存储与定点识别。巡检机器人能够实现故障检测和自主导航的基本前提是建立一个适当的环境模型，从而使巡检机器人对变电站环境有更好的认知，减少决策路径时需要的计算量。变电站环境建模的过程就是将具体信息转换为巡检机器人可以识别的环境信息。在本专利技术中，采用栅格法建立变电站环境模型。在此过程中，如何描述障碍物至关重要，需注意以下几点。
[0027]（1）障碍物的位置和大小等信息经计算机处理后，转化为二值信息栅格。
[0028]（2）障碍物实体向地面的最大投影面积即为二维栅格地图中的障碍物面积。
[0029]（3）障碍物占据的栅格面积不足一个栅格时按照一个栅格处理。这是由于在实际的变电站环境中，各个障碍物并非都是规则的，所有障碍物在栅格图中不一定能够完整的用整数倍的栅格单元表示。因此，需要对不规则障碍物进行边缘膨化处理，使得膨化之后的障碍物边界一定是安全区域。
[0030]为了方便数学建模，本专利技术将变电站环境简单分为可通行道路、充电仓、巡检点位以及障碍物，其中，障碍物具体包括变电站内的变压器、隔离开关、断路器、电抗器、杆塔等多种电气设备以及标志牌、草坪、绿化带、栅栏等其它设施。
[0031]图2为本专利技术实施例所述的变电站环境模型图。在变电站环境模型中，白色区域表示变电站内的可通行道路，乘号区域表示障碍物。其中，变压器、隔离开关等矩形电气设备可用图中的块状部分代替，绿化带、墙壁、栅栏等条状障碍物用图中带状部分代替，点状部分能够代表杆塔、路标、标志牌等占地面积较小的电气设备或障碍物。巡检机器人、巡检点位及充电仓分别用五角星、加号和正五边形表示。
[0032]此外，为实现以巡检机器人为主体的智能路径规划与安全避障，本专利技术设置个学习周期，在上述变电站环境模型中重复训练，以便科学有效地规划出巡检路径的同时尽可能保证巡检路径最短，适应实际变电站的复杂环境。在每个学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的变电站内巡检机器人路径规划方案，其特征在于，该方案针对变电站巡检场景，通过栅格法对实际变电站环境建模，并采用SARSA算法设计巡检机器人路径规划方案，在解决巡检机器人安全避障问题的同时合理规划巡检路径，适应实际变电站的复杂环境。2.根据权利要求1所述的一种基于强化学习的变电站内巡检机器人路径规划方案，其特征在于，该方案具体包括以下步骤：S1：获取实际变电站环境信息，建立变电站环境模型；S2：设计基于SARSA算法的变电站内巡检机器人路径规划方案；S3：简述具体方案流程，并将其在变电站环境模型中进行重复训练；S4：通过仿真实例验证本发明所提方案的有效性。3.根据权利要求2所述的变电站环境模型，其特征在于，利用栅格法对变电站环境进行建模，将其抽象为的栅格图，在变电站环境模型中，白色区域表示变电站内的可通...

【专利技术属性】
技术研发人员：刘晨，陈亚鹏，周振宇，
申请(专利权)人：华北电力大学，
类型：发明
国别省市：