一种基于改进DeepLabV3+网络的变电站环境理解方法技术

本发明专利技术属于计算机模式识别技术领域，公开了一种基于改进DeepLab V3+网络的变电站环境理解方法，包括采集变电站环境理解图像、构建环境理解网络并训练、测试模型和变电站巡检机器人环境理解方法应用的步骤。其中变电站环境理解语义分割网络同时兼顾识别精度及效率，通过将深层高精度卷积神经网络精简为小型浅层的网络来降低网络参数以及存储空间来提高识别效率，并采用了改进的ASPP模块和基于CBAM模块的分步上采样和多分辨率特征融合的方式来提高图像像素信息的利用率；采用深度学习环境理解方法可获取变电站巡检机器人当前环境的信息，对机器人导航避障提供更多有效的智能决策，使机器人环境适应能力更强。使机器人环境适应能力更强。使机器人环境适应能力更强。

【技术实现步骤摘要】
一种基于改进DeepLab V3+网络的变电站环境理解方法


[0001]本专利技术属于计算机模式识别
，具体是一种基于改进DeepLab V3+网络的变电站环境理解方法。

技术介绍

[0002]变电站是电网的重要组成部分之一，负责电力网络中电压的升、降调节及电能的分配。为了保证变电站正常运行，必须对站内电力设备的运行状态进行定期巡检，以及早及时的排除用电安全隐患。随着我国智能电网建设的不断深入，巡检机器人在变电站中得到了广泛的应用，并逐步取得了良好的效果。就智能巡检机器人而言，其完成复杂巡检任务的基本前提，是能否对其巡检道路环境进行有效理解并作出相应地自主避障决策。
[0003]当下，市场上出售的巡检机器人采用的自主避障方式较为单一，无法同时对变电站场景中几种常见的障碍物，诸如杂草、石头、行人、其他机器人等进行识别，更无法结合其当前所处的环境信息进行自主避障。这样极大影响了智能巡检机器人在变电站巡检工作中应用的巡检效率以及智能性。
[0004]环境理解技术是巡检机器人实现自主避障以及完成特殊任务的关键。随着深度学习技术的发展，基于视觉的环境理解方法逐渐成为环境理解研究的热点、重点。相比于基于激光雷达和激光的环境理解方法，其具有使用成本低、算法多样且性能强等优势。有两种方法可以实现基于图像来理解环境：语义分割和目标检测。这两种方法都有助于使机器人具备环境理解的能力。
[0005]随着图像语义分割技术的不断发展，仅能实现分类和初略定位的目标检测方法已不能满足生产生活的实际需求，于是一大部分研究者将研究重点放在了图像精确的理解与分析上。在目标检测方法的基础上，语义分割方法将目标定位提升到像素级别，即对图像中每个像素进行逐点分类。相比于目标检测方法，逐像素分类的语义分割方法能够实现更加精细化地、全面地对环境进行理解。
[0006]巡检机器人在变电站中已经有了非常广泛的应用，其环境理解方法众多，但是目前仍没有一种环境理解方法，能够针对变电站巡检场景中常见障碍物类型（如刚性障碍物、柔性障碍物、行人）的特点，辅助其实现自主避障。
[0007]变电站是电网的重要组成部分之一，负责电力网络中电压的升、降调节及电能的分配。为了保证变电站正常运行，必须对站内电力设备的运行状态进行定期巡检，以及早及时的排除用电安全隐患。随着我国智能电网建设的不断深入，巡检机器人在变电站中得到了广泛的应用，并逐步取得了良好的效果。就智能巡检机器人而言，其完成复杂巡检任务的基本前提，是能否对其巡检道路环境进行有效理解并作出相应地自主避障决策。
[0008]当下，市场上出售的巡检机器人采用的自主避障方式较为单一，无法同时对变电站场景中几种常见的障碍物，诸如杂草、石头、行人、其他机器人等进行识别，更无法结合其当前所处的环境信息进行自主避障。这样极大影响了智能巡检机器人在变电站巡检工作中应用的巡检效率以及智能性。
[0009]环境理解技术是巡检机器人实现自主避障以及完成特殊任务的关键。随着深度学习技术的发展，基于视觉的环境理解方法逐渐成为环境理解研究的热点、重点。相比于基于激光雷达和激光的环境理解方法，其具有使用成本低、算法多样且性能强等优势。有两种方法可以实现基于图像来理解环境：语义分割和目标检测。这两种方法都有助于使机器人具备环境理解的能力。
[0010]随着图像语义分割技术的不断发展，仅能实现分类和初略定位的目标检测方法已不能满足生产生活的实际需求，于是一大部分研究者将研究重点放在了图像精确的理解与分析上。在目标检测方法的基础上，语义分割方法将目标定位提升到像素级别，即对图像中每个像素进行逐点分类。相比于目标检测方法，逐像素分类的语义分割方法能够实现更加精细化地、全面地对环境进行理解。
[0011]巡检机器人在变电站中已经有了非常广泛的应用，其环境理解方法众多，但是目前仍没有一种环境理解方法，能够针对变电站巡检场景中常见障碍物类型（如刚性障碍物、柔性障碍物、行人）的特点，辅助其实现自主避障。

技术实现思路

[0012]针对上述这些缺陷，为了提高巡检机器人在变电站巡检场景中应用的巡检效率和智能性，使得巡检机器人在面对多种障碍物时，能够具备环境理解的能力，不再只停留在“识而不判、判而不决、决而不全”的局面，本专利技术提供一种基于改进DeepLab V3+网络的变电站环境理解方法，实现“识而能判、判而能决、决而能全”的功能要求。
[0013]本专利技术的技术方案为，一种基于改进DeepLab V3+网络的变电站环境理解方法，包括以下步骤：S1：采集变电站环境理解图像，并构建环境理解数据集；S2：构建环境理解网络并训练；S3：利用测试集测试模型；S4：机器人智能决策算法设计；S5：变电站巡检机器人道路场景识别应用。
[0014]具体地，步骤S1包括：S11:数据采集：通过变电站巡检机器人采集各个变电站不同光照、不同场景的道路视频；S12:构建数据集：从采集的道路视频中提取出清晰且重复率低的视频帧，构建训练集和测试集；S13:样本标注：标注出图像中目标的所有像素点，剩余未标注的像素作为背景，所述目标包括道路、杂草、石头、行人、机器人。
[0015]进一步地，步骤S2中的环境理解网络包括基于DeepLab V3+网络的卷积编码网络和反卷积解码网络，其编码器（Encoder）主干网络采用Xception网络结构，所述步骤S2具体包括：S21:载入Xception网络；S22:对所述Xception网络进行剪裁，降低入口流（Entry flow）尾部的通道数；S23:采用ASPP模块（Atrous Spatial Pyramid Pooling, 空间金字塔池化模块）
进行卷积运算实现多尺度信息提取，卷积层全部采用深度可分离卷积；S24: 在Xception网络内部中间流（Middle flow）和出口流（Exit flow）通道方向进行特征融合操作；S25:将S24中特征融合结果输入CBAM模块(Convolutional Block Attention Module，卷积模块的注意力机制模块)处理；S26:在网络末尾添加1x1的卷积层，输出通道为目标类别数，并添加损失层（Loss Layer）和精度层（Accuracy Layer），采用分类交叉熵损失函数作为损失层的目标函数，计算公式如下：
ꢀꢀꢀꢀ
(1)其中，n表示样本总数，y是期望输出，a是实际输出，C为分类交叉熵损失函数；全局精度G计算公式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中为代表属于类别i正确分类的像素个数，代表类别i的总像素；S27:在解码阶段，通过基于CBAM模块的分步上采样和多分辨率特征融合的方式，来提高图像像素信息的利用率，进行图像放大；将特征提取网络中的中层和高层语义特征之间增加了一次特征融合操作；S28: 经过3
×
3的深度可分离卷积运算后，在第二次4倍上采样之前加入一个CBAM模块；采用中值频率均衡方法来平衡各个类别，计算公式如下：
ꢀꢀꢀꢀꢀꢀꢀ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进DeepLab V3+网络的变电站环境理解方法，其特征在于，包括以下步骤：S1：采集变电站环境理解图像，并构建环境理解数据集；S2：构建环境理解网络并训练；S3：利用测试集测试模型；S4：机器人智能决策算法设计；S5：变电站巡检机器人道路场景识别应用。2.根据权利要求1所述的一种基于改进DeepLab V3+网络的变电站环境理解方法，其特征在于，所述步骤S1包括：S11:数据采集：通过变电站巡检机器人采集各个变电站不同光照、不同场景的道路视频；S12:构建数据集：从采集的道路视频中提取出清晰且重复率低的视频帧，构建训练集和测试集；S13:样本标注：标注出图像中目标的所有像素点，剩余未标注的像素作为背景，所述目标包括道路、杂草、石头、行人、机器人。3.根据权利要求1所述的一种基于改进DeepLab V3+网络的变电站环境理解方法，其特征在于，所述步骤S2中的环境理解网络包括基于DeepLab v3+网络的卷积编码网络和反卷积解码网络，其编码器（Encoder）主干网络采用Xception网络结构，所述步骤S2具体包括：S21:载入Xception网络；S22:对所述Xception网络进行剪裁，降低入口流（Entry flow）尾部的通道数；S23:采用ASPP模块（Atrous Spatial Pyramid Pooling, 空间金字塔池化模块）进行卷积运算实现多尺度信息提取，卷积层全部采用深度可分离卷积；S24: 在Xception网络内部中间流（Middle flow）和出口流（Exit flow）通道方向进行特征融合操作；S25:将S24中特征融合结果输入CBAM模块(Convolutional Block Attention Module，卷积模块的注意力机制模块)处理；S26:在网络末尾添加1x1的卷积层，输出通道为目标类别数，并添加损失层(Loss Layer)和精度层(Accuracy Layer)，采用分类交叉熵损失函数作为损失层的目标函数，计算公式如下：
ꢀꢀꢀꢀ
(1)其中n表示样本总数，y是期望输出，a是实际输出，C为分类交叉熵损失函数；全局精度G计算公式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中为代表属于类别i正确分类的像素个数，代表类别i的总像素；S27:在解码阶段，通过基于CBAM模块的分步上采样和多分辨率特征融合的方式，来提高图像像素信息的利用率，进行图像放大；将特征提取网络中的中层和高层语义特征之间增加了一次特征融合操作；
S28: 经过3
×
3的深度可分离卷积运算后，在第二次4倍上采样之前加入一个CBAM模块；采用中值频率均衡方法来平衡各个类别，计算公式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中num_i表示第i类的总像素个数，count
i
表示含有第i类的图像数量，w和h表示图像宽高,median(f
i
)表示求f
i
的中值，f
i
为第i类像素在训练集中出现的频率，w
i
为第i类像素的权重；S29: 通过所述步骤S1构建的训练集对环境理解网络进行训练：首先对卷积编码网络进行训练，然后将训练好的卷积编码网络模型作为预训练模型，对整个编码
‑
解码网络进行训练。4.根据权利要求3所述的一种基于改进DeepLab V3+网络的变电站环境理解方法，其特征在于，所述步骤S22具体为：移除Xception网络中间流和出口流两块网络层进行部分剪裁，将入口流尾部的通道数降为512。5.根据权利要求3所述的一种基于改进DeepLab V3+网络的变电站环境理...

【专利技术属性】
技术研发人员：王平，李萌崛，陈妮，文荣，
申请(专利权)人：成都工业学院，
类型：发明
国别省市：