一种基于航拍图像的检测输电线路中鸟巢的方法技术

本发明专利技术涉及一种基于航拍图像的检测输电线路中鸟巢的方法，包括下列步骤：构建带有标注和标签的图片数据库。分别训练两个深度卷积神经网络：利用所得的数据集，对分类网络VGG16进行修改，变成两个检测网络，分别对其进行训练，得到一个鸟巢粗选神经网络和一个鸟巢细选神经网络，其中粗选网络利用在特征图上进行滑窗的方法可得到鸟巢粗选区域，然后用粗选区域训练鸟巢细选网络，从而得到最佳鸟巢区域。交叉训练微调网络构建检测模型。采用交叉训练的方法，重新训练所得到的粗选神经网络和细选神经网络，使两个网络能够共享前13层卷积层参数，将两个网络组合为一个端到端的卷积神经网络，从而构成鸟巢检测模型。

【技术实现步骤摘要】
一种基于航拍图像的检测输电线路中鸟巢的方法
本专利技术属于物体检测领域，涉及一种利用深度卷积神经网络的检测输电线路航拍图像中鸟巢的方法。
技术介绍
输电线路在电力系统中起着非常重要的作用，直接关系到千家万户的用电问题，大规模断电将给国民经济带来不可估量的损失。因此，输电线路的安全性是电力部门高度关注的问题之一[1]。鸟类的自然活动经常会干扰到输电线路的正常工作，例如鸟类常筑巢在输电线路杆塔上，其窝巢材料的掉落很容易引起杆塔周围线路的短路。因此，为了保证电网的安全可靠运行，必须对鸟类在输电线路杆塔上的筑巢行为进行监测、预警和防护。输电线路传统的检测方法是依靠人工检测，这种检测方法需要工作人员深入实地作业，受地理限制和时间限制较大，耗费大量的人力物力，监控覆盖范围有限。而无人机巡线技术、直升飞机巡线技术以及基于航拍图像检测系统的输电线路监控技术是目前新兴的输电线路监控方法。前两种方法分别利用无人机和直升飞机来替代人力进行输电线路巡线操作；而基于图像检测系统的输电线路监控技术是通过将采集来的图像传输至后台监测中心，利用监测中心的图像处理检测系统对输电线路杆塔的状态进行自动识别并告警。与传统的人工巡检方法相比，这些监测方法更加简单、准确、实时、经济。物体检测任务需要回答一张图像中在什么位置存在一个什么物体。与物体分类问题不同，物体检测问题从数学上是研究输入图像X与输出物体窗口Y之间的关系，这里Y的取值不再是一个实数，而是一组“结构化”的数据，指定了物体的外接窗口和类别[2]。基于航拍图像的鸟巢检测任务作为物体检测任务的一种，依赖于对图像特征的恰当选择与提取。鸟巢的形状往往与其所在的位置有关，有不规则的半球形，也有立方形等等，现有的机器学习算法、模板匹配、特征匹配等方法都不能有效的检测鸟巢。卷积神经网络(ConvolutionalNeuralNetwork，CNN)提供了一种端到端的学习模型，经过训练后的卷积神经网络能够较好的学习到图像中的特征，并且完成对图像特征的提取和分类。在计算机视觉领域，CNN最主要的技术优势体现在：通过充分利用图像数据的层次属性，抽象或组合低层信号来构建高层特征，即局部边缘构成主题，主题聚合成部分，部分组成物体，最终使得图像中的物体易于检测或分类。因此，CNN具有极其优良的数据表征能力[3]。[1]仝卫国.基于航拍图像的输电线路识别与状态检测方法研究[D].华北电力大学,2011.[2]黄凯奇,任伟强,谭铁牛.图像物体分类与检测算法综述[J].计算机学报,2014,(06):1225-1240.[3]刘栋,李素,曹志冬.深度学习及其在图像物体分类与检测中的应用综述[J].计算机科学,2016,(12):13-23.
技术实现思路
本专利技术针对输电线路杆塔上的鸟巢检测问题，提供一种基于深度神经网络的物体检测技术对输电线路杆塔上的鸟巢进行检测的方法。本专利技术可用于不同环境、光照强度及天气情况，对于复杂环境中的输电线路鸟巢缺陷，可以保证较高的检测准确性和快速性。可以智能、快速、准确地的进行检测，技术方案如下：一种基于航拍图像的检测输电线路中鸟巢的方法，包括下列步骤：第一步，构建带有标注和标签的图片数据库：采集输电线路的航拍图像，挑选出含有鸟巢的图片并对其进行标注，使用图像增强技术，构建符合格式要求、匹配网络结构的数据集。第二步，分别训练两个深度卷积神经网络：利用所得的数据集，对分类网络VGG16进行修改，变成两个检测网络，分别对其进行训练，得到一个鸟巢粗选神经网络和一个鸟巢细选神经网络，其中粗选网络利用在特征图上进行滑窗的方法可得到鸟巢粗选区域，然后用粗选区域训练鸟巢细选网络，从而得到最佳鸟巢区域；方法如下：(1)训练第一个神经网络作为鸟巢粗选神经网络：对VGG16网络进行修改，将分类网络变成如下的一个检测网络，保留VGG16网络的前13层卷积层作为特征提取层，去掉VGG16的全连接层，添加第14层卷积层，并在其上进行不同尺度的滑窗操作作为特征映射；再添加2个卷积层分别输出候选区域包含鸟巢的置信度和区域框的位置参数，使用SoftMax损失函数和L1-Loss损失函数分别计算置信度和位置参数的损失值；(2)训练第二个神经网络作为鸟巢细选神经网络：修改VGG16分类网络变为第二个检测网络，使用13层卷积层作为特征提取层，并且这13层的网络参数与鸟巢粗选神经网络一致；添加ROI池化层，从特征图中直接映射出候选区域框；在其后添加2层全连接层对提取到的特征做非线性变换，再分别添加2个全连接层输出判别是否为鸟巢的置信度和粗选回归框的位置修正参数，使用SoftMax损失函数和L1-Loss损失函数分别计算置信度和位置参数的损失值。第三步，交叉训练微调网络构建检测模型。采用交叉训练的方法，重新训练所得到的粗选神经网络和细选神经网络，使两个网络能够共享前13层卷积层参数，将两个网络组合为一个端到端的卷积神经网络，从而构成鸟巢检测模型。本专利技术利用深度卷积神经网络的算法，设计一种基于航拍图像的输电线路鸟巢检测系统。该系统以无人机和直升飞机巡线获取的航拍图片库为研究对象，通过交叉训练得到两个卷积神经网络，鸟巢粗选网络和鸟巢细选网络，共享卷积参数构成最终的检测模型。与现有技术相比，这种方法对鸟巢尺度变化和比例变化不敏感，能够有效提升复杂环境下非常规尺度和比例的鸟巢的检测，通过共享卷积层参数，使得计算量较小，并且漏检率较低。附图说明图1鸟巢粗选网络结构图图2鸟巢细选网络结构图图3基于航拍图像的检测输电线路中鸟巢的模型结构图图4未使用图像增强的识别结果图5使用图像增强后的识别结果具体实施方式为使本专利技术的技术方案更加清楚，下面结合附图对本专利技术做进一步阐述.。本专利技术按以下步骤具体实现：第一步，准备数据集。(1)准备图片数据和标签数据。将采用无人机巡线和直升机拍摄方式获取的输电线路航拍图片，包括杆塔的航拍图片收集起来，挑选出其中的输电线路中有鸟巢存在的图像，对其进行人工标注。记录下鸟巢在整张图像中的左上角点和左下角的坐标，作为图像的标签数据。为了适应神经网络的结构，对所有图片进行尺寸归一化，得到尺寸为600*400的图片集合，用于分别训练鸟粗选网络和细选网络。(2)进行图像增强。考虑到输电线路航拍图像的数据量小的特点，为了提高系统的鲁棒性和识别精度，我们对训练数据进行图像增强。本专利技术采用五种自然图像增强方法对航拍图像进行增强，其中S(o)为增强后图像，S(i)为原始图像：a)加入图像噪声。选取高斯噪声，椒盐噪声，泊松噪声三种常见图像噪声，并且改变不同的信噪比生成数据。式中N(θ)为噪声，θ为噪声参数。S(o)＝S(i)+N(θ)b)图像模糊化。选取均值滤波、高斯滤波、运动模糊、对比度增强滤波等常见滤波器，设定不同参数得到经过滤波器后的图像式中F(·)为滤波器，φ为滤波器参数。S(o)＝F(S(i)|φ)c)改变图像明暗度。选取不同的亮度比例20％、50％、80％，将原图像进行亮度值变换。式中f(·)为亮度变化函数。S(o)＝f(S(i))d)图像质量调整。将jpeg图像按照jpeg编码规范降低质量，获取75％、90％两种不同质量下的图像。式中M(·)为jpeg编码质量调整函数。S(o)＝M(S(i))根据以上几种常见策略，通本文档来自技高网...

【技术保护点】
一种基于航拍图像的检测输电线路中鸟巢的方法，包括下列步骤：第一步，构建带有标注和标签的图片数据库：采集输电线路的航拍图像，挑选出含有鸟巢的图片并对其进行标注，使用图像增强技术，构建符合格式要求、匹配网络结构的数据集。第二步，分别训练两个深度卷积神经网络：利用所得的数据集，对分类网络VGG16进行修改，变成两个检测网络，分别对其进行训练，得到一个鸟巢粗选神经网络和一个鸟巢细选神经网络，其中粗选网络利用在特征图上进行滑窗的方法可得到鸟巢粗选区域，然后用粗选区域训练鸟巢细选网络，从而得到最佳鸟巢区域；方法如下：(1)训练第一个神经网络作为鸟巢粗选神经网络：对VGG16网络进行修改，将分类网络变成如下的一个检测网络，保留VGG16网络的前13层卷积层作为特征提取层，去掉VGG16的全连接层，添加第14层卷积层，并在其上进行不同尺度的滑窗操作作为特征映射；再添加2个卷积层分别输出候选区域包含鸟巢的置信度和区域框的位置参数，使用SoftMax损失函数和L1‑Loss损失函数分别计算置信度和位置参数的损失值；(2)训练第二个神经网络作为鸟巢细选神经网络：修改VGG16分类网络变为第二个检测网络，使用13层卷积层作为特征提取层，并且这13层的网络参数与鸟巢粗选神经网络一致；添加ROI池化层，从特征图中直接映射出候选区域框；在其后添加2层全连接层对提取到的特征做非线性变换，再分别添加2个全连接层输出判别是否为鸟巢的置信度和粗选回归框的位置修正参数，使用SoftMax损失函数和L1‑Loss损失函数分别计算置信度和位置参数的损失值。第三步，交叉训练微调网络构建检测模型。采用交叉训练的方法，重新训练所得到的粗选神经网络和细选神经网络，使两个网络能够共享前13层卷积层参数，将两个网络组合为一个端到端的卷积神经网络，从而构成鸟巢检测模型。...

【技术特征摘要】
1.一种基于航拍图像的检测输电线路中鸟巢的方法，包括下列步骤：第一步，构建带有标注和标签的图片数据库：采集输电线路的航拍图像，挑选出含有鸟巢的图片并对其进行标注，使用图像增强技术，构建符合格式要求、匹配网络结构的数据集。第二步，分别训练两个深度卷积神经网络：利用所得的数据集，对分类网络VGG16进行修改，变成两个检测网络，分别对其进行训练，得到一个鸟巢粗选神经网络和一个鸟巢细选神经网络，其中粗选网络利用在特征图上进行滑窗的方法可得到鸟巢粗选区域，然后用粗选区域训练鸟巢细选网络，从而得到最佳鸟巢区域；方法如下：(1)训练第一个神经网络作为鸟巢粗选神经网络：对VGG16网络进行修改，将分类网络变成如下的一个检测网络，保留VGG16网络的前13层卷积层作为特征提取层，去掉VGG16的全连接层，添加第14层卷积层，并在其上进行不同尺度的滑窗操作作为特征映射；再添加2个卷积层分别输出候选区域包含鸟巢的置信度和区域框的位置参数，使用SoftMax损失函数和L1-Loss损失函数分别计算置信度和位置参数的损失值；(2)训练第二个神经网...

【专利技术属性】
技术研发人员：侯春萍，管岱，杨阳，章衡光，郎玥，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12