基于尺度上下文的变电站图像目标检测方法技术

本发明专利技术公开了一种基于尺度上下文的变电站图像目标检测方法，采用基于仿射变换的数据增强和随机增强策略完成数据集扩充，得到数据增强后的训练集；采用经过预训练的VGG

【技术实现步骤摘要】
基于尺度上下文的变电站图像目标检测方法


[0001]本专利技术属于变电站检测
，涉及一种基于尺度上下文的变电站图像目标检测方法。

技术介绍

[0002]传统的目标检测算法包括选取候选框、表征提取和分类器判定三个阶段。选取候选框阶段的任务是提取图像中可能包含目标的区域位置，即感兴趣区域(Region of Interest,RoI)。基本思想是先用不同尺寸的窗口滑动扫描整幅图像，判断每个窗口中是否含有目标，将含有目标的窗口作为候选框。特征提取阶段，利用滑动窗口在图像的每个区域上取得特定长度的表征向量，从而捕获该区域的语义判别信息。由于图像目标存在视角多元、光线变化和背景复杂等问题，因此难以设计鲁棒性强的特征提取模型来描述不同条件下的目标特征。分类器判定阶段，目的是为候选框分配类别标签。
[0003]视觉对象出现在特定的环境中，且通常与其他相关目标共存。人类视觉进行目标识别任务的优势，很大程度上依赖于上下文信息。上下文信息在计算机视觉的目标检测任务中，也起到至关重要的作用。上下文信息能够在一定程度上消除检测的不确定性，减少歧义，增强检测结果的可靠性。适当地对上下文信息进行建模，有助于目标识别与定位，尤其是当目标的外观特征不足时，例如目标尺寸小、受遮挡或图像质量差的情况。为了充分挖掘数据之间的关联，近年来，基于上下文信息的目标检测方法成为了检测领域的研究热点。
[0004]基于深度学习的目标检测技术，在电力领域的红外图像和可见光图像中都得到了广泛应用。然而，电力设备具有尺度多样性的特点，大小尺寸、高宽比差异较大，但鲜有工作针对电力设备存在的尺度多样性特点进行研究。

技术实现思路

[0005]针对设备尺度多样性引起的查全率不高的问题，面向变电站设备检测的需要，通过从数据和特征两个层面充分挖掘尺度上下文信息，本专利技术提出了一种基于尺度上下文的变电站图像目标检测方法。在数据层面进行了两点设计，分别是基于仿射变换的数据增强方式和基于K
‑
means聚类的锚框尺度制定策略。卷积神经网络具有分层提取特征的特点，为了充分利用不同尺寸感受野的卷积特征，在特征层面，进行多尺度特征融合。
[0006]本专利技术通过下述技术方案来实现。一种基于尺度上下文的变电站图像目标检测方法，包括以下步骤：
[0007]步骤一、数据预处理：采用基于仿射变换的数据增强和随机增强策略完成数据集扩充，得到数据增强后的训练集；
[0008]步骤二、特征提取:采用经过预训练的VGG
‑
16模型作为特征提取网络，每张输入图像在一系列卷积及池化后，得到不同尺寸的卷积特征图；
[0009]步骤三、提取感兴趣区域:使用区域提名网络进行候选框提取，得到感兴趣区域；区域提名网络首先对特征提取网络的最后一层卷积特征图进行滑窗操作，在每个窗口的中
心位置生成一系列锚框；利用基于K
‑
means的锚框尺度制定策略，通过对训练集标注文件中矩形包围框的长、宽进行于K
‑
means聚类得到数据分布，从而调整锚框尺度；
[0010]步骤四、多尺度特征融合：将感兴趣区域映射到特征提取网络的卷积特征图上，并对其对应区域进行感兴趣区域池化，再通过两层全连接层，输出融合特征；
[0011]步骤五、分类和定位：对输出的融合特征进行分类和定位，在分类时，采用Soft
‑
NMS算法去除冗余框。
[0012]进一步优选，所述VGG
‑
16模型包括6层卷积池化层，依次为：Conv1_3层、Conv2_3层、Conv3_3、Conv4_3层、Conv5_3层、Conv6_3层，输入图像在进行6组卷积、池化操作后，得到不同尺寸的卷积特征图。
[0013]进一步优选，步骤三中，在Conv5_3输出的卷积特征图上，利用区域提名网络进行候选框提取，得到感兴趣区域，通过感兴趣区域池化层将感兴趣区域坐标分别映射到不同层级的卷积特征图上，得到对应区域的RoI映射卷积特征图。
[0014]进一步优选，步骤四中，将Conv4_3层和Conv5_3层的RoI映射卷积特征图分别作为第一全连接层的输入，进行一次全连接操作，得到两个1
×1×
2048的特征向量，然后拼接成为一个1
×1×
4096的融合特征，再经过第二全连接层，输出到分类回归网络进行最终的分类和定位。
[0015]进一步优选，步骤五中，Soft
‑
NMS算法的重评分过程用一个连续的罚函数来表达，在预测框不重叠的情况下不惩罚，在高重叠情况下有很高的惩罚，将置信度构建为关于交并比的函数：
[0016][0017]其中，s
i
表示当前预测框的置信度评分，IoU(B,b
i
)表示预测框b
i
与评分最大框B的面积交并比，P表示最终预测框的集合，e为自然对数，σ为罚函数系数。
[0018]进一步优选，步骤一中，采用的主要仿射变换方式包括：缩放、旋转、翻转、平移、尺度变换以及插值；为了扩大设备矩形包围框尺寸的范围，将图像随机缩放至原图尺寸的80％到120％之间；为了增加设备矩形包围框高宽比的丰富性，对图像进行
±
30
°
范围以内的随机旋转；另外，对随机50％的图像进行镜像翻转；对随机20％的图像进行垂直翻转；在原图像宽度的五分之一范围内，将图像随机进行向左或向右平移；对图像按照指定的尺度因子进行放大或缩小，或利用指定的尺度因子对图像滤波构造尺度空间以改变图像内容的大小或模糊程度；随机使用最临近插值或双线性差值对空白处进行补齐，使得增强后的图像尺寸与原图尺寸相等；
[0019]在仿射变换的基础上，通过随机增强策略，将训练样本图像通过包括但不限于模糊、加噪、颜色空间转换、随机遮挡、随机擦除继续做数据增强处理。
[0020]进一步优选，基于K
‑
means的锚框尺度制定策略具体为：假设簇划分为(C1,C2,
…
C
i
…
C
k
)，用μ
i
表示簇C
i
的均值向量，则K
‑
means聚类目标就是最小化平方误差E；聚类结果图像由XY轴坐标系构成，每一点对应一个目标样本点，其横坐标代表目标宽度，纵坐标代表目标高度；每一样本点与原点之间连线的斜率表征了该目标的高宽比；计算各个簇中心点与坐标轴原点的连线的斜率，离散地选择合适的斜率值，使用尽量少的值覆盖更多的样本点；每一样本点横纵坐标的乘积表征该目标矩形包围框的面积；对簇中心横、纵坐标值之积开
平方根，得到样本的尺寸分布从而调整锚框尺寸。
[0021]设样本点横、纵坐标分别为x和y，则锚框高宽比和尺寸的设置算法可以分别用分段函数A(x,y)和S(x,y)来表达：
[0022][0023][0024]其中，N表示设置N种不同高宽比的锚框，M表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于尺度上下文的变电站图像目标检测方法，其特征是，包括以下步骤：步骤一、数据预处理：采用基于仿射变换的数据增强和随机增强策略完成数据集扩充，得到数据增强后的训练集；步骤二、特征提取:采用经过预训练的VGG
‑
16模型作为特征提取网络，每张输入图像在一系列卷积及池化后，得到不同尺寸的卷积特征图；步骤三、提取感兴趣区域:使用区域提名网络进行候选框提取，得到感兴趣区域；区域提名网络首先对特征提取网络的最后一层卷积特征图进行滑窗操作，在每个窗口的中心位置生成一系列锚框；利用基于K
‑
means的锚框尺度制定策略，通过对训练集标注文件中矩形包围框的长、宽进行于K
‑
means聚类得到数据分布，从而调整锚框尺度；步骤四、多尺度特征融合：将感兴趣区域映射到特征提取网络的卷积特征图上，并对其对应区域进行感兴趣区域池化，再通过两层全连接层，输出融合特征；步骤五、分类和定位：对输出的融合特征进行分类和定位，在分类时，采用Soft
‑
NMS算法去除冗余框。2.根据权利要求1所述的基于尺度上下文的变电站图像目标检测方法，其特征是，所述VGG
‑
16模型包括6层卷积池化层，依次为：Conv1_3层、Conv2_3层、Conv3_3、Conv4_3层、Conv5_3层、Conv6_3层，输入图像在进行6组卷积、池化操作后，得到不同尺寸的卷积特征图。3.根据权利要求2所述的基于尺度上下文的变电站图像目标检测方法，其特征是，步骤三中，在Conv5_3输出的卷积特征图上，利用区域提名网络进行候选框提取，得到感兴趣区域，通过感兴趣区域池化层将感兴趣区域坐标分别映射到不同层级的卷积特征图上，得到对应区域的RoI映射卷积特征图。4.根据权利要求3所述的基于尺度上下文的变电站图像目标检测方法，其特征是，步骤四中，将Conv4_3层和Conv5_3层的RoI映射卷积特征图分别作为第一全连接层的输入，进行一次全连接操作，得到两个1
×1×
2048的特征向量，然后拼接成为一个1
×1×
4096的融合特征，再经过第二全连接层，输出到分类回归网络进行最终的分类和定位。5.根据权利要求4所述的基于尺度上下文的变电站图像目标检测方法，其特征是，步骤五中，Soft
‑
NMS算法的重评分过程用一个连续的罚函数来表达，在预测框不重叠的情况下不惩罚，在高重叠情况下有很高的惩罚，将置信度构建为关于交并比的函数：其中，s
i
表示当前预测框的置信度评分，IoU(B,b
i
)表示预测框b
i
与评分最大框B的面积交并比，P表示最终预测框的集合，e为自然对数，σ为罚函数系数。6.根据权利要求1所述的基于尺度上下文的变电站图像目标检测方法，其特征是，步骤一中，采用的主要仿射变换方式包括：缩放、旋转、翻转、平移、尺度变换以及插值；为了扩大设备矩形包围框尺寸的范围，将图像...

【专利技术属性】
技术研发人员：徐波，李福德，李志坤，钟成，夏祥波，林谋，
申请(专利权)人：国家电网有限公司珠高智能科技深圳有限公司，
类型：发明
国别省市：