一种基于图像分割的杆塔图像配准方法技术

本发明专利技术公开了一种基于图像分割的杆塔图像配准方法，方法包括：使用VGG16重新构建U

【技术实现步骤摘要】
一种基于图像分割的杆塔图像配准方法


[0001]本专利技术属于图像分割
，具体涉及一种基于图像分割的杆塔图像配准方法。

技术介绍

[0002]随着图像识别技术的发展以及自动化水平的提高，利用无人机或机器人的自动化巡检已经逐渐代替传统的人工巡检。为了响应国家建设智慧电网2.0的计划，近些年来研究人员开始将目光转向自动化巡检技术，国家电网开始使用无人机或机器人开展自动化巡检作业。经过长距离的线路巡检，无人机会采集到大量的杆塔图像数据，如果将这些图像视频数据全部返还给地面上的技术人员，那么技术人员仍然需要耗费大量的时间去判断故障。

技术实现思路

[0003]为达到上述目的，本方案结合深度学习和图像处理技术，巡检机器人可以在采集杆塔图像的同时进行识别筛选，只保留识别到的故障图像和一些无法识别的图像，这样便可以节省大部分的巡检时间。机器人巡检在加入缺陷识别技术后能够保证线路巡检过程中的安全性和可靠性，极大的提高了线路巡检的效率，同时还具备成本低、受环境及地理因素影响小等优点。
[0004]在线路巡检中，机器人巡检图像往往有着像城镇、山川和森林等复杂多变的背景，而且采集视角多变化，光照强度多变化，检测目标大小尺度多变化这些都使得传统的图像分割难以应对。而基于深度学习的图像分割算法在面对复杂的检测场景下也能有良好的分割效果。在输电线路巡检场景下，要将杆塔区域精准的从复杂的背景中提取出来，就是需要像素级别的分割，即对杆塔边缘有着高精度的分割。基于深度学习的图像分割算法常用的有U
‑
Net和在Faster R
‑
CNN基础上进行改进的分割算法Mask R
‑
CNN。通过将电力杆塔从复杂的背景中提取出来，避免了复杂背景的干扰，可以很大程度上提高杆塔图像配准的精度，进而实现杆塔的智能拍摄。
[0005]U
‑
Net因网络结构主要由三部分组成：编码器、解码器和跳跃连接结构。U
‑
Net网络中还有两个需要注意的地方：输入输出大小不一致：U
‑
Net是一个对称的网络，左边部分下采样进行特征提取，右边部分上采样，将浓缩的特征还原为图像。当U
‑
Net的输入是一个572
×
572的图像时，最终输出图像尺寸是388
×
388的，U
‑
Net的输出比输入要小。因为U
‑
Net全程使用valid卷积策略，即没有加padding，这样就导致每次卷积都会使特征图减小；Overlap
‑
tile策略：当输入的图片太大时，进行图像分割的时候不可能把原图输入网络，所以需要进行裁剪，把大图变成一张张的小图。而为了使图片拼接的部分分割得更加准确，从而采用了Overlap
‑
tile策略，也就是有重叠的裁剪。U
‑
Net网络从输入到输出，需要overlap部分提供更多特征信息，将大图分割成小图的影响降到最低。也正是因为Overlap
‑
tile策略，输入图片大小为572
×
572。
[0006]本专利技术的技术方案如下：一种基于图像分割的杆塔图像配准方法，所述方法包括：
使用VGG16重新构建U
‑
Net的主干特征提取网络，并融入注意力机制CBAM模块；使用标注好的杆塔数据集训练改进的U
‑
Net网络；将杆塔图像输入到训练好的改进U
‑
Net网络中，获得高精度的杆塔分割图；通过事先采集的一张标准视角的、目标清晰的杆塔图像，将杆塔上的待检测目标全部都标注好具体位置，这样就制作一个标准的杆塔图像模板，模板上有清晰完整的杆塔待检测目标；使用基于SIFT的图像配准算法对杆塔分割图和杆塔模板图进行配准；巡检机器人在巡检过程中依据配准结果进行智能拍摄。
[0007]其中CBAM(Convolution Block Attention Module)模块是轻量级的卷积注意力模块，它结合了通道和空间的注意力模块。CBAM模块可以用于前馈神经网络，给定一个中间特征图，CBAM模块会沿着两个独立的维度(通道和空间)依次推断注意力图，然后将注意力图与输入特征图相乘以进行自适应特征优化。由于CBAM是轻量级的通用模块，因此可以忽略该模块的开销而将其无缝集合到任何CNN架构中，并且可以与基础CNN一起进行端到端训练。
[0008]作为本专利技术的一种改进，所述方法包括当输入图像后，进行若干次特定通道的卷积，获得一个初步有效特征层，再进行最大池化，获得一个特征层。
[0009]作为本专利技术的一种改进，所述方法包括SIFT特征检测，首先是对原始图像进行不同尺度的变化并且使用不同的高斯核函数对不同尺度图像进行高斯模糊，公式如下：
[0010]L(x，y，σ)＝G(x，y，σ)*I(x，y)
[0011]上式中，I(x，y)为输入图像，x为图像的宽度，y为图像的高度，σ为尺度空间模糊系数，*为卷积操作，L(x，y，σ)为经过高斯核函数G(x，y，σ)模糊处理后的图像。高斯核函数具体公式如下
[0012][0013]在获得高斯金字塔后，对金字塔中同一层中所得的相邻图像进行相减操作，得到其差值图像，具体计算如下式：
[0014]D(x，y，σ)＝(G(x，y，kσ)
‑
G(x，y，σ))*I(x，y)
[0015]＝L(x，y，kσ)
‑
L(x，y，σ)
[0016]式中，k为空间模糊系数的放大倍数，在高斯金字塔中重复上的操作，所有层最终得到的差分高斯图像组成了高斯差分金字塔，SIFT算法中的尺度空间构建完成。
[0017]作为本专利技术的一种改进，所述方法包括在SIFT算法构建完尺度空间后，下一步在尺度空间中进行局部极值点进行定位。
[0018]作为本专利技术的一种改进，对局部极值点进行定位包括对尺度空间中每个像素点和该像素点同尺寸的周围相邻像素点以及上下相邻尺寸的点进行比较。
[0019]作为本专利技术的一种改进，所述方法包括在完成关键点检测(局部极值点的定位步骤)后，SIFT算法要确定每个关键点的方向参数，具体如下式：
[0020][0021]上式中，m(x，y)表示关键点梯度的模值，L(x，y)是尺度空间中关键点的位置信息；L(x+/
‑
1，y+/
‑
1)是关键点前后左右的信息，也就是横向和纵向的梯度信息；
[0022][0023]上式中，θ(x，y)表示梯度的方向。
[0024]作为本专利技术的一种改进，所述方法还包括对SIFT算法进行特征描述符的提取，SIFT算法以每个特征点为中心，将其邻域划分为子邻域，并在每个子邻域中计算若干方向的梯度特征，得到最终特征向量，最后再对特征向量进行归一化处理。
[0025]作为本专利技术的一种改进，所述方法还包括通过SIFT算法对关键点进行特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像分割的杆塔图像配准方法，其特征在于，所述方法包括：使用VGG16重新构建U
‑
Net的主干特征提取网络，并融入注意力机制CBAM模块；使用标注好的杆塔数据集训练改进的U
‑
Net网络；将杆塔图像输入到训练好的改进U
‑
Net网络中，获得高精度的杆塔分割图；制作一个标准的杆塔图像模板，模板上有清晰完整的杆塔待检测目标；使用基于SIFT的图像配准算法对杆塔分割图和杆塔模板图进行配准；巡检机器人在巡检过程中依据配准结果进行智能拍摄。2.根据权利要求1所述的一种基于图像分割的杆塔图像配准方法，其特征在于，所述方法包括当输入图像后，进行若干次特定通道的卷积，获得一个初步有效特征层，再进行最大池化，获得一个特征层。3.根据权利要求2所述的一种基于图像分割的杆塔图像配准方法，其特征在于，所述方法包括SIFT特征检测，首先是对原始图像进行不同尺度的变化并且使用不同的高斯核函数对不同尺度图像进行高斯模糊，公式如下：L(x，y，σ)＝G(x，y，σ)*I(x，y)上式中，I(x，y)为输入图像，x为图像的宽度，y为图像的高度，σ为尺度空间模糊系数，*为卷积操作，L(x，y，σ)为经过高斯核函数G(x，y，σ)模糊处理后的图像，高斯核函数具体公式如下：对金字塔中同一层中所得的相邻图像进行相减操作，得到其差值图像，具体计算如下式：D(x，y，σ)＝(G(x，y，kσ)
‑
G(x，y，σ))*I(x，y)＝L(x，y，kσ)
‑
L(x，y，σ)上式中，k为空间模糊系数的放大倍数，在高斯金字塔中重复上的操作，所有层最终得到的差分高斯图像组成了高斯差分金字塔，SIFT算法中的尺度空间构建完成。4.根据权利要求3所述的一种基于图像分割的杆塔图像配准方法，其特征在于，所述方法包括在S...

【专利技术属性】
技术研发人员：沈阳，马培龙，冯广辉，
申请(专利权)人：佳源科技股份有限公司，
类型：发明
国别省市：