一种基于深度学习的绝缘子遥感影像超分辨率方法技术

本发明专利技术涉及一种基于深度学习的绝缘子遥感影像超分辨率方法，属于输电线路绝缘子遥感图像处理技术领域。该方法包括：基于Area‑to‑point Regression Kriging(ATPRK)算法的绝缘子遥感影像超分辨率训练数据制作、搭建基于Wide Deep Super Resolution Network(WDSR)算法的超分辨率网络、利用训练数据训练超分辨率模型、将目标影像输入训练好的训练超分辨率模型，得到最终超分辨率结果。本发明专利技术方法实现了在输电线路绝缘子遥感影像现有的极限分辨率下进一步提升其分辨率的功能，可以用于输电线路精细化巡检、缺陷查找等领域，易于推广应用。

【技术实现步骤摘要】
一种基于深度学习的绝缘子遥感影像超分辨率方法
本专利技术属于输电线路绝缘子遥感图像处理
，具体涉及一种基于深度学习的绝缘子遥感影像超分辨率方法。
技术介绍
遥感影像（简称：RS，英文：RemoteSensingImage）是指记录各种地物电磁波大小的胶片或照片，主要分为航空像片和卫星相片。遥感影像由于其空间尺度大的特点，经常被用于大面积区域的目标检测、地物分辨率等研究。其中，目标物体所占像素的多少，以及目标物体的纹理信息，对目标检测以及分类等的精度的影响都是较高的。而绝缘子遥感影像的分辨率往往较低，而更高分辨率的遥感影像往往价格较为昂贵。因此，将深度学习应用于绝缘子遥感影像并提升其分辨率，进而提升输电线路绝缘子检测和缺陷识别等的精度，具有重要研究意义。自2017年香港中文大学首次提出基于卷积神经网络单帧影像的超分辨率算法：SRCNN（Super-ResolutionConvolutionalNeuralNetwork）并相较传统的单帧影像超分辨率算法取了更加优秀的效果以来，基于深度学习的超分辨率算法得到巨大关注。目前，基于深度学习的超分辨率算法已经取得了良好的效果。NTIRE（NewTrendsinImageRestorationandEnhancement）是近年来针对基于深度学习的图像增强技术中的一系列问题展开国际性大赛，其中产生了很多优秀的图像处理算法。WDSR即为NTIRE2018中超分辨率组的冠军，该算法利用WeightNormalization代替传统的BatchNormalization层，在提高收敛速度的同时，消除了BatchNormalization层对影像灰度拉伸的影像，是目前单帧影像超分辨率领域前沿的算法之一。目前，针对遥感影像的超分辨率研究较少，且目前的超分辨率研究在训练数据方面都是采用高清影像下采样作为输入数据而原始影像作为输出端进行模型训练，这种情况导致超分辨率模型学习的只是下采样函数的退化过程的反变换过程，与遥感影像实际的退化过程相比，这种下采样退化过于简单，训练的模型并不能得到很好的实用价值。因此如何克服现有技术的不足是目前遥感图像处理
亟需解决的问题。
技术实现思路
本专利技术的目的是为了解决现有技术的不足，提供一种基于深度学习的绝缘子遥感影像超分辨率方法，该方法利用超分辨率算法提升绝缘子遥感影像的分辨率，使之可以拥有更多细节信息，以便于提升其在绝缘子检测、缺陷识别领域的精度。为实现上述目的，本专利技术采用的技术方案如下：一种基于深度学习的绝缘子遥感影像超分辨率方法，包括如下步骤：S1：基于ATPRK融合算法（Area-to-pointRegressionKriging）的遥感影像超分辨率训练数据制作；S2：搭建基于WDSR（WideDeepSuperResolutionNetwork）的超分辨率网络；S3：利用训练数据训练超分辨率模型；S4：将目标影像输入训练好的训练超分辨率模型，得到最终超分辨率结果。进一步，优选的是，所述S1中，遥感影像超分辨率训练数据制作方法为：首先，对绝缘子目标遥感影像，根据其本身分辨率Scale1计算出其放大4倍后对应的分辨率Scale4；其次，选取多光谱波段分辨率为Scale1，全色波段分辨率为Scale4的影像来制作训练数据；最后，训练数据的设置为，输入端是分辨率为Scale1的多光谱数据，输出端为分辨率为Scale4的多光谱与全色波段ATPRK融合的数据。进一步，优选的是，所述S2中，搭建基于WDSR的超分辨率网络的具体方法为：输入端接入一个由22个残差块和一个放大层构成的残差层，残差块中激活函数前输出通道为192，激活函数后输出通道为32，同时，输入端直接链接一个由一层卷积层加一层放大层组成的跳跃层，残差层和跳跃层的输出求和作为最终放大结果，与真值进行损失计算，损失函数采用算子1范数，得到最终的WDSR超分辨率网络框架。进一步，优选的是，所述S3中，利用训练数据训练超分辨率模型的具体方法为：S31：将原始绝缘子影像与下采样影像分别作为WDSR网络的输出和输入；S32：利用所述S31中的输出端影像对初始的WDSR的超分辨率网络进行训练，计算并更新所述WDSR的超分辨率网络的网络参数；S33：计算WDSR的超分辨率网络的损失函数，若损失函数小于预设值，或者训练次数达到预设值，则训练完成；否则，进入S32，继续训练，随着训练次数的增多逐渐减小损失函数。进一步，优选的是，S4的具体方法为：利用训练好的超分辨率模型通过滑动窗口法对绝缘子遥感影像进行超分辨率处理，将滑动窗口输出影像按顺序排列组成最终的超分辨率影像，并根据放大倍数修改其投影信息，保留影像坐标信息。如上述放大倍数为4倍，则应将投影信息中单个像素代表的长度除以4。本专利技术S1中，训练数据选取示例如下：如对于全色波段融合后分辨率为2m的高分2号影像，计算出其4倍放大后分辨率为0.5m。因此，可以选取多光谱波段分辨率为2m，全色波段融合后分辨率为0.5m的高景1号影像作为训练数据。将2m分辨率的高景1号多光谱影像作为输入端，0.5m分辨率的ATPRK全色波段融合后的高景1号影像作为输出端来训练超分辨率模型。本专利技术S33中预设值可以自己设定，本专利技术对此不做具体要求。本专利技术S4中根据放大倍数修改其投影信息具体示例如下：如放大四倍，需要把投影信息中的一个像素对应的距离缩小四倍。本专利技术相较于以往通过原始绝缘子影像下采样作为训练数据的方法，直接将原始绝缘子低分辨率影像作为输入可以更好的模拟遥感影像实际退化过程，并通过深度学习达到更好的反演。本专利技术与现有技术相比，其有益效果为：本专利技术采用ATPRK全色波段融合算法来辅助制作训练数据集，相较于传统的超分辨率训练方法，更能学习到遥感影像的实际退化关系，从而达到更好的放大效果；具体而言，相较于普通的超分辨率算法，本专利技术训练的模型的超分辨率结果具有更多的细节信息，且目视效果更好。如图4所示，对测试集2m分辨率的高景1号影像直接4倍放大到0.5m的分辨率的情况下，本专利技术相较于普通方法训练的WDSR模型，在与经过全色波段融合的0.5m分辨率的影像的峰值信噪比（PeakSignaltoNoiseRatio,PSNR）和结构相似性（StructuralSimilarityIndex,SSIM）更高。附图说明图1是本方法实验流程图；图2是ATPRK算法实现流程示意图图3是本实验搭建的WDSR网络的结构示意图；图4是普通WDSR模型和ATPRK算法辅助的WDSR模型超分辨率效果比较；图5为在ENVI中打开的超分辨率影像。具体实施方式下面结合实施例对本专利技术作进一步的详细描述。本领域技术人员将会理解，下列实施例仅用于说明本专利技术，而不应视为限定本专利技术的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按本文档来自技高网...

【技术保护点】
1.一种基于深度学习的绝缘子遥感影像超分辨率方法，其特征在于，包括如下步骤：/nS1：基于ATPRK融合算法的遥感影像超分辨率训练数据制作；/nS2：搭建基于WDSR的超分辨率网络；/nS3：利用训练数据训练超分辨率模型；/nS4：将目标影像输入训练好的训练超分辨率模型，得到最终超分辨率结果。/n

【技术特征摘要】
1.一种基于深度学习的绝缘子遥感影像超分辨率方法，其特征在于，包括如下步骤：
S1：基于ATPRK融合算法的遥感影像超分辨率训练数据制作；
S2：搭建基于WDSR的超分辨率网络；
S3：利用训练数据训练超分辨率模型；
S4：将目标影像输入训练好的训练超分辨率模型，得到最终超分辨率结果。


2.根据权利要求1所述的基于深度学习的绝缘子遥感影像超分辨率方法，其特征在于，所述S1中，遥感影像超分辨率训练数据制作方法为：
首先，对绝缘子遥感影像，根据其本身分辨率Scale1计算出其放大4倍后对应的分辨率Scale4；
其次，选取多光谱波段分辨率为Scale1，全色波段分辨率为Scale4的影像来制作训练数据；
最后，训练数据的设置为，输入端是分辨率为Scale1的多光谱数据，输出端为分辨率为Scale4的多光谱与全色波段ATPRK融合的数据。


3.根据权利要求1所述的基于深度学习的绝缘子遥感影像超分辨率方法，其特征在于，所述S2中，搭建基于WDSR的超分辨率网络的具体方法为：输入端接入一个由22个残差块和一个放大层构成的残差层，残差块中激活函数前输出通道为1...

【专利技术属性】
技术研发人员：黄双得，张辉，段尚琪，陈海东，葛兴科，胡昌斌，周仿荣，宋庆，潘浩，
申请(专利权)人：云南电网有限责任公司昆明供电局，
类型：发明
国别省市：云南;53