一种输电线路监控图像增强方法和装置制造方法及图纸

本发明专利技术公开了一种输电线路监控图像增强方法和装置，包括：采用接收到的训练集和测试集对构建的两个初始图像生成模型和两个初始图像对抗模型进行双向训练和模型验证，确定出目标图像生成模型，采用目标图像生成模型中的编码器对目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图，将编码特征图输入感受野残差模块和对光照注意力模块进行特征提取和特征加权构建权重特征图，通过光照注意力模块和解码器对初步特征图、级联特征图和权重特征图进行多尺度特征提取和特征融合确定目标增强图像。通过该目标图像生成模型得到的增强图像，提高了图像纹理细节清晰度，增强后的图像质量更佳。增强后的图像质量更佳。增强后的图像质量更佳。

【技术实现步骤摘要】
一种输电线路监控图像增强方法和装置


[0001]本专利技术涉及图像处理
，尤其涉及一种输电线路监控图像增强方法和装置。

技术介绍

[0002]由于架空输电线路长期暴露在室外高空环境，为了能够及时掌握输电线路状态，供电公司通过在输电铁塔上安装远程摄像头实时采集输电线路图像进行分析。在阴雨天、夜晚等光照度较低的情况下，远程摄像头采集到的输电线路图像质量较差、细节丢失严重，降低了输电线路缺陷检测的准确性，故需对低光照度下的输电线路监控图像进行增强，以提高输电线路图像质量。
[0003]现有低光照度下的图像增强方法可以分为三类：基于直方图均衡的方法、基于Retinex理论的方法和基于深度学习的方法，其中基于深度学习的方法相对直方图均衡和基于Retinex理论的图像增强方法，增强后的图像质量和通用性更好。
[0004]生成对抗网络目前也被应用于低光照度下的图像增强，虽然相对基于常规深度学习模型得到的增强后的图像质量更好，但是其增强后的图像纹理细节仍存在一定模糊、部分区域存在曝光过度或曝光不足的现象，影响了输电线路缺陷检测的准确性，有待进一步提高增强后的图像质量。

技术实现思路

[0005]本专利技术提供了一种输电线路监控图像增强方法和装置，解决了现有图像增强技术对输电线路监控图像进行图像增强处理时，生成的增强图像的图像质量不高的技术问题。
[0006]本专利技术第一方面提供的一种输电线路监控图像增强方法，包括：
[0007]当接收到训练集和测试集时，构建两个初始图像生成模型和两个初始图像对抗模型；
[0008]采用所述训练集和所述测试集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练和模型验证，确定目标图像生成模型；其中，所述目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器；
[0009]当接收到目标输电线路监控图像时，采用所述编码器对所述目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图；
[0010]通过所述感受野残差模块对所述编码特征图进行特征提取，生成残差特征图；
[0011]将所述残差特征图输入所述光照注意力模块进行特征加权，构建权重特征图；
[0012]采用所述光照注意力模块和所述解码器对所述初步特征图、所述级联特征图和所述权重特征图进行多尺度特征提取和特征融合，确定目标增强图像。
[0013]可选地，所述测试集包括低光测试图像；所述采用所述训练集和所述测试集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练和模型验证，确定目标图像生成模型；其中，所述目标图像生成模型包括编码器、感受野残差模块、光照注意力
模块和解码器的步骤，包括：
[0014]采用所述训练集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练，确定总损失函数值；
[0015]若所述总损失函数值不收敛，则采用梯度下降法更新全部所述初始图像生成模型和全部所述初始图像对抗模型的模型参数，并跳转执行所述采用所述训练集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练，确定总损失函数值的步骤；
[0016]若所述总损失函数值收敛，则以当前模型参数确定优化图像生成模型；
[0017]将所述低光测试图像输入所述优化图像生成模型进行图像增强，输出增强测试图像；
[0018]计算所述增强测试图像的自然图像质量评价指标值和基于元学习的无参考图像评价指标值；
[0019]当所述自然图像质量评价指标值小于第一预设理想值，且所述基于元学习的无参考图像评价指标值大于第二预设理想值时，确定目标图像生成模型；其中，所述目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器。
[0020]可选地，所述训练集包括常光训练图像和低光训练图像；两个所述初始图像生成模型包括正向图像生成模型和反向图像生成模型；两个所述初始图像对抗模型包括正向图像对抗模型和反向图像对抗模型；所述采用所述训练集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练，确定总损失函数值的步骤，包括：
[0021]将所述低光训练图像和所述常光训练图像分别输入所述正向图像生成模型和所述反向图像生成模型进行图像增强，输出第一增强图和第二增强图；
[0022]采用所述第一增强图和所述第二增强图分别输入所述反向图像生成模型和所述正向图像生成模型进行图像转换，构建第一重建图和第二重建图；
[0023]通过所述正向图像对抗模型基于所述第一增强图和所述常光训练图像进行图像判别，生成第一判别结果；
[0024]通过所述反向图像对抗模型对所述第二增强图和所述低光训练图像进行图像判别，输出第二判别结果；
[0025]采用所述低光训练图像、所述常光训练图像、所述第一增强图、所述第二增强图、所述第一重建图、所述第二重建图、所述第一判别结果和所述第二判别结果，计算对抗损失函数值、循环一致性损失函数值、身份一致性损失函数值和无监督感知损失函数值；
[0026]将所述对抗损失函数值、所述循环一致性损失函数值、所述身份一致性损失函数值和所述无监督感知损失函数值进行加法运算，确定总损失函数值。
[0027]可选地，所述初始图像对抗模型包括带有LeakyReLU激活函数的卷积层、下采样层、上采样层和普通卷积层；所述初始图像对抗模型的执行过程，包括：
[0028]对输入所述初始图像对抗模型的对抗输入特征图像通过带有LeakyReLU激活函数的卷积层进行局部特征提取，生成第一对抗图；
[0029]采用级联的下采样层和带有LeakyReLU激活函数的卷积层对所述第一对抗图进行最大池化下采样和卷积运算，构建第二对抗图；
[0030]通过下采样层对所述第二对抗图进行最大池化下采样后，采用多层带有LeakyReLU激活函数的卷积层进行连续特征提取，输出第三对抗图；
[0031]将所述第三对抗图输入上采样层进行双线性插值上采样后，与所述第二对抗图进行逐元素相加，确定第四对抗图；
[0032]基于级联的带有LeakyReLU激活函数的卷积层和上采样层对所述第四对抗图进行卷积滤波和双线性插值上采样后，与所述第一对抗图进行逐元素相加，生成第五对抗图；
[0033]通过多层带有LeakyReLU激活函数的卷积层对所述第五对抗图进行连续特征提取后，并采用普通卷积层进行图像判别，确定判别结果。
[0034]可选地，所述编码器包括带有LeakyReLU激活函数的卷积层、上下文特征提取模块和级联模块；所述当接收到目标输电线路监控图像时，采用所述编码器对所述目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图的步骤，包括：
[0035]当接收到目标输电线路监控图像时，采用带有LeakyReLU激活函数的卷积层对所述目标输电线路监控图像进行初步特征提取，生成初步特征图；
[0036]通过上下文特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种输电线路监控图像增强方法，其特征在于，包括：当接收到训练集和测试集时，构建两个初始图像生成模型和两个初始图像对抗模型；采用所述训练集和所述测试集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练和模型验证，确定目标图像生成模型；其中，所述目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器；当接收到目标输电线路监控图像时，采用所述编码器对所述目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图；通过所述感受野残差模块对所述编码特征图进行特征提取，生成残差特征图；将所述残差特征图输入所述光照注意力模块进行特征加权，构建权重特征图；采用所述光照注意力模块和所述解码器对所述初步特征图、所述级联特征图和所述权重特征图进行多尺度特征提取和特征融合，确定目标增强图像。2.根据权利要求1所述的输电线路监控图像增强方法，其特征在于，所述测试集包括低光测试图像；所述采用所述训练集和所述测试集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练和模型验证，确定目标图像生成模型；其中，所述目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器的步骤，包括：采用所述训练集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练，确定总损失函数值；若所述总损失函数值不收敛，则采用梯度下降法更新全部所述初始图像生成模型和全部所述初始图像对抗模型的模型参数，并跳转执行所述采用所述训练集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练，确定总损失函数值的步骤；若所述总损失函数值收敛，则以当前模型参数确定优化图像生成模型；将所述低光测试图像输入所述优化图像生成模型进行图像增强，输出增强测试图像；计算所述增强测试图像的自然图像质量评价指标值和基于元学习的无参考图像评价指标值；当所述自然图像质量评价指标值小于第一预设理想值，且所述基于元学习的无参考图像评价指标值大于第二预设理想值时，确定目标图像生成模型；其中，所述目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器。3.根据权利要求2所述的输电线路监控图像增强方法，其特征在于，所述训练集包括常光训练图像和低光训练图像；两个所述初始图像生成模型包括正向图像生成模型和反向图像生成模型；两个所述初始图像对抗模型包括正向图像对抗模型和反向图像对抗模型；所述采用所述训练集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练，确定总损失函数值的步骤，包括：将所述低光训练图像和所述常光训练图像分别输入所述正向图像生成模型和所述反向图像生成模型进行图像增强，输出第一增强图和第二增强图；采用所述第一增强图和所述第二增强图分别输入所述反向图像生成模型和所述正向图像生成模型进行图像转换，构建第一重建图和第二重建图；通过所述正向图像对抗模型基于所述第一增强图和所述常光训练图像进行图像判别，生成第一判别结果；通过所述反向图像对抗模型对所述第二增强图和所述低光训练图像进行图像判别，输
出第二判别结果；采用所述低光训练图像、所述常光训练图像、所述第一增强图、所述第二增强图、所述第一重建图、所述第二重建图、所述第一判别结果和所述第二判别结果，计算对抗损失函数值、循环一致性损失函数值、身份一致性损失函数值和无监督感知损失函数值；将所述对抗损失函数值、所述循环一致性损失函数值、所述身份一致性损失函数值和所述无监督感知损失函数值进行加法运算，确定总损失函数值。4.根据权利要求1所述的输电线路监控图像增强方法，其特征在于，所述初始图像对抗模型包括带有LeakyReLU激活函数的卷积层、下采样层、上采样层和普通卷积层；所述初始图像对抗模型的执行过程，包括：对输入所述初始图像对抗模型的对抗输入特征图像通过带有LeakyReLU激活函数的卷积层进行局部特征提取，生成第一对抗图；采用级联的下采样层和带有LeakyReLU激活函数的卷积层对所述第一对抗图进行最大池化下采样和卷积运算，构建第二对抗图；通过下采样层对所述第二对抗图进行最大池化下采样后，采用多层带有LeakyReLU激活函数的卷积层进行连续特征提取，输出第三对抗图；将所述第三对抗图输入上采样层进行双线性插值上采样后，与所述第二对抗图进行逐元素相加，确定第四对抗图；基于级联的带有LeakyReLU激活函数的卷积层和上采样层对所述第四对抗图进行卷积滤波和双线性插值上采样后，与所述第一对抗图进行逐元素相加，生成第五对抗图；通过多层带有LeakyReLU激活函数的卷积层对所述第五对抗图进行连续特征提取后，并采用普通卷积层进行图像判别，确定判别结果。5.根据权利要求1所述的输电线路监控图像增强方法，其特征在于，所述编码器包括带有LeakyReLU激活函数的卷积层、上下文特征提取模块和级联模块；所述当接收到目标输电线路监控图像时，采用所述编码器对所述目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图的步骤，包括：当接收到目标输电线路监控图像时，采用带有LeakyReLU激活函数的卷积层对所述目标输电线路监控图像进行初步特征提取，生成初步特征图；通过上下文特征提取模块对所述初步特征图进行上下文信息提取，构建深层特征图；将所述深层特征图输入级联模块进行下采样和细化特征提取，输出级联特征图；采用级联模块对所述级联特征图进行下采样和全局特征提取，生成编码特征图；其中，所述级联模块包括级联的残差D模块和上下文特征提取模块。6.根据权利要求5所述的输电线路监控图像增强方法，其特征在于，所述上下文特征提取模块包括第一卷积层、第二卷积层和第三卷积层...

【专利技术属性】
技术研发人员：崔莹，于文硕，赵立权，
申请(专利权)人：广东电网有限责任公司珠海供电局，
类型：发明
国别省市：