一种基于无人机低空视角下的图像色调修复型去雾增强方法技术

本发明专利技术涉及一种基于无人机低空视角下的图像色调修复型去雾增强方法，属于图像处理技术领域。该方法中的去雾算法采用了简化的大气散射物理模型，设计多尺度特征提取网络结构，采用复合损失函数提升了网络生成图的质量；然后通过训练网络得到合适的模型权重，使用该权重下的网络模型和简化的大气散射物理模型恢复出无雾图像；接下来针对自然雾图去雾后图像色调偏低的问题，本发明专利技术采用使用相机响应模型和自适应直方图均衡化来分别对去雾后图像的全局与局部对比度进行增强；再根据增强图的特征设计增强图融合算法得到融合图像；最后引入线性拉伸得到色调修复的去雾图像。

【技术实现步骤摘要】
一种基于无人机低空视角下的图像色调修复型去雾增强方法
本专利技术属于图像处理
，涉及一种基于无人机低空视角下的图像色调修复型去雾增强方法。
技术介绍
无人车控制策略可分为基于雷达的控制与基于视频图像的控制。其中视频图像提供的信息更为直观且更易于进行二次处理，但图像受环境因素影响较大，因此为了进一步提升协同控制的质量，需要对无人机与无人车的视频图像质量进行改善。作为无人车协同控制项目的辅助无人设备，无人机采集的视频图像包含更多环境信息，因此可以通过处理无人机采集的视频图像为无人车提供丰富优质的道路信息。在航拍图像采集任务中，景深雾与自然雾霾会大幅降低图像的成像质量，而低质量的图像无法进一步提取足够的路面环境信息。为了解决这一问题，需要对该环境下无人机采集的图像进行去雾处理，增强图像的视觉效果并强化图像中的特征信息以便于后续高级计算机视觉系统进行二次处理。目前的图像去雾清晰化算法有很多，主要可以分为两种：一种是利用大气散射物理模型了解雾霾使图像降质的机制，通过设计不同的复原算法计算出正确的大气光值以及透射率，将其数值带入大气散射模型复原出无雾图像，由于参数值固定，因此该方法通常只适用于雾霾浓度固定的图像，在雾霾浓度不均或者白色区域过多的图像上表现并不是特别理想。第二种是结合大气散射物理模型，针对未知的大气光值和透射率两个参数设计神经网络模型，通过雾霾图像数据集对神经网络进行训练，得到雾图与无雾图像之间的映射关系，这种方法去雾速度快而且鲁棒性比前者更好。无论是基于传统算法还是基于深度学习方式设计的去雾模型，去雾后的图像一般会出现图像亮度损失的问题，因此需要设计合适的低色值增强模型来提升去雾后图片的色值以达到令人舒适的视觉体验。图像增强技术可以有效地修复图像的光照强度，反映出图像内更多的信息。目前主流的图像增强方法大致可分为以下几种：一是基于直方图的增强方法，通过对直方图进行加工来提高图像亮度，但这种方法无法考虑像素的空间分布，很容易导致去雾图像部分区域被过度增强。二是基于Retinex理论的增强方法，该方法通过从原图中提取亮度图并对亮度图独立进行处理，这种方法更适用于不同特点的图像，但是难以顾及多个方面。三是基于融合的增强方法，将通过不同方式增强的图像进行融合，保留各自的优点，从而能够有效修复去雾图像的亮度值以及对比度。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于无人机低空视角下的图像色调修复型去雾增强方法。为达到上述目的，本专利技术提供如下技术方案：一种基于无人机低空视角下的图像色调修复型去雾增强方法，该方法包括以下步骤：S1，去雾模块的设计；S11，为了减少大气散射模型的运算量，选择简化的大气散射模型作为待训练模型，经过变形，原本需要分别计算的大气光值与透射率被完美整合在一个未知参数K(x)中，公式的变形过程如下：I(x)＝J(x)t(x)+A(1-t(x))(1)J(x)-d＝K(x)I(x)-K(x)(2)其中：其中式中I(x)为雾气图像，J(x)为清晰无雾图像，d为修正的恒定偏差，值为1，K(x)为大气光值A(x)和透射率t(x)的整合；S12，搭建多尺度神经网络模型，模型采用的标准4层多尺度卷积神经网络模型；每一层网络层均采用的逐点卷积与不同大小的池化层的组合进行特征提取；在该神经网络模型的训练中，输入图像均选用的128×128的正方形雾图；每一层的特征图的大小均为128×128，整个网络的结构中每一层的特征图的大小均不会改变，最终得到的输出图为K(x)；S13，训练图像的选择均选用合成雾图，合成雾图的生成参考逆向大气散射物理模型，公式如下：I(x)＝(J(x)-A)t(x)+A(4)其中I(x)为合成雾气图像，J(x)为清晰图像，A(x)为大气光值，t(x)为透射率；合成雾图的大小为128×128，训练数据集中的图片至少为4000张不同雾气浓度的合成图；S14，训练模型设计的损失函数为复合损失函数，采用的是均方误差损失函数与L1范数构建复合损失函数L(x)，如下式所示：用该损失函数计算训练生成图与标注图的误差，缩小生成图与标注图之间的差距，式中N表示无雾-有雾训练样本个数，Ii表示训练样本中第i个雾霾图像，Ji表示与Ii对应的标注清晰图，x代表K(x)模块参数，Jk(Ii,x)代表在该参数下的去雾生成图；训练时选择的损失函数权重设置为α＝0.7，β＝0.3；该损失函数训练的神经网络模型相较于传统单一的均方差损失函数训练的模型能生成更贴近于原图的去雾图像；S2，模型的训练需要至少4000张合成雾图，将图像数据集的图片数量按1：1：8的比例分别生成测试集、验证集和训练集；训练后的模型可以学到有雾图和K(x)的映射规律；S3，所获得的无雾图像需要色调修正补足，为保证恢复图的亮度与对比度，设计增强修复模块；S4，无人机视频与本地主机图像处理模型的通信链接采用socket进行图像与信息的传输，图像的socket传输协议为TCP，数值回传时采用TCP协议进行精确传输；采用C#搭建简易的GUI展示界面。可选的，所述清晰无雾图像的获取步骤为：通过摄像头获取原始雾图；将原始雾图输入给训练好的多尺度去雾神经网络，得到雾图对应的K(x)；采用简化后的大气散射模型重塑出清晰无雾图像。可选的，所述S3包括以下步骤：S31，借助HSV色彩空间模型提取出图像的初始照度图：其中，I为图像照度，S为原图，c为图像色彩通道；采用HSV色彩空间中求取V分量即“Value”分量的方式来计算照度图，将图像三个色彩通道中的最大值设定为图像的照度；所有图像像素值均经过归一化处理；在得到图像的初始照度图后，通过Retinex模型得到图像的反射图：Rc(x,y)＝Sc(x,y)/I(x,y)(7)其中R为图像的反射图分量；采用将原图像拆分成三个色彩通道，再分别与初始的照度图进行计算的方法来获取三个不同色彩通道的去除光照影响的图像即反射图；S32，对照度图进行两种不同的增强操作；首先，使用相机响应模型来增强图像的全局亮度：式中L为上述的图像照度，g()表示相机响应函数，k为曝光比，a与b表示相机内置参数，L1为使用相机响应模型得到的全局对比度增强照度图；采用设定k为一个定值得方式来减少算法的运行时间，经过多次对比实验，在本方法中将曝光比k设定为5，a设置为-0.3293，b设置为1.1258；其次，使用限制对比度自适应直方图均衡化对原始照度图进行增强，得到局部对比度显著提高的第二幅增强照度图；L2＝CLAHE(L)(9)式中CLAHE()表示限制对比度自适应直方图均衡化操作，L2为使用限制对比度自适应直方图均衡化得到的局部对比度增强照度图；S33，在得到两幅不同的增强照度图后，根据增强照度图的特征，设计出像素级本文档来自技高网...

【技术保护点】
1.一种基于无人机低空视角下的图像色调修复型去雾增强方法，其特征在于：该方法包括以下步骤：/nS1，去雾模块的设计；/nS11，为了减少大气散射模型的运算量，选择简化的大气散射模型作为待训练模型，经过变形，原本需要分别计算的大气光值与透射率被完美整合在一个未知参数K(x)中，公式的变形过程如下：/nI(x)＝J(x)t(x)+A(1-t(x)) (1)/nJ(x)-d＝K(x)I(x)-K(x) (2)/n其中：/n

【技术特征摘要】
1.一种基于无人机低空视角下的图像色调修复型去雾增强方法，其特征在于：该方法包括以下步骤：
S1，去雾模块的设计；
S11，为了减少大气散射模型的运算量，选择简化的大气散射模型作为待训练模型，经过变形，原本需要分别计算的大气光值与透射率被完美整合在一个未知参数K(x)中，公式的变形过程如下：
I(x)＝J(x)t(x)+A(1-t(x))(1)
J(x)-d＝K(x)I(x)-K(x)(2)
其中：



其中式中I(x)为雾气图像，J(x)为清晰无雾图像，d为修正的恒定偏差，值为1，K(x)为大气光值A(x)和透射率t(x)的整合；
S12，搭建多尺度神经网络模型，模型采用的标准4层多尺度卷积神经网络模型；每一层网络层均采用的逐点卷积与不同大小的池化层的组合进行特征提取；
在该神经网络模型的训练中，输入图像均选用的128×128的正方形雾图；每一层的特征图的大小均为128×128，整个网络的结构中每一层的特征图的大小均不会改变，最终得到的输出图为K(x)；
S13，训练图像的选择均选用合成雾图，合成雾图的生成参考逆向大气散射物理模型，公式如下：
I(x)＝(J(x)-A)t(x)+A(4)
其中I(x)为合成雾气图像，J(x)为清晰图像，A(x)为大气光值，t(x)为透射率；
合成雾图的大小为128×128，训练数据集中的图片至少为4000张不同雾气浓度的合成图；
S14，训练模型设计的损失函数为复合损失函数，采用的是均方误差损失函数与L1范数构建复合损失函数L(x)，如下式所示：



用该损失函数计算训练生成图与标注图的误差，缩小生成图与标注图之前的差距，式中N表示无雾-有雾训练样本个数，Ii表示训练样本中第i个雾霾图像，Ji表示与Ii对应的标注清晰图，x代表K(x)模块参数，Jk(Ii,x)代表在该参数下的去雾生成图；
训练时选择的损失函数权重设置为α＝0.7，β＝0.3；该损失函数训练的神经网络模型相较于传统单一的均方差损失函数训练的模型能生成更贴近于原图的去雾图像；
S2，模型的训练需要至少4000张合成雾图，将图像数据集的图片数量按1：1：8的比例分别生成测试集、验证集和训练集；训练后的模型可以学到有雾图和K(x)的映射规律；
S3，所获得的无雾图像需要色调修正补足，为保证恢复图的亮度与对比度，设计增强修复模块；
S4，无人机视频与本地主机图像处理模型的通信链接采用socket进行图像与信息的传输，图像的socket传输协议为TCP，数值回传时采用TCP协议进行精确传输；采用C#搭建简易的GUI展示界面。


2.根据权利要求1所述的一种基于无人机低空视角下的图像色调修复型去雾增强方法，其特征在于：所述清晰无雾图像的获取步骤为：
通过摄像头获取原始雾图；
将原始雾图输入给训练好的多尺度去雾神经网络，得到雾图对应的K(x)；

【专利技术属性】
技术研发人员：李永福，崔恒奇，刘昊霖，朱浩，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50