【技术实现步骤摘要】
本专利技术涉及图像去雾领域，尤其涉及一种基于细节增强卷积和内容引导注意力机制的轻量图像去雾的方法及装置。
技术介绍
1、雾霾是一种传统的大气现象，在雾霾天气中，自然场景的视觉可见性会受到较为严重的影响。这是由于当雾霾天气发生时，大气中存在着大量的灰尘、烟雾或其他的干燥粒子，这些粒子在不断地吸收和反射光照，从而导致了视觉可见性的退化。雾霾对图像质量的影响会带来一系列的问题。在地面摄影领域，因为光线穿透浓密大气是拍摄远距离物体所必需的，所以雾霾会造成估计的不准确。同样的，雾霾也给一些高级计算机视觉任务带来了不小的影响。许多高级计算机视觉任务需要具有清晰可见性的图像作为输入，然而在雾霾天气下所拍摄的品质退化的图像往往不能满足要求。这对一些户外目标识别系统、户外自动监控系统、智能驾驶车辆来说影响最为严重。因此，为了能满足高级计算机视觉任务对于具有清晰可见性图像的需求，需要设计一种有效的去雾算法，从受到雾霾影响后可见性退化的图像中恢复原有的颜色和细节。
2、早期的去雾方法主要通过利用有雾图像的某些统计量来估计用于描述雾霾形成的媒介透射率和大气光强度。通过大气散射模型求解得到最终的清晰图像。但是这些方法泛化性较差，往往会由于先验信息选择的不同而出现去雾不完全或者颜色失真等情况，同时这些方法难以实现并行加速，导致对单张图像的增强时间长。随着深度学习在一些高级计算机视觉任务(图像分类、图像识别等)上的成功，越来越多的研究者开始将其应用在图像去雾中，并相比于基于先验的传统去雾方法取得了较大的提升。然而，最近的一些研究方法往往通过增加神
技术实现思路
1、为了解决上述现有技术问题，本专利技术提供具有能够在嵌入式边缘设备中对有雾场景进行实时、有效的去雾，能够应用自动驾驶、户外监控等真实场景中等技术特点的一种轻量图像去雾的方法及装置。
2、为了实现上述目的，本专利技术是通过以下技术方案实现的：
3、本专利技术一种轻量图像去雾的方法，该轻量图像去雾方法包括如下步骤：包括细节增强卷积以及内容引导注意力机制；
4、所述细节增强卷积包括：
5、步骤1)高频信息提取分支：采用差分卷积提取高频信息，差分卷积通过精心设计像素梯度计算策略，将传统边缘检测算子中包含的先验信息显示地编码到卷积层中以实现灵活地提取复杂的图像梯度信息；差分卷积首先根据手工设计好的梯度计算策略，计算每个像素所对应的梯度，再利用一个能够学习的卷积核来卷积该计算好的梯度，根据不同边缘检测算子所对应的像素梯度计算策略，设计不同的差分卷积来提取多种梯度信息；(单一的差分卷积根据其对应的像素梯度计算策略，所提取到的梯度信息有限)；
6、步骤2)低频信息提取分支：在低频信息提取分支中，采用常规卷积层来进行低频信息的提取；(在图像去雾中，雾霾的出现对低频信息的影响远大于其对高频信息的影响，在神经网络学习有雾图像到无雾图像的映射时，更倾向于对图像的低频分量进行变化)；
7、常规卷积对应的计算公式如下：
8、y＝w11·x11+w12·x12+w13·x13+w21·x21+w22·x22+w23·x23+w31·x31+w32·x32+w33·x33#(2)；
9、步骤3)高低频信息融合：将高频信息提取分支所提取到的高频特征与低频信息提取分支所提取到的低频特征相加，来进行高低频信息的融合；(该操作相当于在低频特征中加入了更多高频细节信息，因此本专利技术所提出的新型卷积称为细节增强卷积)
10、步骤4)重参数化：引入多个差分卷积和常规卷积，最后将特征融合；(虽然更丰富的特征可以提升神经网络模型的去雾性能，但也会不可避免地带来大量额外的模型参数量与计算复杂度。导致模型运行速度过慢并且难以部署于边缘计算设备上。使用了重参数化来解决这一问题)
11、所述内容引导注意力机制包括：
12、步骤s1)粗尺度注意力计算：通过常规的注意力机制(空间注意力机制与通道注意力机制)，并行地分别计算得到空间注意力权重与通道注意力权重，将两者相加，得到粗尺度的特征注意力权重；
13、步骤s2)特征注意力权重细化：将计算得到的粗尺度注意力权重与输入拼接起来，通过channel shuffle的操作使每个粗略的特征级注意力与特征一一对应，再利用一个分组卷积得到细化的特征级注意力，最终获得精细化的特征级的注意力机制。
14、优选的，步骤1)中为3×3的环形差分卷积，其首先以顺时针方向计算相邻像素之间的梯度，再通过可学习的卷积核卷积该计算后的梯度信息，对应的计算公式如下：
15、y＝w11·(x11-x12)+w12·(x12-x13)+w13·(x13-x23)+w21·(x21-x11)+w22·(x22-x22)+w23·(x23-x33)+w31·(x31-x21)+w32·(x32-x31)+w33·(x33-x32)#(1)
16、上式中，w和x分别表示卷积核的可学习参数以及被卷积的特征图，y表示差分卷积的输出，下标表示在3×3区域中的行与列，x11表示3×3区域中的第一行第一列。
17、优选的，步骤4)先对差分卷积进行重参数化，以环形差分卷积，先以顺时针方向计算相邻像素之间的差值，并通过可学习的卷积核卷积该计算后的梯度信息，将其计算化简为：
18、
19、上式中，w和x分别表示卷积核的可学习参数以及被卷积的特征图，y表示差分卷积的输出，下标表示在3×3区域中的行与列，x11表示3×3区域中的第一行第一列，表示化简后的参数。(上式说明，通过化简，差分卷积的计算可以等价为一个常规卷积的计算公式2)
20、利用公式(3)，将多个差分卷积转换成常规卷积，细节增强卷积中的高低频信息融合则转换成了多个常规卷积相加，利用卷积的可加性将多个常规卷积重参数化为一个常规卷积，重参数化公式如下：
21、
22、上式中，fin表示输入的特征，fout表示细节增强卷积输出的特征，ki表示不同的卷积核，kcvt表示重参数化后的等效常规卷积核，n表示卷积核的个数；
23、并通过公式(3)和公式(4)，在训练过程结束后，将细节增强卷积重参数化为一个常规卷积，在不引入额外参数量与计算复杂度的同时，提升神经网络的去雾性能。
24、优选的，步骤s1)空间注意力权重和通道注意力权重计算公式如下：
25、
26、
27、wcoa＝wc+ws#(7)
28、上式中，ws和wc分别表示空间注意力权重和通道注意力权重，wcoa表示粗尺度特征注意力权重，和分别表示1×1和7×7卷积，x表示输入的特征，下标gap和gmp分别表示全局平均池化和全局最大值池化，上标s和c分别表示空间维度和通道维度。
29、优选的一种实施例方式，步骤s1本文档来自技高网...
【技术保护点】
1.一种轻量图像去雾的方法，其特征在于该轻量图像去雾方法包括如下步骤：包括细节增强卷积以及内容引导注意力机制；
2.根据权利要求1所述的一种轻量图像去雾的方法，其特征在于：步骤1)中为3×3的环形差分卷积，其首先以顺时针方向计算相邻像素之间的梯度，再通过可学习的卷积核卷积该计算后的梯度信息，对应的计算公式如下：
3.根据权利要求2所述的一种轻量图像去雾的方法，其特征在于：步骤4)先对差分卷积进行重参数化，以环形差分卷积，先以顺时针方向计算相邻像素之间的差值，并通过可学习的卷积核卷积该计算后的梯度信息，将其计算化简为：
4.根据权利要求1-3任一项所述的一种轻量图像去雾的方法，其特征在于：步骤S1)空间注意力权重和通道注意力权重计算公式如下：
5.根据权利要求4所述的一种轻量图像去雾的方法，其特征在于：步骤S1)中注意力机制计算公式如下：
6.根据权利要求1所述的一种轻量图像去雾的方法，其特征在于：还包括轻量化的图像去雾网络，所述轻量化的图像去雾网络包括网络结构、基本模块，所述基本模块是基于神经网络中常用的残差块ResBl
7.一种如权利要求1-6任一项所述的轻量图像去雾的装置，其特征在于，该装置包括边缘计算模块、视频输入模块、结果输出模块：
...【技术特征摘要】
1.一种轻量图像去雾的方法，其特征在于该轻量图像去雾方法包括如下步骤：包括细节增强卷积以及内容引导注意力机制；
2.根据权利要求1所述的一种轻量图像去雾的方法，其特征在于：步骤1)中为3×3的环形差分卷积，其首先以顺时针方向计算相邻像素之间的梯度，再通过可学习的卷积核卷积该计算后的梯度信息，对应的计算公式如下：
3.根据权利要求2所述的一种轻量图像去雾的方法，其特征在于：步骤4)先对差分卷积进行重参数化，以环形差分卷积，先以顺时针方向计算相邻像素之间的差值，并通过可学习的卷积核卷积该计算后的梯度信息，将其计算化简为：
4.根据权...
【专利技术属性】
技术研发人员：陆哲明，陈子轩，何泽威，郑阳明，罗浩，崔家林，
申请(专利权)人：浙江航视智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。