图像去雾方法和使用图像去雾方法的图像去雾设备技术

本发明专利技术涉及一种图像去雾方法和使用图像去雾方法的图像去雾设备。在一方面中，本发明专利技术涉及一种图像去雾方法，所述方法包含但不限于：接收输入图像；通过去雾模块对图像去雾以输出已去雾红绿蓝图像；通过高动态范围(HDR)模块恢复已去雾红绿蓝图像的图像亮度以输出高动态范围图像；以及通过ReflectNet推断模型去除高动态范围图像的反射，其中ReflectNet推断模型使用深度学习架构。断模型使用深度学习架构。断模型使用深度学习架构。

【技术实现步骤摘要】
图像去雾方法和使用图像去雾方法的图像去雾设备


[0001]本专利技术涉及一种图像去雾方法和使用图像去雾方法的图像去雾设备。

技术介绍

[0002]由于氯化银涂布纸(silver chloride
‑
coated paper)技术出现，成像装置可以使光通过狭缝以曝光氯化银涂布纸，氯化银涂布纸可以根据行进光强度在空间上暗化成像，以及随着越来越多的终端使用者成为可能间接支持从静态动态图像捕捉到动态图像捕捉(即，摄像机)的推进，成像装置的利用率已逐年增加。从专业、科学到消费电子产品来看，成像装置的适用性前所未有地广泛。在大批量生产系统的支持下，成像装置每像素密度的成本相应地降低。这些条件造成了成像装置(即，相机)的相关工程领域中的广泛应用。
[0003]消费电子产品中的物联网(Internet
‑
of
‑
Thing；IoT)能力的提高使得自动驾驶车辆(autonomous driving vehicle；ADV)的发展已变得更加重要。图1绘示利用不同成像传感器以感测障碍物的周围环境的ADV。在ADV的应用场景中，红绿蓝色(RGB)相机是一种最显要的成像装置，RGB相机能够在对应相机的有限视场(field o
fview；FOV)内提供周围环境的密集语义或实例信息。这种特定信息将为致动器(actuator)提供必需数据以实现ADV的主要目标，即，从一个位置自主地移动到另一位置，同时避开在周围轨迹的预测范围内的对象或障碍物。图像数据可以经过各种处理，例如对象检测、图像分割、对象跟踪、深度估计以及其它相关应用。
[0004]除后续处理模块的能力以外，来自对应RGB相机的感知质量可以影响所述后续处理模块的性能。表1比较在不同环境限制条件下的RGB相机的属性。根据表1，RGB相机易受到源于光或源于天气条件的干扰。由于RGB相机是无源传感器，所以图像数据高度依赖于传感器数组所感知的行进光信号。任何可能衰减或分散行进光信号的空中微粒或中间物质，均被视为RGB相机的减退因子(decimating factor)。
[0005]限制条件属性限制条件属性传感器类型无源天气影响轻敏感度勒克斯(Lux)干扰高敏感度视场有限曝光效应高敏感度分辨率密集
[0006]表1
[0007]在ADV的发展中，不同的天气条件是不可控制变量，将在一定程度上影响RGB相机的图像质量。在ADV发展的常见情境下的不利天气可分类成：(a)日眩光/直射光曝光；(b)雨/雪条件以及(c)有雾(foggy/hazy)条件。对于涉及日眩光/直射光曝光的情境，RGB相机的图像质量将随着直接曝光使光传感器数组削减/饱和而降低，这可能不仅影响曝光的图像区，而且还可能影响其邻近图像区。由于过度曝光的像素和其邻近区域，这种特定情境通过降低图像熵来减少感知的对象性。因此，抑制了显要对象的图像特征，而使得大多数对象检测算法产生适当检测的任务变得更为艰巨。
[0008]对于涉及雨/雪条件的情境，中间物质(例如水滴或雪花)的存在会衰减进入相机
镜头的光总量，衰减程度直接对应于雨/雪条件的强度。这些物质也可能取决于RGB相机安装和/或设计的方式所引起图像失真和/或FOV障碍。类似地，涉及有雾条件的情境也将降低RGB相机的可见度，这是因为，取决于对应的雾度(haze/fog)情况的严重程度，潮湿空气/污染物的存在会吸收一定程度的光强度。因此，与雨/雪条件类似，由于大多数的高频信息被抑制，有雾条件也将使大多数对象检测算法的执行更具挑战性，例如，特征提取的分析。
[0009]作为实际实例，在图2A中绘示的晴朗下午条件下，所感知的对象性是清晰的，具有相当大的对比度和图像可见度。然而，图2B中所绘示的不利条件，例如低光环境中的不平衡强度以及暴雨条件所产生不合期望的情形会对用于自动驾驶车辆上的周围对象感测的RGB相机的可靠性带来问题。在低光环境中的不均衡强度期间，由于在直方图值的较高范围内偏移的其它像素的强度的过度曝光而使得对比率被抑制。在暴雨条件中，由于空中物质的存在而增加会衰减进入传感器数组的行进光的量而造成大气通道增加。这些条件显示RGB相机作为无源感测装置的局限性。
[0010]实际上，作为图像预处理功能以增强RGB图像质量的软件解决方案可变为RGB相机的补丁元素，RGB相机的图像质量通常受到不利天气条件影响。然而，为了显著地解决RGB相机在任何类型的天气条件(不利或正常)期间的可靠性，作为任何软件解决方案的补充补丁，RGB相机的硬件改进是必要的。在图像预处理功能中，对RGB图像进行像素级或区域级处理，共同目的在于增强图像对比度以及通过选择性滤波(即，雾度去除)改进所感知的物件性。
[0011]图2C将相关技术中的对象检测算法的性能(例如由J.雷德蒙(J.Redmon)等人教导的YOLOv3，“YOLOv3：增量改进(YOLOv3：An Incremental Improvement)”，arXiv：1804.02767，2018年4月)与来自原始和已处理RGB版本的输入图像进行比较。原始RGB图像是在不利天气条件下，例如(从左上到右下)曝光过度、曝光不足、下雨条件以及有雾条件，直接从对应的相机获得的。另一方面，已处理的RGB图像是图像预处理功能对于对应原始RGB图像的产物；因此，已处理RGB图像可称为原始RGB图像的增强版本。在本现有技术中，将图像去雾和高动态范围(high dynamic range；HDR)增强用作图像预处理功能。
[0012]参考图2C，在相关技术中，相比于使用已处理RGB图像实施的对象检测算法的检测率，使用原始RGB图像实施的对象检测算法的检测率更低。这表示图像预处理能够增强原始RGB图像的感知对象性；因此，实现算法的分类器可用更高图像可见度检测任何先前考虑的对象。另外，原始的和已处理的RGB图像在假阳性率方面都一样低。尽管这种情况可归因于在相关技术中所实施的对象检测算法的稳定性；但这种情况可以展现图像预处理在避免过度增强方面的能力，过度增强将产生造成假阳性的不期望假像。
[0013]根据前述内容，调节和改进RGB图像的感知质量的图像预处理技术对于后续计算摄影至关重要。已处理RGB图像的应用可以在计算机和机器视觉的范围内扩展。最常见的应用是需要以RGB相机作为感测装置的自动驾驶车辆，包含地面、空中或海上车辆。然而，由于已经证实那些RGB相机在各种不利天气情形下可能具有质量下降的问题，所以需要图像预处理功能作为解决方案补丁，在各种天气条件(不利或正常天气条件)下改进图像对比度和感知对象而不引起任何错误或过度增强效应。

技术实现思路

[0014]有鉴于此，本专利技术的实施例提供一种图像去雾方法和使用图像去雾方法的图像去雾设备。
[0015]在一方面中，本专利技术的实施例提供一种图像去雾方法，且所述方法包含但不限于：接收输入图像；通过去雾模块去雾图像以输出已去雾RGB图像；通过高动态范围(HDR)模块恢复已去雾RGB图像的图像亮度以输出HDR图像；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像去雾方法，其特征在于，包括：接收输入图像；通过去雾模块对所述图像去雾以输出已去雾红绿蓝图像；通过高动态范围模块恢复所述已去雾红绿蓝图像的图像亮度以输出高动态范围图像；以及通过ReflectNet推断模型去除所述高动态范围图像的反射，其中所述ReflectNet推断模型使用深度学习架构。2.根据权利要求1所述的图像去雾方法，其特征在于，其中，通过去雾模块对所述图像去雾以输出已去雾红绿蓝图像的步骤包括：通过最小信道估计算法估计反转最小信道图；通过引导式滤波算法将所述反转最小信道图细化成雾度透射图；通过大气检测算法得到所述雾度透射图的强度值；以及通过线性颜色重构算法恢复已去雾红绿蓝图像。3.根据权利要求2所述的图像去雾方法，其特征在于，其中，通过最小信道估计算法估计反转最小信道图的步骤包括：将所述输入图像分割成多个块片段，其中所述块片段中的每一个包括中心像素；以及针对所有颜色信道得到块片段的具有最低强度值的像素。4.根据权利要求2所述的图像去雾方法，其特征在于，其中，通过引导式滤波算法将所述反转最小信道图细化成雾度透射图的步骤包括：使用软约束参数平滑所述反转最小信道图以控制形状细化；以及使用拉普拉斯矩阵校正所述反转最小信道图。5.根据权利要求2所述的图像去雾方法，其特征在于，其中，通过大气检测算法得到所述雾度透射图的强度值的步骤包括：在所述雾度透射图中得到具有最低强度值的像素。6.根据权利要求2所述的图像去雾方法，其特征在于，其中，通过线性颜色重构算法恢复已去雾红绿蓝图像的步骤包括：使用所述雾度透射图和大气系数进行逐像素操作以计算所述已去雾红绿蓝图像的强度值，其中所述大气系数由所述大气检测算法得到。7.根据权利要求1所述的图像去雾方法，其特征在于，其中，通过高动态范围模块恢复所述已去雾红绿蓝图像的图像亮度以输出高动态范围图像的步骤包括：通过那卡
‑
拉什顿补偿器增强所述已去雾红绿蓝图像的图像亮度；以及通过局部直方图操作增强所述已去雾红绿蓝图像的图像对比度。8.根据权利要求7所述的图像去雾方法，其特征在于，其中，通过那卡
‑
拉什顿补偿器增强所述已去雾红绿蓝图像的图像亮度的步骤包括：执行颜色校正，所述颜色校正将所述已去雾红绿蓝图像的颜色信道转化成亮度图；使用所述亮度图计算用于分割所述已去雾红绿蓝图像中的亮像素和暗像素的阈值；以及使用从所述亮度图计算的补偿系数变换所述已去雾红绿蓝图像的像素。9.根据权利要求7所述的图像去雾方法，其特征在于，其中，通过局部直方图操作增强
所述已去雾红绿蓝图像的图像对比度的步骤包括：针对所述已去雾红绿蓝图像执行强度的直方图均衡。10.根据权利要求1所述的图像去雾方法，其特征在于，其中，所述ReflectNet推断模型包括具有预训练图像分割模型的特征的编码器
‑
解码器网络，以使反射图与所述图像分离。11.根据权利要求1所述的图像去雾方法，其特征在于，其中，通过ReflectNet推断模型去除所述高动态范围图像的反射的步骤包括：编码来自所述高动态范围图像的特征；以及解码所述特征以输出红绿蓝图像。12.根据权利要求1所述的图像去雾方法，其特征在于，其中，所述ReflectNet推断模型使用损失函数进行训练，所述损失函数包括：特征损失；对抗损失；以及梯度损失。13.一种图像去雾设备，其特征在于，包括：传感器；以及处理器，耦合到所述传感器，且所述处理器配置成至少用于进行以下操作：接收输入图像；通过去雾模块对所述图像去雾以输出已去雾红绿蓝图像；通过高动态范围模块恢复所述已去雾红绿蓝图像的图像亮度以输出高动态范围图像；以及通过ReflectNet推断模型去...

【专利技术属性】
技术研发人员：蒋泗得，高得钦，
申请(专利权)人：财团法人工业技术研究院，
类型：发明
国别省市：