使用视觉伪影抑制对照片和视频去雾制造技术

本发明专利技术的各实施例总体上涉及使用视觉伪影抑制对照片和视频去雾。具体地，涉及用于利用增加的准确度和减少的错误增强对图像去雾的方法和系统。具体地，一个或多个实施例评估表示从输入图像中对象反射的未散射光的量的透射图。一个或多个实施例细化透射图以获得与输入图像中对象的深度一致的透射信息。一个或多个实施例还确定针对输入图像的辐射梯度。一个或多个实施例通过基于细化透射图移除雾霾并且基于所确定的辐射梯度防止错误增强来从输入图像生成输出图像。

Use visual artifact suppression to remove fog from photos and videos

The embodiments of the present invention generally involve the use of visual artifact suppression for photo and video de fogging. In particular, methods and systems are disclosed for image fogging using improved accuracy and reduced error enhancement. In particular, one or more embodiments evaluate a transmission graph representing the amount of scattered light reflected from an object in an input image. One or more embodiments refine the transmission map to obtain transmission information consistent with the depth of the object in the input image. One or more embodiments also determine a radiation gradient for the input image. One or more embodiments generate an output image from an input image by removing haze based on a refined transmission chart and preventing error enhancement based on the determined radiation gradient.

【技术实现步骤摘要】
使用视觉伪影抑制对照片和视频去雾
一个或多个实施例总体上涉及用于图像增强的系统和方法。更具体地，本专利技术的一个或多个实施例涉及利用视觉伪影抑制修改图像中对比度的系统和方法。
技术介绍
户外图像和视频经常被大气中的雾霾退化。由于大气吸收和散射，这种图像具有较低的对比度和可见度。除了对视觉质量的影响，严重的雾霾可以造成图像的后处理期间的某些图像处理任务(例如，立体跟踪和检测)比没有雾霾时更难。图像处理通常涉及修改图像的对比度以在执行附加图像处理任务之前移除图像中的雾霾。因此，移除雾霾(或对图像的对比度进行任意大范围的调整)经常是改进图像后处理操作的效率和效果的重要方面，但同样是挑战和不适定问题。传统对比度增强技术通常在对图像去雾执行较差。特定于对图像去雾的早期技术关注于使用多个图像进行去雾。这种早期技术使用相同场景的不止一个图像(例如，具有不同偏振度的图像)来移除雾霾。虽然使用多个图像的去雾技术可以在相同场景的多个图像在后处理中可用时有用，但是这些技术在相同场景的多个图像不可用时是不可应用的。其他传统对比度增强技术依赖于假设输入图像具有非常高的质量，就如许多自然雾霾图像的情况。然而，针对包含噪声和伪影的低质量输入，大部分现有方法将放大噪声和伪影(例如，振铃、混叠和块状伪影)。例如，传统单图像去雾技术通常无法从低分辨率或压缩图像(诸如由移动设备捕获并处理的图像或者高压缩视频的帧)中产生准确结果。具体地，虽然传统去雾技术可以针对高质量图像产生好的结果，但是相同技术经常经受视觉伪影，包括针对低质量输入图像的现有伪影的放大或者强颜色偏移。为了克服传统去雾技术相对于低质量图像的不准确性，某些传统图像处理技术执行预处理步骤来移除伪影。然而，这种伪影不容易从输入图像中移除，并且可能移除影响去雾过程的图像细节。另一方面，尝试移除由去雾过程产生的增强或提升的伪影经常没有效果，除非牺牲输出图像的质量。针对传统图像去雾技术可能存在这些和其他劣势。
技术实现思路
本文引入了用于利用增加的准确度增强低质量图像中的对比度的技术/工艺。例如，一个或多个实施例评估针对输入图像的透射图(transmissionmap)以表示从输入图像中对象反射的未散射光的量。另外，一个或多个实施例细化透射图使得透射图中的透射信息与最初图像中对象的深度一致。此外，一个或多个实施例基于细化透射图增强输入图像的对比度以生成输出图像。通过产生在给定深度一致或统一的透射图，一个或多个方法改进了输入图像中对比度增强的效果。一个或多个实施例还确定输入图像的辐射梯度。一个或多个实施例使用所确定的输入图像的辐射梯度来生成具有与输入图像一致的辐射梯度的输出图像。具体地，一个或多个实施例基于透射图改变输入图像中的对比度水平，并且还使用输入图像的辐射梯度防止输出图像中的错误增强。通过使用最初图像的辐射梯度以生成输出图像，系统和方法可以准确地改变图像中对比度水平而不强调最初图像的错误或伪影。本公开内容的示例性实施例的附加特征和优点将会在随后的说明书中被阐述，并且部分将会从说明书变得明显，或可以通过这样的示例性实施例的实践而被获悉。附图说明具体实施方式参考附图进行描述：图1A至图1D图示了根据一个或多个实施例的雾霾移除过程中的一系列图像；图2A至图2D图示了根据一个或多个实施例的雾霾移除过程中的一系列图像；图3A至图3E图示了根据一个或多个实施例的雾霾移除过程中的一系列图像；图4A至图4E图示了根据一个或多个实施例的多个雾霾移除方法中的一系列测试图像；图5A至图5F图示了根据一个或多个实施例的多个雾霾移除方法中的一系列测试图像；图6图示了根据一个或多个实施例包括图像处理系统的客户端设备的实施例的示意图；图7图示了根据一个或多个实施例用于在图像对比度修改期间减少错误增强的方法中的一系列动作的流程图；图8图示了根据一个或多个实施例用于在图像对比度修改期间减少错误增强的另一方法中的一系列动作的流程图；图9图示了根据一个或多个实施例示例性计算设备的框图。具体实施方式本公开的一个或多个实施例包括利用增加的准确度增强图像的图像处理系统。在一个或多个实施例中，图像处理系统修改输入图像的对比度同时防止输出图像中的错误增强。具体地，图像处理系统通过增强输入图像中的对比度而不同时放大来自输入图像的错误来对雾霾输入图像去雾。例如，图像处理系统的一个或多个实施例修改低质量图像(例如，有损压缩图像或视频帧)的对比度以从图像移除雾霾而不增强错误，这是由于图像的压缩或低质量。在一个或多个实施例中，图像处理系统通过首先生成输入图像的细化透射图来减少输出图像中的错误。另外，图像处理系统通过抑制边缘来减少来自去雾过程的错误增强，这是由于在生成输出图像时的伪影。通过基于细化透射图和边缘抑制算法生成输出图像，图像处理系统对输入图像去雾并且在去雾过程期间减少或消除错误。具体地，图像处理系统使用细化透射图连同边缘抑制算法来通过产生具有与输入图像一致的视觉边缘的无雾霾输出图像的方式移除雾霾。在一个或多个实施例中，图像处理系统生成与输入图像中表面和对象的深度一致的透射图。具体地，图像中对象表面上的纹理和不规则可以在图像的透射图中出现，其可能在修改表面或对象的对比度时将错误引入输出图像。图像处理系统抑制由于通过产生在给定深度具有平滑透射的细化透射图来去雾产生的视觉伪影。换言之，细化透射图确保对象、对象的各部分或表面在给定深度具有统一透射而不考虑纹理、表面不规则或其他深度不连续。根据一个或多个实施例，图像处理系统通过首先获得最初透射图并继而对该最初透射图细化来生成细化透射图。图像处理系统可以通过假设透射在多个图像分块的每个图像分块内恒定来获得最初透射图。图像处理系统继而使用意识到深度边缘的算法来细化最初透射图，该意识到深度边缘的算法考虑对象/表面边界而忽视由于纹理和颜色差异产生的对象/表面内的边缘。图像处理系统生成不具有输入图像中表面和对象边界内纹理信息(或具有平滑纹理信息)的透射图。细化透射图因此利用表面和对象的边界内的平滑区域提供输入图像场景中表面和对象的深度的评估。在评估透射图之后，图像处理系统的一个或多个实施例从输入图像中恢复潜在图像。具体地，图像处理系统减少输入图像中的雾霾和/或修改图像的对比度。另外，图像处理系统抑制来自原始输入图像和去雾过程的伪影以防止伪影在输出图像中变得更可视。例如，图像处理系统将输出图像中的边缘约束为与输入图像中的边缘一致。在一个或多个实施例中，图像处理系统确定输入图像的辐射梯度以用于生成输出图像。图像处理系统使用来自输入图像的辐射梯度以维持输入图像与输出图像之间实质上一致的边缘信息。具体地，图像处理系统使用来自输入图像的辐射梯度来抑制输入图像中可能不容易见到的边缘和伪影。通过在生成输出图像时应用输入图像的辐射梯度，图像处理系统处罚并平滑伪影甚至在对象边界增强边缘。如本文所使用的，术语“透射图”指的是表示从图像中的对象反射的无散射光的量的图像或层。例如，到达捕获场景图像的相机设备而没有被雾霾或其他大气粒子散射或吸收的光形成透射图。图像处理系统可以使用透射图执行后处理操作以移除或减少由图像中的雾霾或其他大气粒子散射的光。如本文所使用的，术语“细化透射图”指的是表示原始(或粗略)透射图的修改版本本文档来自技高网...

【技术保护点】
在用于增强或以其他方式编辑数字图像的数字媒体环境中，一种用于减少错误增强同时对图像去雾的方法，包括：由至少一个处理器标识输入图像；由所述至少一个处理器评估从所述输入图像中的对象反射的未散射光的量；由所述至少一个处理器确定针对所述输入图像的辐射梯度；以及由所述至少一个处理器生成输出图像，其中生成包括：基于所评估的未散射光的量从所述输入图像移除雾霾；以及基于所确定的辐射梯度防止所述输出图像中的错误增强。

【技术特征摘要】
2015.11.06 US 14/935,2991.在用于增强或以其他方式编辑数字图像的数字媒体环境中，一种用于减少错误增强同时对图像去雾的方法，包括：由至少一个处理器标识输入图像；由所述至少一个处理器评估从所述输入图像中的对象反射的未散射光的量；由所述至少一个处理器确定针对所述输入图像的辐射梯度；以及由所述至少一个处理器生成输出图像，其中生成包括：基于所评估的未散射光的量从所述输入图像移除雾霾；以及基于所确定的辐射梯度防止所述输出图像中的错误增强。2.根据权利要求1所述的方法，其中基于所确定的辐射梯度防止所述输出图像中的错误增强包括将所述输出图像中的边缘约束为与所述输入图像中的边缘一致。3.根据权利要求2所述的方法，其中将所述输入图像中的边缘约束为与所述输出图像中的边缘一致包括：标识包括所述输入图像的伪影的伪影层；以及抑制所述输出图像中的所述伪影层。4.根据权利要求3所述的方法，其中标识包括所述输入图像的伪影的伪影层包括标识由于所述输入图像的压缩产生的伪影边缘。5.根据权利要求2所述的方法，进一步包括基于所述输入图像中邻接区域的辐射值来标识所述输入图像中的边缘。6.根据权利要求2所述的方法，其中将所述输入图像中的边缘约束为与所述输出图像中的边缘一致包括：标识所述输入图像中不满足梯度阈值的边缘；以及处罚所述输出图像中所标识的边缘。7.根据权利要求2所述的方法，其中将所述输入图像中的边缘约束为与所述输出图像中的边缘一致包括：标识所述输入图像中满足梯度阈值的边缘；以及增强所述输出图像中所标识的边缘。8.根据权利要求1所述的方法，其中确定针对所述输入图像的辐射梯度包括确定所述输入图像中多个图像分块之间的辐射差值。9.根据权利要求8所述的方法，进一步包括基于所述输入图像的分辨率从所述多个图像分块自适应地选择每个图像分块的大小。10.在用于增强或以其他方式编辑数字图像的数字媒体环境中，一种用于减少错误增强同时增强图像对比度的方法，包括：由至少一个处理器标识输入图像；由所述至少一个处理器评估所述输入图像的透射图，所述透射图表示从所述输入图像的场景的反射的、未散射光的量；由所述至少一个处理器从所评估的透射图生成细化透射图，所述细化透射图包括与所述输入图像的所述场景中的对象深度一致的透射信息；以及由所述至少一个处理器通过基于所述细化透射图增强所述输入图像的对比度并且防止所述输出图像中的错误增强来生成...

【专利技术属性】
技术研发人员：王珏，陈辰，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国,US