提升低亮度图像的质量的方法、系统和计算机可读介质技术方案

在一个实施例中，提供一种方法，其包括：接收低亮度的数字图像；利用至少一处理器，通过编码器‑解码器神经网络处理低亮度的数字图像，来生成一得出的数字图像，编码器‑解码器神经网络包括多个卷积层，其被分类为下采样阶段和上采样阶段，并包括多尺度上下文聚合块，其被配置用来聚合低亮度的数字图像的多尺度上下文信息，并设置在下采样阶段和上采样阶段之间；以及利用至少一处理器，输出该得出的数字图像到输出装置。在这个网络中，在下采样阶段和上采样阶段的每个卷积层之后执行一个基于通道的的弃置操作，以提高该网络的泛化能力。

【技术实现步骤摘要】
【国外来华专利技术】提升低亮度图像的质量的方法、系统和计算机可读介质相关申请的交叉引用本申请要求于2018年11月26日提交的美国申请第62/771,342号的优先权。本公开内容的背景1.
本文公开的内容涉及图像处理领域，更具体地，涉及提升低亮度图像的质量的方法、系统和计算机可读介质。2.相关技术的描述由于低信噪比(signal-to-noise,SNR)的缘故，在低照明条件下要拍摄在感知上有良好质量的照片极具挑战性。延长曝光时间可以获得视觉上良好的图像；然而，这很容易造成运动模糊，且在现实生活中并不总是可行。为了使曝光时间短的低亮度图像在视觉上清晰可辩，这个领域中已经进行了广泛的研究，这包括去噪(denoising)技术，该技术着重在去除图像中因低亮度环境而产生的噪声，另外还包括增强(enhancement)技术，该技术的发展提升了数字图像在感知上的质量。然而，现行的去噪方法通常通过合成的数据进行评估，这种方式并不能很好地泛用到真实的图像，而且低亮度增强技术没有考虑到噪声的部分。再者，由于训练数据集的数量有限，对这些训练数据，学习网络很容易变得过度拟合(overfitted)。
技术实现思路
本公开内容的一个目的在于提供一种提升低亮度图像的质量的方法、系统和计算机可读介质。在本公开的第一个方面中，一种方法包括：接收数字图像；利用至少一处理器，通过编码器-解码器神经网络处理所述数字图像，来生成一得出的数字图像，所述编码器-解码器神经网络包括多个卷积层，其被分类为下采样阶段和上采样阶段，并包括多尺度上下文聚合块，其被配置用来聚合所述数字图像的多尺度上下文信息，并设置在所述下采样阶段和所述上采样阶段之间；以及利用所述至少一处理器，输出所述得出的数字图像到输出装置，其中所述生成所述得出的数字图像包括：在所述下采样阶段中每隔几个卷积层之后执行一次池化操作，以降低空间分辨率；在所述上采样阶段中每隔几个卷积层之前执行一次升尺度操作，以提高空间分辨率；以及在所述下采样阶段和所述上采样阶段中的每个卷积层之后执行一个基于通道的弃置操作。根据本公开的第一个方面中的一个实施例，在所述执行基于通道的弃置操作中，每个卷积层中的每个通道或特征图被赋予了要被移除的预定义的概率。根据本公开的第一个方面中的一个实施例，在所述执行基于通道的弃置操作中，每个卷积层中单个通道或特征图中的所有像素都被归零。根据本公开的第一个方面中的一个实施例，在所述生成所述得出的数字图像之前，所述方法还包括：判断所述数字图像的对比度值、动态范围和信噪比中的任何一个是否低于阈值；为了回应判断出所述对比度值、所述动态范围和所述信噪比中的任何一个低于所述阈值，执行所述生成所述得出的数字图像。根据本公开的第一个方面中的一个实施例，所述生成所述得出的数字图像还包括：将所述下采样阶段的卷积层以及具有与所述下采样阶段的卷积层相同分辨率的上采样阶段的卷积层联结在一起；通过所述多尺度上下文聚合块的一全域池化层，来提取所述数字图像的全域上下文信息；以及通过所述多尺度上下文聚合块中不同各种扩张速率的多个扩展层，来提取所述数字图像在不同尺度下的上下文信息。根据本公开的第一个方面中的一个实施例，所述全域池化层和所述多个扩展层中的其中一个联结在一起，并且其他的扩展层依据相应的尺度以级联方式联结在一起。根据本公开的第一个方面中的一个实施例，所述生成所述得出的数字图像还包括：对所述全域池化层执行双线性插值操作。根据本公开的第一个方面中的一个实施例，所述多尺度上下文聚合块包括：连接在所述全域池化层和所述多个扩展层之后的1×1卷积层。在本公开的第二方面中，一种系统包括：至少一存储器，被配置用来存储程序指令；至少一处理器，被配置用来执行所述程序指令，其使得所述至少一处理器执行以下步骤：接收数字图像；通过编码器-解码器神经网络处理所述数字图像，来生成一得出的数字图像，所述编码器-解码器神经网络包括多个卷积层，其被分类为下采样阶段和上采样阶段，并包括多尺度上下文聚合块，其被配置用来聚合所述数字图像的多尺度上下文信息，并设置在所述下采样阶段和所述上采样阶段之间；以及输出所述得出的数字图像到输出装置，其中所述生成所述得出的数字图像包括：在所述下采样阶段中每隔几个卷积层之后执行一次池化操作，以降低空间分辨率；在所述上采样阶段中每隔几个卷积层之前执行一次升尺度操作，以提高空间分辨率；以及在所述下采样阶段和所述上采样阶段中的每个卷积层之后执行一个基于通道的弃置操作。根据本公开的第二个方面中的一个实施例，在所述执行基于通道的弃置操作中，每个卷积层中的每个通道或特征图被赋予了要被移除的预定义的概率。根据本公开的第一个方面中的一个实施例，在所述执行基于通道的弃置操作中，每个卷积层中单个通道或特征图中的所有像素都被归零。根据本公开的第二个方面中的一个实施例，所述生成所述得出的数字图像还包括：将所述下采样阶段的卷积层以及具有与所述下采样阶段的卷积层相同分辨率的上采样阶段的卷积层联结在一起；通过所述多尺度上下文聚合块的一全域池化层，来提取所述数字图像的全域上下文信息；以及通过所述多尺度上下文聚合块中具有不同扩张速率的多个扩展层，来提取所述数字图像在不同尺度下的上下文信息。根据本公开的第二个方面中的一个实施例，所述全域池化层和所述多个扩展层中的其中一个联结在一起，并且其他的扩展层依据相应的尺度以级联方式联结在一起，所述多尺度上下文聚合块包括连接在所述全域池化层和所述多个扩展层之后的1×1卷积层。根据本公开的第二个方面中的一个实施例，所述生成所述得出的数字图像还包括：对所述全域池化层执行双线性插值操作。在本公开的第三方面中，一种非暂态计算机可读介质，具有存储于其内的程序指令，但所述程序指令被至少一处理器执行时，使得所述至少一处理器执行以下步骤：接收数字图像；通过编码器-解码器神经网络处理所述数字图像，来生成一得出的数字图像，所述编码器-解码器神经网络包括多个卷积层，其被分类为下采样阶段和上采样阶段，并包括多尺度上下文聚合块，其被配置用来聚合所述数字图像的多尺度上下文信息，并设置在所述下采样阶段和所述上采样阶段之间；以及输出所述得出的数字图像到输出装置，其中所述生成所述得出的数字图像包括：在所述下采样阶段中每隔几个卷积层之后执行一次池化操作，以降低空间分辨率；在所述上采样阶段中每隔几个卷积层之前执行一次升尺度操作，以提高空间分辨率；以及在所述下采样阶段和所述上采样阶段中的每个卷积层之后执行一个基于通道的弃置操作。根据本公开的第一个方面中的一个实施例，在所述执行基于通道的弃置操作中，每个卷积层中的每个通道或特征图被赋予了要被移除的预定义的概率。...

【技术保护点】
1.一种方法，包括：/n接收数字图像；/n利用至少一处理器，通过编码器-解码器神经网络处理所述数字图像，来生成一得出的数字图像，所述编码器-解码器神经网络包括多个卷积层，其被分类为下采样阶段和上采样阶段，并包括多尺度上下文聚合块，其被配置用来聚合所述数字图像的多尺度上下文信息，并设置在所述下采样阶段和所述上采样阶段之间；以及/n利用所述至少一处理器，输出所述得出的数字图像到输出装置，/n其中所述生成所述得出的数字图像包括：/n在所述下采样阶段中每隔几个卷积层之后执行一次池化操作，以降低空间分辨率；/n在所述上采样阶段中每隔几个卷积层之前执行一次升尺度操作，以提高空间分辨率；以及/n在所述下采样阶段和所述上采样阶段中的每个卷积层之后执行一个基于通道的弃置操作。/n

【技术特征摘要】
【国外来华专利技术】20181126 US 62/771,3421.一种方法，包括：
接收数字图像；
利用至少一处理器，通过编码器-解码器神经网络处理所述数字图像，来生成一得出的数字图像，所述编码器-解码器神经网络包括多个卷积层，其被分类为下采样阶段和上采样阶段，并包括多尺度上下文聚合块，其被配置用来聚合所述数字图像的多尺度上下文信息，并设置在所述下采样阶段和所述上采样阶段之间；以及
利用所述至少一处理器，输出所述得出的数字图像到输出装置，
其中所述生成所述得出的数字图像包括：
在所述下采样阶段中每隔几个卷积层之后执行一次池化操作，以降低空间分辨率；
在所述上采样阶段中每隔几个卷积层之前执行一次升尺度操作，以提高空间分辨率；以及
在所述下采样阶段和所述上采样阶段中的每个卷积层之后执行一个基于通道的弃置操作。


2.根据权利要求1所述的方法，其中在所述执行基于通道的弃置操作中，每个卷积层中的每个通道或特征图被赋予了要被移除的预定义的概率。


3.根据权利要求1所述的方法，其中在所述执行基于通道的弃置操作中，每个卷积层中单个通道或特征图中的所有像素都被归零。


4.根据权利要求1所述的方法，其中在所述生成所述得出的数字图像之前，所述方法还包括：
判断所述数字图像的对比度值、动态范围和信噪比中的任何一个是否低于阈值；
为了回应判断出所述对比度值、所述动态范围和所述信噪比中的任何一个低于所述阈值，执行所述生成所述得出的数字图像。


5.根据权利要求1所述的方法，其中所述生成所述得出的数字图像还包括：
将所述下采样阶段的卷积层以及具有与所述下采样阶段的卷积层相同分辨率的上采样阶段的卷积层联结在一起；
通过所述多尺度上下文聚合块的一全域池化层，来提取所述数字图像的全域上下文信息；以及
通过所述多尺度上下文聚合块中具有不同扩张速率的多个扩展层，来提取所述数字图像在不同尺度下的上下文信息。


6.根据权利要求5所述的方法，其中所述全域池化层和所述多个扩展层中的其中一个联结在一起，并且其他的扩展层依据相应的尺度以级联方式联结在一起。


7.根据权利要求6所述的方法，其中所述生成所述得出的数字图像还包括：
对所述全域池化层执行双线性插值操作。


8.根据权利要求7所述的方法，其中所述多尺度上下文聚合块包括：
连接在所述全域池化层和所述多个扩展层之后的1×1卷积层。


9.一种系统，包括：
至少一存储器，被配置用来存储程序指令；
至少一处理器，被配置用来执行所述程序指令，其使得所述至少一处理器执行以下步骤：
接收数字图像；
通过编码器-解码器神经网络处理所述数字图像，来生成一得出的数字图像，所述编码器-解码器神经网络包括多个卷积层，其被分类为下采样阶段和上采样阶段，并包括多尺度上下文聚合块，其被配置用来聚合所述数字图像的多尺度上下文信息，并设置在所述下采样阶段和所述上采样阶段之间；以及
输出所述得出的数字图像到输出装置，
其中所述生成所述得出的数字图像包括：
在所述下采样阶段中每隔几个卷积层之后执行一次池化操作，以降低空间分辨率；
在所述上采样阶段中每隔几个卷积层之前执行一次升尺度操作，以提高空间分辨率；以及
在所述下采样阶段和所述上采样阶段中的每个卷积层之后执行基于通道的弃置操作。

【专利技术属性】
技术研发人员：孟子博，何朝文，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44