一种超高分辨率图像曝光错误矫正方法及系统技术方案

本发明专利技术属于图像处理领域，提供了一种超高分辨率图像曝光错误矫正方法及系统，包括将当前需要矫正曝光的图像中的高低频信息分离，分解为多个高频信息层和单个低频信息层；将低频信息层下采样至低分辨率，计算并得到一个储存仿射变换的类双边网格网络，通过类双边网格得到矫正后的低频信息层；利用浅层网络矫正多个高频信息层，得到矫正后的高频信息层；将矫正后的高频信息层和矫正后的低频信息层重建为曝光矫正后的图片。本发明专利技术通过应用一种无损可逆的图像内容解耦方法和新型的多层残差提取矫正变换预测模块，解决了超高分辨率图像曝光矫正任务的实时性和有效性问题。矫正任务的实时性和有效性问题。矫正任务的实时性和有效性问题。

【技术实现步骤摘要】
一种超高分辨率图像曝光错误矫正方法及系统


[0001]本专利技术属于图像处理
，具体涉及一种超高分辨率图像曝光错误矫正方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]图像的曝光错误指在摄影场景中，由于恶劣的光照环境或是设置不恰当的快门速度、光圈大小以及ISO参数而使得拍摄结果上存在曝光不足或者过曝的区域。传统的矫正图像曝光错误的方法以及绝大部分基于深度学习的方法需要极大的计算量和数秒的运算时间来处理一张千万级像素的图像，使得这些方法难以部署到当今的移动设备上。
[0004]现有的加速图像曝光矫正的方法均基于相似的框架，即下采样图片，预测一个用于矫正曝光的变换，再将该变换应用于原尺寸图像上。这些方法避免了在原图尺寸上矫正曝光错误或是预测矫正变换所需的高昂计算量，有效地加速了图像曝光矫正过程。但这些方法仍有着严重的局限性。
[0005]首先，曝光矫正变换的空间自适应性有限，经过高倍率上采样后再作用于原图会产生严重的伪影。这限制了已有算法的加速效果，即对于千万级像素的图像，为平衡算法的效率和性能，仍需要在较高分辨率上进行大量运算来预测合适的曝光矫正变换。其次，该变换需要是简单且能够高速并行实现的，从而可以高速处理原尺寸的图像。然而一些已有的方法所使用的曝光矫正变换时间复杂度较高，不适用于处理超高分辨率图像。
[0006]基于上述原因，虽然现有的加速图像曝光矫正方法有一定的效果，但在超高分辨率图像上的处理速度和性能均有限。

技术实现思路

[0007]为了解决上述问题，本专利技术提出了一种超高分辨率图像曝光错误矫正方法及系统，本专利技术通过应用一种无损可逆的图像内容解耦方法和新型的多层残差提取矫正变换预测模块，设计了一种新型轻量级图像曝光矫正网络，以实现在超过100fps的速度下高效矫正4K图像，解决了超高分辨率图像曝光矫正任务的实时性和有效性问题。
[0008]根据一些实施例，本专利技术的第一方案提供了一种超高分辨率图像曝光错误矫正方法，采用如下技术方案：
[0009]一种超高分辨率图像曝光错误矫正方法，包括：
[0010]将当前需要矫正曝光的图像中的高低频信息分离，分解为多个高频信息层和单个低频信息层；
[0011]将低频信息层下采样至低分辨率，计算并得到一个储存仿射变换的类双边网格网络，通过类双边网格得到矫正后的低频信息层；
[0012]利用浅层网络矫正多个高频信息层，得到矫正后的高频信息层；
[0013]将矫正后的高频信息层和矫正后的低频信息层重建为曝光矫正后的图片。
[0014]进一步地，所述将当前需要矫正曝光的图像中的高低频信息分离，分解为多个高频信息层和单个低频信息层，包括：
[0015]利用类拉普拉斯金字塔分解网络将输入图片解耦，分离为主要包含轮廓纹理信息的分辨率自高向低排列的数个高频信息层和单个包含光照、色彩、内容的低频信息层；
[0016]其中，所述利用类拉普拉斯金字塔分解网络将输入图片解耦，包括：
[0017]将图像多次模糊并下采样得到其高斯金字塔序列；
[0018]将高斯金字塔序列的最终结果多次模糊并上采样，与高斯金字塔的各层相减，得到最终的拉普拉斯金字塔。
[0019]进一步地，所述将低频信息层下采样至低分辨率，计算并得到一个储存仿射变换的类双边网格网络，通过类双边网格得到矫正后的低频信息层，包括：
[0020]将低频信息层输入到类双边网格中的自调制特征提取模块中得到指导图特征；
[0021]将低频信息层下采样，并将下采样结果输入到类双边网格中的分层特征分解模块得到预测的双边网格系数；
[0022]将双边网格的系数与指导图特征进行切片操作得到切片后的双边网格系数；
[0023]基于切片后的双边网格系数得到类双边网格网络，利用类双边网格网络，将仿射变换逐像素作用于低频信息层，得到矫正后的低频信息层。
[0024]进一步地，所述分层特征分解模块共有三层，每层均由上下文感知特征提取模块、自调制特征提取模块、1*1卷积层和ReLU激活函数层组成；
[0025]第一层的上下文感知特征提取模块进行分解处理后，得到上下文感知特征和残差特征；其中，所述上下文特征通过1*1卷积层和ReLU激活函数层输出上下文感知特征的提取特征；所述残差特征通过自调制特征提取模块输出残差特征提取特征至下一层的上下文感知特征提取模块，做与第一层相同的处理，直到第三层的自调制特征提取模块输出最终的残差特征提取特征；
[0026]将每一层的上下文感知特征的提取特征以及最终的残差特征提取特征相加，使用1*1卷积核和重塑维度来获得预测的双边网格系数。
[0027]进一步地，所述自调制特征提取模块，将输入经过1*1卷积核后得到初始特征，然后将初始特征相继经过1*1卷积、全局平均池化层、1*1卷积得到平均特征信息，将平均特征信息与初始特征相乘后加上初始特征，经过ReLU激活函数层得到最终特征输出；
[0028]所述上下文感知特征提取模块，将输入特征分别通过全局平均池化层与全局标准差池化层，并将结果相加后通过Sigmoid激活层；将Sigmoid激活层的输出与最开始的输入特征相乘得到上下文感知特征；
[0029]最开始的输入特征与上下文感知特征相减得到残差特征。
[0030]进一步地，所述利用浅层网络矫正多个高频信息层，得到矫正后的高频信息层，包括：
[0031]将分辨率最低的高频信息层与上采样后的低频信息层、矫正后的低频信息层相拼接；
[0032]将拼接结果作为输入，通过由2个卷积层和一个在中间的LeakyReLU层组成的矫正预测模块，输出用于矫正高频信息的矫正层m
n
‑1，该矫正层首先与高频信息层h
n
‑1相乘，得到
矫正后的高频信息层h
n
′
‑1；
[0033]使用双线性插值将m
n
‑1上采样至h
n
‑2的分辨率大小，再经过相同的矫正预测模块后得到各高频信息层的矫正层m
n
‑2，将高频信息层h
n
‑2与相应的矫正层m
n
‑2逐像素点相乘，得到矫正后的高频信息层h
n
′
‑2；
[0034]对新得到的矫正层重复此操作，最终得到各个矫正过的高频层h1',h'2,h3'...h'
n
‑3。
[0035]进一步地，所述将矫正后的高频信息层和矫正后的低频信息层重建为曝光矫正后的图片，包括：
[0036]利用类拉普拉斯金字塔重建网络，从矫正后的低频信息层开始，逐层卷积上采样并于上一层相加，最终重建出矫正曝光后的图片；
[0037]其中，所述类拉普拉斯金字塔重建网络的上采样结构与类拉普拉斯金字塔图像分解网络的的上采样结构共享参数。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超高分辨率图像曝光错误矫正方法，其特征在于，包括：将当前需要矫正曝光的图像中的高低频信息分离，分解为多个高频信息层和单个低频信息层；将低频信息层下采样至低分辨率，计算并得到一个储存仿射变换的类双边网格网络，通过类双边网格得到矫正后的低频信息层；利用浅层网络矫正多个高频信息层，得到矫正后的高频信息层；将矫正后的高频信息层和矫正后的低频信息层重建为曝光矫正后的图片。2.如权利要求1所述的一种超高分辨率图像曝光错误矫正方法，其特征在于，所述将当前需要矫正曝光的图像中的高低频信息分离，分解为多个高频信息层和单个低频信息层，包括：利用类拉普拉斯金字塔分解网络将输入图片解耦，分离为主要包含轮廓纹理信息的分辨率自高向低排列的数个高频信息层和单个包含光照、色彩、内容的低频信息层；其中，所述利用类拉普拉斯金字塔分解网络将输入图片解耦，包括：将图像多次模糊并下采样得到其高斯金字塔序列；将高斯金字塔序列的最终结果多次模糊并上采样，与高斯金字塔的各层相减，得到最终的拉普拉斯金字塔。3.如权利要求1所述的一种超高分辨率图像曝光错误矫正方法，其特征在于，所述将低频信息层下采样至低分辨率，计算并得到一个储存仿射变换的类双边网格网络，通过类双边网格得到矫正后的低频信息层，包括：将低频信息层输入到类双边网格中的自调制特征提取模块中得到指导图特征；将低频信息层下采样，并将下采样结果输入到类双边网格中的分层特征分解模块得到预测的双边网格系数；将双边网格的系数与指导图特征进行切片操作得到切片后的双边网格系数；基于切片后的双边网格系数得到类双边网格网络，利用类双边网格网络，将仿射变换逐像素作用于低频信息层，得到矫正后的低频信息层。4.如权利要求3所述的一种超高分辨率图像曝光错误矫正方法，其特征在于，所述分层特征分解模块共有三层，每层均由上下文感知特征提取模块、自调制特征提取模块、1*1卷积层和ReLU激活函数层组成；第一层的上下文感知特征提取模块进行分解处理后，得到上下文感知特征和残差特征；其中，所述上下文特征通过1*1卷积层和ReLU激活函数层输出上下文感知特征的提取特征；所述残差特征通过自调制特征提取模块输出残差特征提取特征至下一层的上下文感知特征提取模块，做与第一层相同的处理，直到第三层的自调制特征提取模块输出最终的残差特征提取特征；将每一层的上下文感知特征的提取特征以及最终的残差特征提取特征相加，使用1*1卷积核和重塑维度来获得预测的双边网格系数。5.如权利要求4所述的一种超高分辨率图像曝光错误矫正方法，其特征在于，所述自调制特征提取模块，将输入经过1*1卷积核后得到初始特征，然后将初始特征相继经过1*1卷积、全局平均池化层、1*1卷积得到平均特征信息，将平均特征信息与初始特征相乘后加上初始特征，经过ReLU激活函数层得到最终特征输出；
所述上下文感知特征提取模块，将输入特征分别通过全局平均池化层与全局标准差池化层，并将结果...

【专利技术属性】
技术研发人员：徐君，周弋杰，李超，梁晋，
申请(专利权)人：南开大学，
类型：发明
国别省市：