基于嵌入麦克劳林与卷积的低曝光图像增强方法及系统技术方案

本公开提供了基于嵌入麦克劳林与卷积的低曝光图像增强方法及系统，涉及图像处理技术领域，获取待增强的低曝光图像，对所述低曝光图像进行处理分解；将所述低曝光图像输入至主干网络中提取多尺度特征，在主干网络中引入动态调节因子，利用所述动态调节因为学习卷积权重校准图，并将学习到的权重校准图对主干网络的卷积权重进行校准，利用校准后的卷积核对特征执行卷积运算，获得低曝光图像的亮度分量，利用亮度分量输出可随动态调节因子变化的长曝光增强图像。曝光增强图像。曝光增强图像。

【技术实现步骤摘要】
基于嵌入麦克劳林与卷积的低曝光图像增强方法及系统


[0001]本公开涉及图像处理
，具体涉及基于嵌入麦克劳林与卷积的低曝光图像增强方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
[0003]目前，多数低曝光图像增强的卷积神经网络的核心思想都是从低曝光图像中学习出图像的亮度分量，并从低曝光图像中去除亮度分量，以实现低曝光图像增强。但是这种增强模式存在两方面问题：
[0004](1)低曝光图像与相应的亮度分量之间的数学关系极为复杂，需要较深的网络方能拟合低曝光图像与亮度分量之间的数学关系，导致前向推导速度较慢。
[0005](2)网络训练完成后，网络的权重为静态值，导致输出图像的亮度水平为固定值，无法满足智能手机、数码相机等消费电子对亮度水平动态可调的需求。

技术实现思路

[0006]本公开为了解决上述问题，提出了一种基于嵌入麦克劳林展开公式与卷积权重校准的低曝光图像增强方法及系统，通过嵌入麦克劳林展开公式加强网络的拟合性能，实现网络轻量化，并设计权重校准方式实现输出图像的亮度水平动态可调。
[0007]根据一些实施例，本公开采用如下技术方案：
[0008]基于嵌入麦克劳林与卷积的低曝光图像增强方法，包括：
[0009]获取待增强的低曝光图像，对所述低曝光图像进行处理分解；
[0010]将所述低曝光图像输入至主干网络中提取多尺度特征，在主干网络中引入动态调节因子，利用所述动态调节因为学习卷积权重校准图，并将学习到的权重校准图对主干网络的卷积权重进行校准，利用校准后的卷积核对特征执行卷积运算，获得低曝光图像的亮度分量，利用亮度分量输出可随动态调节因子变化的长曝光增强图像。
[0011]根据一些实施例，本公开采用如下技术方案：
[0012]基于嵌入麦克劳林与卷积的低曝光图像增强系统，包括：
[0013]预处理模块，用于获取待增强的低曝光图像，对所述低曝光图像进行处理分解；
[0014]图像增强模块，用于将所述低曝光图像输入至主干网络中提取多尺度特征，在主干网络中引入动态调节因子，利用所述动态调节因为学习卷积权重校准图，并将学习到的权重校准图对主干网络的卷积权重进行校准，利用校准后的卷积核对特征执行卷积运算，获得低曝光图像的亮度分量，利用亮度分量输出可随动态调节因子变化的长曝光增强图像。
[0015]根据一些实施例，本公开采用如下技术方案：
[0016]一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处
理器加载并执行所述的基于嵌入麦克劳林与卷积的低曝光图像增强方法。
[0017]根据一些实施例，本公开采用如下技术方案：
[0018]一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于嵌入麦克劳林与卷积的低曝光图像增强方法。
[0019]与现有技术相比，本公开的有益效果为：
[0020]本公开提出一种嵌入麦克劳林展开公式与卷积权重校准的低曝光图像增强网络，通过嵌入麦克劳林展开公式加强网络的拟合性能，实现网络轻量化，并设计权重校准方式实现输出图像的亮度水平动态可调。
[0021]本公开的网络可以有效提高低曝光图像的视觉质量。当输入不同的动态调节因子时，可以改变输出图像的亮度水平，表明动态校准方式的有效性。由于网络中嵌入了麦克劳林展开公式，可以用较少的网络层数拟合复杂的非线性变换函数。
附图说明
[0022]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
[0023]图1为本公开实施例的方法流程示意图；
[0024]图2为本公开实施例的主干网络结构示意图；
[0025]图3为本公开实施例的卷积权重校准网络结构示意图；
[0026]图4为本公开实施例的低曝光图像增强实验效果示意图。
具体实施方式：
[0027]下面结合附图与实施例对本公开作进一步说明。
[0028]应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。
[0029]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0030]实施例1
[0031]本公开的一种实施例中提供了一种基于嵌入麦克劳林与卷积的低曝光图像增强方法，包括：
[0032]获取待增强的低曝光图像，对所述低曝光图像进行处理分解；
[0033]将所述低曝光图像输入至主干网络中提取多尺度特征，在主干网络中引入动态调节因子，利用所述动态调节因为学习卷积权重校准图，并将学习到的权重校准图对主干网络的卷积权重进行校准，利用校准后的卷积核对特征执行卷积运算，获得低曝光图像的亮度分量，利用亮度分量输出可随动态调节因子变化的长曝光增强图像。
[0034]作为一种实施例，获取待增强的低曝光图像，对所述低曝光图像进行处理分解的
方式包括：
[0035]将低曝光图像分解为亮度分量与长曝光图像的乘积，在分解过程中增加残差项获取亮度分量。
[0036]具体的，将低曝光图像分解为亮度分量与长曝光图像的乘积，如公式(1)所示：
[0037]D
c
(x)＝E
c
(x)
·
H
c
(x)
ꢀꢀ
(1)
[0038]其中，x表示像素坐标，c表示图像的红、绿、蓝三通道，H
c
(x)表示增强后的长曝光图像，E
c
(x)表示照度分量，D
c
(x)为低曝光图像，
‘
·
’
表示像素点对应相乘。
[0039]增强的长曝光图像表示为：
[0040][0041]为了加速网络收敛，在公式(2)中添加残差项，可得：
[0042][0043]式中Er
c
(x)是添加残差项后的亮度分量，简称为亮度分量，表示为：
[0044][0045]根据多尺度Retinex理论，Er
c
(x)为多尺度特征的线性组合，但简单的线性组合方式导致增强的图像过暗或过亮。因此，将Er
c
(x)表示为多尺度特征的非线性组合，表示为：
[0046]Er
c
(x)＝g{T[D
c
(x)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于嵌入麦克劳林与卷积的低曝光图像增强方法，其特征在于，包括：获取待增强的低曝光图像，对所述低曝光图像进行处理分解；将所述低曝光图像输入至主干网络中提取多尺度特征，在主干网络中引入动态调节因子，利用所述动态调节因为学习卷积权重校准图，并将学习到的权重校准图对主干网络的卷积权重进行校准，利用校准后的卷积核对特征执行卷积运算，获得低曝光图像的亮度分量，利用亮度分量输出可随动态调节因子变化的长曝光图像。2.如权利要求1所述的基于嵌入麦克劳林与卷积的低曝光图像增强方法，其特征在于，获取待增强的低曝光图像，对所述低曝光图像进行处理分解的方式包括：将低曝光图像分解为亮度分量与长曝光图像的乘积，在分解过程中增加残差项获取亮度分量。3.如权利要求2所述的基于嵌入麦克劳林与卷积的低曝光图像增强方法，其特征在于，所述亮度分量为多尺度特征的非线性组合，在非线性函数中嵌入麦克劳林展开公式，通过麦克劳林展开公式将亮度分量与低曝光图像之间的函数关系变换为多尺度特征与多项式系数的组合。4.如权利要求1所述的基于嵌入麦克劳林与卷积的低曝光图像增强方法，其特征在于，构建主干网络对低曝光图像进行增强，所述主干网络的结构是由11个卷积层构成，前7个卷积层、2个下采样层、2个上采样层构成多尺度卷积模块，用于生成多尺度特征。5.如权利要求4所述的基于嵌入麦克劳林与卷积的低曝光图像增强方法，其特征在于，在多尺度卷积模块后设置2个卷积层将多尺度特征逐渐压缩至3个通道，采用跳跃连接层对特征进行加权校准。6.如权利要求4所述的基于嵌入麦克劳林与卷积的低曝光图像增强方法，其特征在于，在多尺度卷积模块上引出另一条分支来获取麦克劳林展开公式的系数，所述分支包含2个卷积层和1个全局平均池化层...

【专利技术属性】
技术研发人员：代成刚，陈成军，李东年，赵正旭，林明星，
申请(专利权)人：青岛理工大学，
类型：发明
国别省市：