一种基于深度学习的低光照图像增强方法技术

本发明专利技术实施例公开一种基于深度学习的低光照图像增强方法，包括：步骤1，构建多曝光与多尺度反射率图像提取模型；步骤2，构建亮度权重矩阵估计模型，亮度权重矩阵估计模型用于估计输入图像亮度权重矩阵和反射率图像亮度权重矩阵；步骤3，构建光照增强模型，结合多曝光与多尺度反射率图像提取模型和亮度权重矩阵估计模型的输出，建立光照增强模型用于对输入的低光照图像预测得到正常光照图像；步骤4，构建损失函数、并基于梯度下降法进行训练，求解低光照图像增强整体模型的最优参数。本发明专利技术实施例解决了现有低光照图像增强技术中，难以兼具恢复细节和保持颜色这两方面的图像处理效果的问题，以提高视觉观感效果。以提高视觉观感效果。以提高视觉观感效果。

【技术实现步骤摘要】
一种基于深度学习的低光照图像增强方法


[0001]本专利技术涉及但不限于图像处理领域，具体涉及一种基于深度学习的低光照图像增强方法。

技术介绍

[0002]近年来，低光照图像增强技术的研究是图像处理的热点之一，实现方法分为基于Retinex理论的传统图像增强方法和基于神经网络的新型图像增强方法。
[0003]基于Retinex理论的传统图像增强方法，包括MSR、MSRCR和MSRCP方法等。上述方法在低光照图像增强方面具有明显的效果，但都存在处理时间较长和颜色失真等问题，使得视觉观感效果不佳。
[0004]基于神经网络的新型图像增强方法，包括RetinexNet、LLNet、MBLLEN和KinDNet方法等。上述方法大多处理速度和颜色保持较好，但在细节处理和更精确的校正低光照图像颜色表现仍有不足。
[0005]可以看出，上述两类图像增强方法，难以兼具更好的恢复细节和保持颜色两方面的图像处理效果。

技术实现思路

[0006]本专利技术的目的为：本专利技术实施例提供一种基于深度学习的低光照图像增强方法，旨在解决现有低光照图像增强技术中，难以兼具恢复细节和保持颜色这两方面的图像处理效果的问题，以提高视觉观感效果。
[0007]本专利技术的技术方案为：本专利技术实施例提供一种基于深度学习的低光照图像增强方法，包括：
[0008]步骤1，构建多曝光与多尺度反射率图像提取模型，包括：根据输入的低光照图像得到多曝光图像和多尺度信息，并得到反射率图像；
[0009]步骤2，构建亮度权重矩阵估计模型，所述亮度权重矩阵估计模型用于估计输入图像亮度权重矩阵和反射率图像亮度权重矩阵；
[0010]步骤3，构建光照增强模型，包括：结合所述多曝光与多尺度反射率图像提取模型和亮度权重矩阵估计模型的输出，建立光照增强模型，所述光照增强模型用于对输入的低光照图像预测得到正常光照图像；
[0011]步骤4，构建损失函数、并基于梯度下降法进行训练，求解所述低光照图像增强整体模型的最优参数；其中，所述低光照图像增强整体模型包括：多曝光与多尺度反射率图像提取模型、亮度权重矩阵估计模型和光照增强模型。
[0012]可选地，如上所述的基于深度学习的低光照图像增强方法中，所述步骤1包括：
[0013]先对输入的低光照图像进行多曝光图像生成，再对生成的所述多曝光图像进行多尺度信息提取，最终融合所述多尺度信息得到固有反射率图像。
[0014]可选地，如上所述的基于深度学习的低光照图像增强方法中，所述步骤1具体包
括：
[0015]步骤11，构建多曝光图像生成模型，所构建的多曝光图像生成模型为以低曝光图像I
low
为输入、以多曝光图像簇P
i
为输出的模型；
[0016]步骤12，构建多尺度信息提取模型，将多曝光图像簇P
i
作为输入，每个输入分别通过所述多尺度信息提取模型完成多尺度信息P
′
i
的提取，数学表示为P
′
i
＝BTF(P
i
)；
[0017]步骤13，融合多尺度信息获得固有反射率图像，包括：以多尺度信息P
′
i
为输入，经过卷积后输出3通道所述固有反射率图像，记为P
′
。
[0018]可选地，如上所述的基于深度学习的低光照图像增强方法中，所述步骤11中，构建多曝光图像生成模型的方式，包括：
[0019]通过随机生成一系列曝光率κ＝{k1,k2,
…
,k
n
}，对输入的低曝光图像I
low
按像素点进行曝光率调整，生成的多曝光图像簇，表示为P
i
＝Clip[I
low
(x,y)
·
k
i
]。
[0020]可选地，如上所述的基于深度学习的低光照图像增强方法中，所述步骤12中，构建多尺度信息提取模型的方式，包括：
[0021]所述多尺度信息提取模型为类编码
‑
解码网络，由N次卷积、激活函数、下采样和N次反卷积、激活函数、上采样依次连接构成。
[0022]可选地，如上所述的基于深度学习的低光照图像增强方法中，所述步骤2包括：
[0023]步骤21，构建亮度权重矩阵估计模型，将低曝光图像I
low
作为输入，通过亮度权重矩阵估计模型可得到亮度权重矩阵W；
[0024]步骤22，估计反射率图像权重矩阵，包括：对所述步骤21得到的亮度权重矩阵W进行求反运算，得到固有反射率图像权重矩阵表示为
[0025]可选地，如上所述的基于深度学习的低光照图像增强方法中，所述步骤21中，构建亮度权重矩阵估计模型的方式，包括：
[0026]所述亮度权重矩阵估计模型为类编码
‑
解码网络，由M次卷积、激活函数、下采样和M次反卷积、激活函数、上采样依次连接构成；所述M不等于N。
[0027]可选地，如上所述的基于深度学习的低光照图像增强方法中，所述步骤3包括：
[0028]构建光照增强模型，并且所述光照增强模型以低光照图像I
low
、固有反射率图像P
′
、低光照图像亮度权重矩阵W和反射率图像亮度权重矩阵作为输入，通过所述光照增强模型预测低光照图像I
low
的正常光照图像。
[0029]可选地，如上所述的基于深度学习的低光照图像增强方法中，所述光照增强模型的数学表示为
[0030]其中，α，β为常数，通过模型训练确定，为预测得到的正常光照图像。
[0031]本专利技术的有益效果为：本专利技术实施例提供一种基于深度学习的低光照图像增强方法，利用深度学习挖掘低光照图像中的多曝光、多尺度细节和色彩信息，使得增强后的图像细节与色彩得到了高保真恢复，增强了视觉观感体验；同时该方法训练与处理速度快。
附图说明
[0032]图1为本专利技术实施例提供的一种基于深度学习的低光照图像增强方法的流程示意图；
[0033]图2为本专利技术实施例提供的基于深度学习的低光照图像增强方法的整体网络模型的示意图；
[0034]图3为本专利技术实施例提供的低光照图像增强方法中构建多尺度信息提取模型的原理示意图；
[0035]图4为采用本专利技术实施例提供的低光照图像增强方法与现有方法对常见典型图像增强结果及细节对比的示意图；
[0036]图5a为采用本专利技术实施例提供的低光照图像增强方法在“直升机桨叶运动参数测量”中的实际拍摄图；
[0037]图5b为采用本专利技术实施例提供的低光照图像增强方法在“直升机桨叶运动参数测量”中的增强结果图。
具体实施方式
[0038]为使本专利技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本专利技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的低光照图像增强方法，其特征在于，包括：步骤1，构建多曝光与多尺度反射率图像提取模型，包括：根据输入的低光照图像得到多曝光图像和多尺度信息，并得到反射率图像；步骤2，构建亮度权重矩阵估计模型，所述亮度权重矩阵估计模型用于估计输入图像亮度权重矩阵和反射率图像亮度权重矩阵；步骤3，构建光照增强模型，包括：结合所述多曝光与多尺度反射率图像提取模型和亮度权重矩阵估计模型的输出，建立光照增强模型，所述光照增强模型用于对输入的低光照图像预测得到正常光照图像；步骤4，构建损失函数、并基于梯度下降法进行训练，求解所述低光照图像增强整体模型的最优参数；其中，所述低光照图像增强整体模型包括：多曝光与多尺度反射率图像提取模型、亮度权重矩阵估计模型和光照增强模型。2.根据权利要求1所述的基于深度学习的低光照图像增强方法，其特征在于，所述步骤1包括：先对输入的低光照图像进行多曝光图像生成，再对生成的所述多曝光图像进行多尺度信息提取，最终融合所述多尺度信息得到固有反射率图像。3.根据权利要求2所述的基于深度学习的低光照图像增强方法，其特征在于，所述步骤1具体包括：步骤11，构建多曝光图像生成模型，所构建的多曝光图像生成模型为以低曝光图像I
low
为输入、以多曝光图像簇P
i
为输出的模型；步骤12，构建多尺度信息提取模型，将多曝光图像簇P
i
作为输入，每个输入分别通过所述多尺度信息提取模型完成多尺度信息P
′
i
的提取，数学表示为P
′
i
＝BTF(P
i
)；步骤13，融合多尺度信息获得固有反射率图像，包括：以多尺度信息P
′
i
为输入，经过卷积后输出3通道所述固有反射率图像，记为P
′
。4.根据权利要求3所述的基于深度学习的低光照图像增强方法，其特征在于，所述步骤11中，构建多曝光图像生成模型的方式，包括：通过随机生成一系列曝光率κ...

【专利技术属性】
技术研发人员：张育斌，乐娟，余莹，陈垚锋，陈洋，程起有，
申请(专利权)人：中国直升机设计研究所，
类型：发明
国别省市：