用于楼宇内低照度环境的图像增强和噪声自适应去除方法技术

本发明专利技术公开了一种用于楼宇内低照度环境的图像增强和噪声自适应去除方法，其特征在于，包括：S1、采用三个不同的卷积神经网络将原始图像进行分解，分解为照度图、反射图和噪声图；S2、通过卷积神经网络对步骤S1分解出的照度图进行照度的调整；S3、将步骤S2调整后的照度图与步骤S1分解得到的反射图进行融合，得到最终的增强图像。本发明专利技术卷积神经网络的深度较低，实时性比一般的低照度图像增强方法高，且不需要设计复杂的先验知识，简单易行；提升了低照度图像增强方法对于噪声的鲁棒性，能有效分离出图像的噪声，从而避免噪声在增强过程中的放大，获得视觉效果良好的图像；与现有的低照度图像增强方法结果相比，有效的降低增强后图像中的噪声。

【技术实现步骤摘要】
用于楼宇内低照度环境的图像增强和噪声自适应去除方法
本专利技术涉及图像处理
，具体涉及一种用于楼宇内低照度环境的图像增强和噪声自适应去除方法，适用于目标检测、显著性检测、语义分割、目标跟踪、人脸识别等高度依赖目标可见性的系统。
技术介绍
随着手机等便于携带的移动成像设备的广泛普及，图像的获取变得越来越容易，大量处于楼宇内低照度环境下拍摄的图像开始出现。低照度图像由于其低曝光度的特性不仅会导致视觉上效果较差的影响，而且会使得目标检测、显著性检测、语义分割、目标跟踪、人脸识别等下游计算机视觉任务因为黑暗区域细节的减少而出现极大的性能下降。为了解决低照度图像带来的各种影响，低照度图像增强技术在近些年出现蓬勃的发展。低照度图像增强技术是一种针对光照不足图像中存在的低亮度、低对比度、高噪声、颜色失真等问题的处理技术。低光照图像增强技术的主要目的是通过解决上述问题，提高图像的视觉效果，使得人类或者机器可以更多的发现原本无法察觉的细节。常见的低照度图像增强技术有直方图均衡化、非锐化掩蔽、大气光成像模型、多曝光度图像融合、Retinex增强算法等方法。直方图均衡化技术通过对图像灰度的重新分配可以快速的实现对低光照图像的增强，但是其经常因为对局部处理较差而导致过增强或者欠增强的结果。非锐化掩蔽的方法将图像分解为低频信号和高频信号两个部分，通过单独的对低频信号中的光照进行增强而来减少噪声的引入，但其依旧无法避免过增强的结果。大气光成像模型这类方法认为低光照图像的反转图与雾天图像十分类似，因此将低光照图像增强问题转化为去雾的问题，直接使用大气光成像模型来进行求解，但是这一理论缺乏相应的物理机理来进行支撑。多曝光度图像融合的方法认为从单张低照度的图片中恢复出一个光照良好的图片是一个不适定的问题，因此它通过融合多种不同曝光度图片下的信息来达到图像增强的目的，但是现实生活中多曝光度图片的获取是较为困难的，而且长时间的曝光容易出现运动模糊等新问题。Retinex理论将图片分解为照度图和反射图两个部分，通过改变照度图中像素的强度达到低光照图像增强的目的，但是传统的Retinex理论需要复杂的先验知识来获取单一的照度图或者反射图，这一先验知识的好坏直接影响最终增强的结果，而且其对于噪声的处理能力较差往往需要复杂的后处理或者预处理完成对噪声的去除。
技术实现思路
本专利技术为了克服以上技术的不足，提供了一种用于楼宇内低照度环境的图像增强和噪声自适应去除方法。本专利技术克服其技术问题所采用的技术方案是：一种用于楼宇内低照度环境的图像增强和噪声自适应去除方法，包括步骤：S1、采用三个不同的卷积神经网络将原始图像进行分解，分解为照度图、反射图和噪声图；S2、通过卷积神经网络对步骤S1分解出的照度图进行照度的调整；S3、将步骤S2调整后的照度图与步骤S1分解得到的反射图进行融合，得到最终的增强图像。进一步地，所述步骤S1对原始图像进行分解采用如下公式：S(x,y)＝R(x,y)·L(x,y)+N(x,y)(1)其中，S(x,y)代表原始图像，R(x,y)代表反射图，表示物体反射出的光；L(x,y)代表照度图，表示物体周围的环境光；N(x,y)代表噪声。进一步地，所述步骤S1中，对原始图像进行分解的步骤包括：先对原始图像进行归一化，并将归一化后的图像输入到步骤S1中所述的三个卷积神经网络中，得到大小分别为H×W×1、H×W×3和H×W×3的照度图、反射图和噪声图，其中，H表示图像的高，W表示图像的宽；其中，照度图所需的卷积神经网络包括5个卷积块，每个卷积块包括一个3×3的卷积核和一个Relu，最后一层将Relu替换为Sigmoid，输出通道数为1；反射图所需的卷积神经网络包括5个卷积块，每个卷积块包括一个3×3的卷积核和一个Relu，最后一层将Relu替换为Sigmoid，输出通道数为3，分别对应图像中的R、G、B三个通道；噪声图所需的卷积神经网络包括5个卷积块，每个卷积块包括一个3×3的卷积核和一个Relu，最后一层将Relu替换为Tanh，输出通道数为3，并且在每一个卷积块之后都将照度图的反转图与之进行连接。进一步地，采用1范数对反射图进行约束以保证反射图的一致性，其采用的公式为：LR＝||Rnorm(x,y)-Rlow(x,y)||1(2)其中，LR代表保持反射图一致性所需的损失函数，Rnorm(x,y)代表正常光照条件下分解得到的反射图，Rlow(x,y)代表低光照条件下分解得到的反射图。进一步地，所述步骤S1中，采用1范数对照度图进行约束以保证照度平滑，其采用的公式为：其中，Lsmooth代表进行照度图平滑所需的损失函数，代表在点(x,y)处的梯度，σ为一个极小的正数。进一步地，所述步骤S1中，将分解出的照度图的反转图作为一个attention模块引导噪声图的生成，作为引导图的attention模块公式为：G(x,y)＝1-L(x,y)(6)其中，G(x,y)代表获取的attention模块，采用F范数对整体的噪声进行约束：LN＝||N(x,y)||F(7)LN代表约束噪声所需的损失函数。进一步地，所述步骤S1中，对分解后的图像进行重构，其公式为：Lrec＝||R(x,y)·L(x,y)+N(x,y)-S(x,y)||1(8)Lrec代表保证图像重构所需要的损失函数。进一步地，所述步骤S2中，通过卷积神经网络对步骤S1分解出的照度图进行调整，得到一个大小为H×W×1的图像，该图像所含有的光照信息即为正常光照图像所拥有的光照信息。进一步地，所述步骤S3中，将步骤S2调整后的照度图与步骤S1分解得到的反射图进行融合，其采用的公式为：St(x,y)＝Rlow(x,y)·Ladjust(x,y)(9)其中，St(x,y)代表增强后的图像，Rlow(x,y)代表低光照图像的反射图，Ladjust(x,y)代表经过步骤S2调整后的照度图。本专利技术的有益效果是：本专利技术中所述卷积神经网络的深度较低，实时性比一般的图像方法高，而且不需要设计复杂的先验知识，简单易行；本专利技术提升了低照度图像增强方法对于噪声的鲁棒性，能够有效的分离出图像的噪声，从而避免噪声在增强过程中的放大，获得视觉效果良好的图像；与现有的低照度图像增强方法结果相比，可以有效的降低增强后图像中的噪声。附图说明图1为本专利技术实施例所述用于楼宇内低照度环境的图像增强和噪声自适应去除方法的网络结构图。图2为本专利技术实施例采用所述用于楼宇内低照度环境的图像增强和噪声自适应去除方法完成低照度图像增强的示意图。图3为本专利技术实施例采用所述用于楼宇内低照度环境的图像增强和噪声自适应去除方法与现有的低照度图像增强方法所得到图像的对比图Ⅰ。图4为本专利技术实施例采用所述用于楼宇内低照度环境的图像增强和噪声自适应去除方法与现有本文档来自技高网...

【技术保护点】
1.一种用于楼宇内低照度环境的图像增强和噪声自适应去除方法，其特征在于，包括步骤：/nS1、采用三个不同的卷积神经网络将原始图像进行分解，分解为照度图、反射图和噪声图；/nS2、通过卷积神经网络对步骤S1分解出的照度图进行照度的调整；/nS3、将步骤S2调整后的照度图与步骤S1分解得到的反射图进行融合，得到最终的增强图像。/n

【技术特征摘要】
1.一种用于楼宇内低照度环境的图像增强和噪声自适应去除方法，其特征在于，包括步骤：
S1、采用三个不同的卷积神经网络将原始图像进行分解，分解为照度图、反射图和噪声图；
S2、通过卷积神经网络对步骤S1分解出的照度图进行照度的调整；
S3、将步骤S2调整后的照度图与步骤S1分解得到的反射图进行融合，得到最终的增强图像。


2.根据权利要求1所述的方法，其特征在于，所述步骤S1对原始图像进行分解采用如下公式：
S(x,y)＝R(x,y)·L(x,y)+N(x,y)(1)
其中，S(x,y)代表原始图像，R(x,y)代表反射图，表示物体反射出的光；L(x,y)代表照度图，表示物体周围的环境光；N(x,y)代表噪声。


3.根据权利要求2所述的方法，其特征在于，所述步骤S1中，对原始图像进行分解的步骤包括：
先对原始图像进行归一化，并将归一化后的图像输入到步骤S1中所述的三个卷积神经网络中，得到大小分别为H×W×1、H×W×3和H×W×3的照度图、反射图和噪声图，其中，H表示图像的高，W表示图像的宽；
其中，照度图所需的卷积神经网络包括5个卷积块，每个卷积块包括一个3×3的卷积核和一个Relu，最后一层将Relu替换为Sigmoid，输出通道数为1；反射图所需的卷积神经网络包括5个卷积块，每个卷积块包括一个3×3的卷积核和一个Relu，最后一层将Relu替换为Sigmoid，输出通道数为3，分别对应图像中的R、G、B三个通道；噪声图所需的卷积神经网络包括5个卷积块，每个卷积块包括一个3×3的卷积核和一个Relu，最后一层将Relu替换为Tanh，输出通道数为3，并且在每一个卷积块之后都将照度图的反转图与之进行连接。


4.根据权利要求3所述的方法，其特征在于，所述步骤S1中，采用1范数对反射图进行约束以保证反射图的一致性，其采用的公式为：
LR＝||Rnorm(x,y)-Rlow(x,y)||1(2)
其...

【专利技术属性】
技术研发人员：徐新，郭盛，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北;42