【技术实现步骤摘要】
本专利技术为一种涉及图像增强领域中对极暗图像进行增强的方法。
技术介绍
1、高级视觉任务已为人们的生活带来了诸多便利，如人脸识别、自动驾驶、目标检测等等。然而，在环境光较差的情况下，相机拍摄的图像总是呈现出低可见度和低对比度，这很大程度影响着机器在各种高级视觉任务上的性能。尽管可以通过使用更加专业的相机或者增加曝光时长来改善这种情况，但问题仍然不能得到有效的解决。因此，软件层面的低光图像处理变得尤其重要。
2、早期的方法主要通过调整图像的对比度来对图像进行增强，如直方图均衡，通过调整各灰度级的像素数量来扩大图像的对比度，从而实现对低光图像进行增强，但这些方法会增加背景噪声的对比度并且降低有用信号的对比度。xiaojie guo等人将retinex 理论引入到低光图像增强中，他们取rgb图像三通道最大值作为初始照明图，再通过交替方向乘子法（admm）求解最佳照明，但这种方法仅考虑图像的照明因素，也没有考虑图像本身携带的噪声，因此生成的结果仍含有许多噪声和颜色偏差。
3、随着深度学习在各种视觉任务上的优异表现，大多数研究人员开始利用深度学习来解决低光图像增强问题。chen wei等人首次根据retinex理论并使用卷积神经网络对低光图像进行增强，他们首先学习一个分解网络将低光图像分解为反射r和照明l，再通过照明增强网络对低光图像的照明分量l进行增强，最后对反射分量r进行去噪并与照明分量l相乘得到增强图像。之后，chunle guo等人提出一个zero-dce模型，将低光图像增强的过程视为像素不断迭代变大的过程
技术实现思路
1、极暗环境下捕获的图像上的噪声会随着图像的增强过程而逐渐放大，且图像上不同区域的噪声模式不同，现有方法很难在增强过程中规避噪声的影响。因此本专利技术提供了一种基于照明幅度图的分区域增强方法减少了低光图像增强过程中噪声的影响。照明幅度图反应了低光图像增强为正常光图像各像素值所需放大的倍数，通过大量观察发现，照明幅度大的区域在增强的过程中受噪声影响也越大，可能原因在于照明幅度越大的区域的噪声将随区域的增强而被放得更大，或是这些区域很难学到正确的照明幅度值。因此我们根据照明幅度图的大小将图像分成两类区域，分别是增强过程中噪声会严重放大的区域和微弱放大的区域，再针对不同区域采用不同的增强网络，从而解决极暗图像增强受噪声影响的问题。如图1所示，本专利技术的技术方案如下：
2、步骤1：获取低光图像及相应的参考图像，对低光图像和参考图像做预处理并划分为训练集和测试集；
3、步骤2：使用卷积层和残差块搭建先验照明网络，并用训练集对网络进行训练，确保网络的参数在测试集上效果较好；
4、步骤3：将低光图像输入到预训练的先验照明网络得到照明幅度图，对照明幅度图归一化并计算照明幅度掩码；
5、步骤4：将低光图像输入到卷积层中提取图像特征，并将图像特征输入到残差网络分支计算增强过程中受噪声影响小的区域的增强特征；
6、步骤5：将步骤4中提取的图像特征输入到transformer分支计算增强过程中受噪声影响大的区域的增强特征；
7、步骤6：使用归一化的照明幅度图对两个分支的特征进行融合，并通过残差网络重建图像，最后通过卷积层输出增强图像。
8、所述步骤1中配对数据（低光图像和参考图像）的获取方式：在环境光较差的情况下拍摄低光图像，并保持相机位置不变，在环境光好的情况下且相机内景物保持不变时拍摄相应的参考图像。
9、所述步骤1中数据预处理方式包括：从训练集上随机裁剪下256×256的图片，并对图片进行水平旋转。
10、根据retinex理论可知图像i可分解为照明l和反射r，即，其中表示逐元素相乘，且反射r为物体固有属性，不会随照明的改变而改变。因此可以知道，其中分别表示低光图像及其对应的参考图像，分别表示低光图像和参考图像相应的照明分量。于是可以得到，其中为照明幅度，/表示逐元素相除，也即为了达到正常环境下的照明效果，当前环境（低光环境）的照明应该放大的倍数。
11、所述步骤2的先验照明网络pln如图2所示，先验照明网络用来获取低光图像的照明幅度图，其网络结构包括1层用于捕获图像特征的3×3的卷积层，5个连续的3×3的残差块用于捕获图像的照明信息和1层用于重建照明幅度图的3×3的卷积层。
12、使用测试集测试训练好的先验照明网络，可以观察到照明幅度图与低光图像相乘得到的增强图像上有许多的噪声。我们猜测这些噪声可能来自低光图像上本身的噪声，随着照明的增大而放大或者是模型学习到错误的照明幅度值从而产生噪声。通过观察发现，照明幅度越大的区域噪声越严重，也即这些区域在增强的过程中噪声被放大的最多或难以学习这些区域的照明幅度。因此我们使用照明幅度图作为我们的先验知识，对图像分成照明幅度低的区域和照明幅度高的区域，这两类区域在增强过程中受噪声影响的程度不一样，通过采取不同的网络对这两类区域进行针对性地增强。
13、所述步骤3的照明幅度掩码的获取包含以下步骤：
14、步骤3.1：加载预训练的先验照明网络参数；
15、步骤3.2：将低光图像输入到先验照明网络中计算得到照明幅度图，并对其使用最小最大值归一化；
16、步骤3.3：将照明幅度图分成大小为p×p的块，如p=4，计算每个块的均值；
17、步骤3.4：设置阈值α，如α=0.5，将均值小于α的块的值置为0，将大于等于α的块的值置为的1。
18、所述步骤4的图像特征输入到残差网络中包含以下步骤：
19、步骤4.1：将图像的特征输入再一次通过两层下采样卷积层进行下采样，此时特征图的尺寸为原来的；
20、步骤4.2：将下采样特征通过残差网络获取深层特征；
21、步骤4.3：将深层特征通过两层上采样卷积层进行上采样，获取增强特征。
22、所述步骤5的图像特征输入到transformer分支中包含以下步骤：
23、步骤5.1：将低光图像的特征分成大小为p×p的块，如p=4，并将其通过嵌入层获取块的嵌入向量；
24、步骤5.2：对嵌入向量添加位置编码，编码方式采取绝对位置编码，编码后的嵌入向量输入到transformer block中；
25、步骤5.3：将含有位置信息的嵌入向量通过归一化层对嵌入维度进行归一化，再通过三个全连接层获取本文档来自技高网...
【技术保护点】
1.一种基于照明幅度图的低光图像增强方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤1中配对数据（低光图像和参考图像）的获取方式：在环境光较差的情况下拍摄低光图像，并保持相机位置不变，在环境光好的情况下且相机内景物保持不变时拍摄相应的参考图像。
3.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤1中数据预处理方式包括：从训练集上随机裁剪下256×256的图片，并对图片进行水平旋转。
4.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤2的先验照明网络包括1层用于捕获图像特征的3×3的卷积层，5个连续的3×3的残差块用于捕获图像的照明信息和1层用于重建照明幅度图的3×3的卷积层，照明幅度图反应低光图像增强时各像素所需放大的倍数。
5.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤3的照明幅度掩码的获取包含以下步骤：
6.根据权利要求1所述的一种基于照明幅度图的低光
7.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤5的图像特征输入到Transformer分支中包含以下步骤：
8.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤6的特征融合通过进行融合，针对增强过程中受噪声影响小的区域，使用残差网络分支获取这类区域的增强特征LNA_fea，针对增强过程中受噪声影响大的区域，使用Transformer分支获取这类区域的增强特征HNA_fea，并将归一化的照明幅度图作为mask来权衡这类特征的融合。
9.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，先验照明网络和低光图像增强网络均使用Charbonnier损失函数进行反向传播并采样Adam优化器（），如无特别说明，所有卷积层之后都添加GeLU激活函数。
...【技术特征摘要】
1.一种基于照明幅度图的低光图像增强方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤1中配对数据（低光图像和参考图像）的获取方式：在环境光较差的情况下拍摄低光图像，并保持相机位置不变，在环境光好的情况下且相机内景物保持不变时拍摄相应的参考图像。
3.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤1中数据预处理方式包括：从训练集上随机裁剪下256×256的图片，并对图片进行水平旋转。
4.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤2的先验照明网络包括1层用于捕获图像特征的3×3的卷积层，5个连续的3×3的残差块用于捕获图像的照明信息和1层用于重建照明幅度图的3×3的卷积层，照明幅度图反应低光图像增强时各像素所需放大的倍数。
5.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤3的照明幅度掩码的获取包...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。