一种多尺度特征恢复图像增强方法、装置及存储介质制造方法及图纸

本发明专利技术提供了一种多尺度特征恢复图像增强方法、装置及存储介质。该方法包括：获取待增强图像；将待增强图像输入多尺度特征恢复图像增强模型处理获得增强图像；多尺度特征恢复图像增强模型的Y通道增强模块对Y通道图像进行处理获得Y通道增强图像；合成模块用于合成Y通道增强图像、U通道图像和V通道图像，并将合成图像转换为RGB形式；U

【技术实现步骤摘要】
一种多尺度特征恢复图像增强方法、装置及存储介质


[0001]本专利技术涉及图像处理
，具体涉及一种多尺度特征恢复图像增强方法、装置及存储介质。

技术介绍

[0002]在分布均匀的光照下拍摄得到的明亮图像具有明显的特征，包含丰富的细节信息，而当环境光线不足或存在异常曝光问题时，人们可能会拍到光线不佳的图片(这些图片可叫作低光图片)。这些黑暗的图片不仅会影响人类的观察，还会严重影响后续的计算机视觉任务。随着计算机技术的高速发展，越来越多的人选择电子设备来存储和处理数字图像，这使得计算机视觉任务显得尤为重要。低光图像增强通常作为预处理中关键的一环，对于提高数字图像处理效率和性能有着重要的意义。
[0003]现有技术中，对于低光图像增强通常有基于直方图均衡化(Histogram Equalization，HE)的方法、基于Retinex模型的方法、以及基于去雾模型方法等进行图像增强。HE模型的缺点在于灰度的合并和拉伸可能会使得图像发生颜色迁移和细节损失。Retinex模型会影响图像的鲁棒性，甚至可能在特定场景下造成十分明显的色彩失真。基于去雾模型的低光增强方法则是缺乏物理模型支撑，并且其最终增强图的亮度和对比度效果一般，其增强质量仍需提高。此外，目前提到的大多数方法只关注了最终增强结果给观察者带来的视觉享受，而忽略了后续计算机视觉任务所需的图像特征等关键细节信息。特征对于图像来说至关重要的，它可以增强图像的鲁棒性，提高后续目标分割和图像识别操作的效率。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题，提供一种多尺度特征恢复图像增强方法、装置及存储介质。
[0005]为了实现本专利技术的上述目的，根据本专利技术的第一个方面，本专利技术提供了一种多尺度特征恢复图像增强方法，包括：获取待增强图像；将所述待增强图像输入多尺度特征恢复图像增强模型处理获得增强图像；所述多尺度特征恢复图像增强模型包括分解模块、Y通道增强模块、合成模块和U
‑
net多尺度特征恢复模块；所述分解模块将待增强图像分解为Y通道图像、U通道图像和V通道图像；所述Y通道增强模块对Y通道图像进行处理获得Y通道增强图像；所述合成模块用于合成Y通道增强图像、U通道图像和V通道图像，并将合成图像转换为RGB形式；所述U
‑
net多尺度特征恢复模块对RGB形式的合成图像进行处理获得增强图像。
[0006]上述技术方案：待增强图像优选但不限于为亮度较低的低光图像。多尺度特征恢复图像增强模型为“端到端”形式。在YUV空间中，Y、U、V三个通道相互独立，Y通道代表亮度，低光图像相比正常光照图像在亮度上差异较大，因此通过Y通道增强模块增强低光图像的亮度并恢复出那些原来隐藏在黑暗中的主要特征；U
‑
net多尺度特征恢复模块侧重于图像中不同位置的细节特征，从而进一步挖掘并恢复出那些有效的特征信息，多尺度特征恢复
图像增强模型能够兼顾全局图像增强的自然性和局部特征恢复的准确性，有利于后续的计算机视觉任务。
[0007]在本专利技术的一种优选实施方式中，在获取待增强图像后，还包括对待增强图像进行去噪处理的步骤。
[0008]上述技术方案：去除待增强图像中的噪声，减少噪声给后续处理和传输带来的干扰和不确定性。
[0009]在本专利技术的一种优选实施方式中，所述Y通道增强模块包括依次连接第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层和第四激活层。
[0010]上述技术方案：通过四层卷积网络进行Y通道图像增强处理，结构简单。
[0011]在本专利技术的一种优选实施方式中，所述第一卷积层的卷积核大小为9
×
9，所述第一激活层的激活函数为LRelu，所述第二卷积层的卷积核大小为1
×
1，所述第二激活层的激活函数为Relu，第三卷积层和第四卷积层的卷积核大小为5
×
5，所述第三激活层的激活函数、第四激活层的激活函数均为Relu。
[0012]在本专利技术的一种优选实施方式中，所述U
‑
net多尺度特征恢复模块包括顺序连接的第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块，顺序连接的第四上采样模块、第三上采样模块、第二上采样模块和第一上采样模块，以及第一卷积拼接链路、第二卷积拼接链路、第三卷积拼接链路；所述第一下采样模块包括顺序连接的第一卷积层和第一最大池化层，所述第二下采样模块包括顺序连接的第二卷积层和第二最大池化层，所述第三下采样模块包括顺序连接的第三卷积层和第三最大池化层，所述第四下采样模块包括第四卷积层；所述第四上采样模块包括第四反卷积层，第四反卷积层的输入端与第四卷积层的输出端连接，所述第三上采样模块包括顺序连接的第三卷积合并层和第三反卷积层，所述第二上采样模块包括顺序连接的第二卷积合并层和第二反卷积层，所述第一上采样模块包括顺序连接的第一卷积合并层和第一反卷积层；所述第一卷积拼接链路用于连接第一卷积层和第一卷积合并层；所述第二卷积拼接链路用于连接第二卷积层和第二卷积合并层；所述第三卷积拼接链路用于连接第三卷积层和第三卷积合并层。
[0013]上述技术方案：U
‑
net多尺度特征恢复模块可以兼顾高层和低层的感受野，从而增强图像的语义信息表征能力和丰富图像的空间几个特征细节信息。
[0014]在本专利技术的一种优选实施方式中，所述多尺度特征恢复图像增强模型的训练过程为：获取正常光照图像，降低正常光照图像亮度获得与所述正常光照图像对应的低光图像，将低光图像作为训练样本构建训练集；构建多尺度特征恢复图像增强模型的网络结构；利用训练集对多尺度特征恢复图像增强模型的网络结构进行训练，在训练中，利用VGG
‑
16网络求取训练样本对应的正常光照图像与网络输出的增强图像的感知损失，并将所述感知损失作为损失函数的一部分，在训练中根据损失函数结果不断调整多尺度特征恢复图像增强模型的网络结构参数。
[0015]上述技术方案：利用正常光照图像生成低光图像作为训练样本，便于网络能够很好地学习正常图像与低光图像的映射关系；训练中，利用VGG
‑
16网络求取训练样本对应的正常光照图像与网络输出的增强图像的感知损失，通过降低感知损失来调整网络结构参数，以使模型得到更好的增强结果。
[0016]在本专利技术的一种优选实施方式中，所述损失函数I
total
为：其中，i表示像素点索引，1≤i≤N，N表示待增强图像的像素点数量；y
′
di
表示Y通道增强图像的第i个像素点的像素值；y
i
表示训练样本对应的正常光照图像中Y通道图像的第i个像素点的像素值；I
′
i
表示训练样本对应的网络输出的增强图像的第i个像素点的像素值；I
i
表示训练样本对应的正常光照图像的第i个像素点的像素值；L
PL
表示感知损失。...

【技术保护点】

【技术特征摘要】
1.一种多尺度特征恢复图像增强方法，其特征在于，包括：获取待增强图像；将所述待增强图像输入多尺度特征恢复图像增强模型处理获得增强图像；所述多尺度特征恢复图像增强模型包括分解模块、Y通道增强模块、合成模块和U
‑
net多尺度特征恢复模块；所述分解模块将待增强图像分解为Y通道图像、U通道图像和V通道图像；所述Y通道增强模块对Y通道图像进行处理获得Y通道增强图像；所述合成模块用于合成Y通道增强图像、U通道图像和V通道图像，并将合成图像转换为RGB形式；所述U
‑
net多尺度特征恢复模块对RGB形式的合成图像进行处理获得增强图像。2.如权利要求1所述的多尺度特征恢复图像增强方法，其特征在于，在获取待增强图像后，还包括对待增强图像进行去噪处理的步骤。3.如权利要求1或2所述的多尺度特征恢复图像增强方法，其特征在于，所述Y通道增强模块包括依次连接第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层和第四激活层。4.如权利要求3所述的多尺度特征恢复图像增强方法，其特征在于，所述第一卷积层的卷积核大小为9
×
9，所述第一激活层的激活函数为LRelu，所述第二卷积层的卷积核大小为1
×
1，所述第二激活层的激活函数为Relu，第三卷积层和第四卷积层的卷积核大小为5
×
5，所述第三激活层的激活函数、第四激活层的激活函数均为Relu。5.如权利要求1或2或4所述的多尺度特征恢复图像增强方法，其特征在于，所述U
‑
net多尺度特征恢复模块包括顺序连接的第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块，顺序连接的第四上采样模块、第三上采样模块、第二上采样模块和第一上采样模块，以及第一卷积拼接链路、第二卷积拼接链路、第三卷积拼接链路；所述第一下采样模块包括顺序连接的第一卷积层和第一最大池化层，所述第二下采样模块包括顺序连接的第二卷积层和第二最大池化层，所述第三下采样模块包括顺序连接的第三卷积层和第三最大池化层，所述第四下采样模块包括第四卷积层；所述第四上采样模块包括第四反卷积层，第四反卷积层的输入端与第四卷积层的输出端连接，所述第三上采样模块包括顺序连接的第三卷积合并层和第三反卷积层，所述第二上采样模块包括顺序连接的第二卷积合并层和第二反卷积层，所述第一上采样模块包括顺序连接的第一卷积合并层和第一反卷积层；所述第一卷积拼接链路用于连接第一卷积层和第一卷积合并层；所述第二卷积拼接链路用于连接第二卷积层和第二卷积合并层；所述第三卷积拼接链路用于连接第三卷积层和第三卷积合并层。6.如权利要求1或2或4所述的多尺度特征恢复图像增强方法，其特征在于，所述多尺度特征恢复图像增强模型的训练过程为：获取正常光照图像，降低正常光照图像亮度获得与所述正常光照图像对应的低光图像，将低光图像作为训练样本构建训练集；构建多尺度特征恢复图像增强模型的网络结构；利用训练集对多尺度特征恢复图像增强模型的网络结构进行训练，在训练中，利用VGG
‑
16网络求取训练样本对应的正常光照图像与网络输出的增强图像的感知损失，并将所述感知损失作为损失函数的一部分，在训练中根据损失函数结果不断调整多尺度特征恢复
图像增强模型的网络结构参数。7.如权利要求6所述的多尺度特征恢复图像增强方法，其特征在于，所述损失函数I
total

【专利技术属性】
技术研发人员：朱冬，杨易，宋雯，唐国梅，杨颜，仲元红，
申请(专利权)人：重庆七腾科技有限公司，
类型：发明
国别省市：