一种图像增强方法、装置及存储介质制造方法及图纸

本发明专利技术提供了一种图像增强方法、装置及存储介质。图像增强方法包括：获取待增强图像在YUV颜色空间的Y通道图像并输入训练好的CNN网络获得Y通道初步增强图像；对Y通道初步增强图像进行超像素分割，将Y通道初步增强图像的分割结果复制到Y通道图像上；将超像素分割后的Y通道初步增强图像和超像素分割后的Y通道图像输入ANP网络获得Y通道最终增强图像；合成Y通道最终增强图像、U通道图像和V通道图像得到增强图像。利用CNN网络增强Y通道图像亮度恢复隐藏的主要特征；对初步增强图像进行超像素分割和ANP神经网络处理实现对图像中不同区域的自适应增强，挖掘不同位置的细节特征，促进后续计算机视觉任务的高效进行。计算机视觉任务的高效进行。计算机视觉任务的高效进行。

【技术实现步骤摘要】
一种图像增强方法、装置及存储介质


[0001]本专利技术涉及图像处理
，具体涉及一种图像增强方法、装置及存储介质。

技术介绍

[0002]在分布均匀的光照下拍摄得到的明亮图像具有明显的特征，包含丰富的细节信息，而当环境光线不足或存在异常曝光问题时，人们可能会拍到光线不佳的图片(这些图片可叫作低光图片)。这些黑暗的图片不仅会影响人类的观察，还会严重影响后续的计算机视觉任务。随着计算机技术的高速发展，越来越多的人选择电子设备来存储和处理数字图像，这使得计算机视觉任务显得尤为重要。低光图像增强通常作为预处理中关键的一环，对于提高数字图像处理效率和性能有着重要的意义。
[0003]现有技术中，对于低光图像增强通常有基于直方图均衡化(Histogram Equalization，HE)的方法、基于Retinex模型的方法、以及基于去雾模型方法等进行图像增强。HE模型的缺点在于灰度的合并和拉伸可能会使得图像发生颜色迁移和细节损失。Retinex模型会影响图像的鲁棒性，甚至可能在特定场景下造成十分明显的色彩失真。基于去雾模型的低光增强方法则是缺乏物理模型支撑，并且其最终增强图的亮度和对比度效果一般，其增强质量仍需提高。此外，目前提到的大多数方法只关注了最终增强结果给观察者带来的视觉享受，而忽略了后续计算机视觉任务所需的图像特征等关键细节信息。特征对于图像来说至关重要的，它可以增强图像的鲁棒性，提高后续目标分割和图像识别操作的效率。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题，提供一种图像增强方法、装置及存储介质。
[0005]为了实现本专利技术的上述目的，根据本专利技术的第一个方面，本专利技术提供了一种图像增强方法，包括：获取Y通道图像在YUV颜色空间的Y通道图像、U通道图像和V通道图像；将所述Y通道图像输入训练好的CNN网络获得Y通道初步增强图像；对所述Y通道初步增强图像进行超像素分割，将Y通道初步增强图像的分割结果复制到Y通道图像上；将超像素分割后的Y通道初步增强图像和超像素分割后的Y通道图像输入ANP网络获得Y通道最终增强图像；合成Y通道最终增强图像、U通道图像和V通道图像得到增强图像。
[0006]上述技术方案：待增强图像一般为亮度较低的低光图像，YUV颜色空间中表示亮度的Y通道与表示色度的U和V通道分离，选择对Y通道图像进行处理能够有效增强低光图像。利用CNN网络增强Y通道图像的亮度并恢复隐藏在黑暗中的主要特征；从图像局部出发，对Y通道初步增强图像进行超像素分割和ANP神经网络处理以实现对图像中不同区域的自适应增强，进一步挖掘图像中不同位置的细节特征，在带来更优秀视觉体验的同时，促进后续计算机视觉任务的高效进行。将分割结果直接复制到相应的Y通道图像上，以便在Y通道图像与Y通道初步增强图像之间具有完全一致的分割区域。
[0007]在本专利技术的一种优选实施方式中，所述CNN网络训练过程包括：获取多个初始图像，降低所述初始图像的亮度得到所述初始图像对应的待增强图像，将待增强图像的Y通道图像作为CNN训练样本构建CNN训练集；构建CNN网络；利用CNN训练集对CNN网络进行迭代训练。
[0008]上述技术方案：初始图像一般是明亮图像，其具有均匀的光照分布和明显的特征，包含丰富的细节信息，将明亮图像降低亮度来作为训练样本，这样明亮清晰的图像特征才可以尽可能地被CNN网络所学习。
[0009]在本专利技术的一种优选实施方式中，CNN网络训练过程中以训练样本与该训练样本对应的初始图像的Y通道图像的均方误差为损失函数。
[0010]上述技术方案：通过最小化均方误差来进行反馈更新网络参数，均方误差越小代表着CNN网络输出图像与目标图像越接近，图像恢复效果越好。
[0011]在本专利技术的一种优选实施方式中，所述CNN网络包括依次连接第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层和第四激活层。
[0012]上述技术方案：CNN采用浅层网络结构，结构简单，训练时间短，能够完成对待增强图像的特征提取、特征映射和图像恢复，作为本专利技术图像增强方法中的先验步骤。
[0013]在本专利技术的一种优选实施方式中，所述第一卷积层的卷积核大小为9
×
9，所述第一激活层的激活函数为LRelu，所述第二卷积层的卷积核大小为1
×
1，所述第二激活层的激活函数为Relu，第三卷积层和第四卷积层的卷积核大小为5
×
5，所述第三激活层、第四激活层的激活函数为Relu。
[0014]在本专利技术的一种优选实施方式中，所述将超像素分割后的Y通道初步增强图像和超像素分割后的Y通道图像输入ANP网络获得Y通道最终增强图像的具体过程为：步骤A，设Y通道初步增强图像和Y通道图像均超像素分割为M块图像区域，Y通道初步增强图像和Y通道图像的M块图像区域一一对应，M为正整数；步骤B，将Y通道图像的第一块图像区域和Y通道初步增强图像的第一块图像区域输入ANP网络获得第一次迭代结果；步骤C，组合Y通道图像的第n块图像区域与第n
‑
1次迭代结果获得第一组合图像，组合Y通道初步增强图像的第一块图像区域到第n块图像区域获得第二组合图像，将第一组合图像和第二组合图像输入ANP网络获得第n次迭代结果；n为正整数，且2≤n≤N；步骤D，若n等于M，停止迭代，输出第n次迭代结果，若n小于M，令n＝n+1，返回步骤C。
[0015]上述技术方案：当一块图像区域经过ANP网络被初步增强后，它还需与下一块图像区域拼接结合，然后被一起发送到ANP网络进行下一次迭代的增强步骤，最后不停地重复此步骤，直到Y通道图像中所有图像区域都已完成了增强的过程，这环环相扣的增强过程可以使得ANP网络结构更好地着眼于图像局部区域中各种特征细节信息，同时也使得各图像区域之间的拼接和融合更加自然，从而获得更加优秀的整体增强结果。
[0016]在本专利技术的一种优选实施方式中，所述ANP网络包括第一MLP模块、注意力机制模块、正态分布特征求取模块和第二MLP模块；所述第一MLP模块的输出端分别与注意力机制模块的输入端和正态分布特征获取模块的输入端连接，注意力机制模块的输出端与第二MLP模块的输入端连接，正态分布特征获取模块的输出端与第二MLP模块的输入端连接。
[0017]上述技术方案：ANP结合了一种注意力机制，可以对相同输入数据之间的存在多个可能的映射分布进行推理，可以更好地实现图像增强。
[0018]在本专利技术的一种优选实施方式中，所述注意力机制模块采用多头注意力机制。
[0019]上述技术方案：多头注意力机制为多维，可以共同注意图像中来自不同空问不同位置的信息，在图像上可以侧重于更多的细节特征，使得增强图像具有更多细节特征，有利于执行计算机视觉任务。
[0020]为了实现本专利技术的上述目的，根据本专利技术的第二个方面，本专利技术提供了一种图像增强装置，包括：图像获取模块，用于获取待增强图像在YUV颜色空间的Y通道图像、U通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像增强方法，其特征在于，包括：获取待增强图像在YUV颜色空间的Y通道图像、U通道图像和V通道图像；将所述Y通道图像输入训练好的CNN网络获得Y通道初步增强图像；对所述Y通道初步增强图像进行超像素分割，将Y通道初步增强图像的分割结果复制到Y通道图像上；将超像素分割后的Y通道初步增强图像和超像素分割后的Y通道图像输入ANP网络获得Y通道最终增强图像；合成Y通道最终增强图像、U通道图像和V通道图像得到增强图像。2.如权利要求1所述的图像增强方法，其特征在于，所述CNN网络训练过程包括：获取多个初始图像，降低所述初始图像的亮度得到所述初始图像对应的待增强图像，将待增强图像的Y通道图像作为CNN训练样本构建CNN训练集；构建CNN网络；利用CNN训练集对CNN网络进行迭代训练。3.如权利要求2所述的图像增强方法，其特征在于，CNN网络训练过程中以训练样本与该训练样本对应的初始图像的Y通道图像的均方误差为损失函数。4.如权利要求2或3所述的图像增强方法，其特征在于，所述CNN网络包括依次连接第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层和第四激活层。5.如权利要求4所述的图像增强方法，其特征在于，所述第一卷积层的卷积核大小为9
×
9，所述第一激活层的激活函数为LRelu，所述第二卷积层的卷积核大小为1
×
1，所述第二激活层的激活函数为Relu，第三卷积层和第四卷积层的卷积核大小为5
×
5，所述第三激活层、第四激活层的激活函数为Relu。6.如权利要求1或2或3或5所述的图像增强方法，其特征在于，所述将超像素分割后的Y通道初步增强图像和超像素分割后的Y通道图像输入ANP网络获得Y通道最终增强图像的具体过程为：步骤A，设Y通道初步增强图像和Y通道图像均超像素分割为M块图像区域，Y通道初步增强图像和Y通道图像的M块图像区...

【专利技术属性】
技术研发人员：朱冬，杨易，方向明，张建，杨颜，仲元红，
申请(专利权)人：重庆七腾科技有限公司，
类型：发明
国别省市：