基于生成对抗网络的极低照度图像增强方法技术

本发明专利技术涉及一种基于生成对抗网络的极低照度图像增强方法，包括：通过拍照设备的成像传感器获取拍摄图像的原始图像数据，并对原始图像数据进行预处理；其中，所述原始图像数据为拜尔阵列数据Bayer arrays；将预处理后的图像数据输入生成对抗网络；其中，所述生成对抗网络包括生成模型和判别模型，所述生成模型用于图像增强，所述判别模型用于训练学习，使生成图像增强至最优的图像；将生成对抗网络的输出结果进行处理，并保存为图像。通过本发明专利技术，能够将极低照度或夜间环境下拍摄的欠曝光，较暗的图像，通过本专利方法增强为清晰明亮的照片。

【技术实现步骤摘要】
基于生成对抗网络的极低照度图像增强方法
本专利技术涉及计算机视觉、深度学习领域以及计算摄影学。
技术介绍
伴随着社会的快速发展，人们对于图像的自动化处理的需求也越来越多。随着深度学习快速发展，越来越多的计算机视觉任务都得到很好的解决，但是，人们在极低照度环境下或夜间拍照时仍旧会存在很多让人不满意的情况。尤其是使用手机或者较差的设备时，在光线环境极差的环境中拍摄照片时，设备的成像质量时常让我们感到失望。因此，研究极低照度环境下或夜晚图像增强技术是十分有意义的，这可以大大降低许多夜间监控设备的成本，提高它们的能力，同时可以增强智能手机的成像能力。目前，大部分的极低照度环境下或夜间图像增强技术都是采用传统的方法，例如使用直方图均衡、帧间融合、retinex等方法，这些方法在许多方面都取得了很好的效果，但是仍然存在不足，例如：对于增强的图像会引入很多的噪点、对图像的还原不够真实等问题。
技术实现思路
本专利技术的目的在于避免现有技术的不足之处而提供一种基于生成对抗网络的极低照度图像增强方法。本专利技术的目的可以通过采用如下的技术措施来实现，设计一种基于生成对抗网络的极低照度图像增强方法，包括：通过拍照设备的成像传感器获取拍摄图像的原始图像数据(拜尔阵列(Bayerarrays)数据)，并对原始图像数据进行预处理；将预处理后的图像数据输入生成对抗网络；其中，所述生成对抗网络包括生成模型和判别模型，所述生成模型用于生成图像并进行图像增强，所述判别模型用于训练学习，使生成图像增强至最优的图像；将生成对抗网络模型的输出结果进行处理，并保存为图像。其中，对原始数据进行预处理的步骤包括：对采集到的原始图像数据进行黑电平校正；对黑电平校正后的图像数据中的BayerRaw的信号进行处理。其中，通过黑电平校正，将原始图像的像素值归一化到[0，1]之间。其中，对黑电平校正后的图像数据中的BayerRaw的信号进行处理，是对黑电平校正后的图像数据进行变换，将BayerRaw信号的R，G，B像素分别取出，并将数据格式转化为四通道的格式。其中，生成模型的模型结构为卷积与反卷积相结合的结构。其中，生成模型包括10个卷积层、4个pooling层和4个反卷积层；第一层有两个卷积层和一个pooling层，卷积核的个数为32，卷积窗口的大小3*3，激活函数为lrelu函数，pooling层使用的是maxpooling，窗口大小为2*2；第二层有两个卷积层和一个pooling层，卷积核的个数为64，卷积窗口的大小3*3，激活函数为lrelu函数，pooling层使用的是maxpooling，窗口大小为2*2；第三层有两个卷积层和一个pooling层，卷积核的个数为128，卷积窗口的大小3*3，激活函数为lrelu函数，pooling层使用的是maxpooling，窗口大小为2*2；第四层有两个卷积层和一个pooling层，卷积核的个数为256，卷积窗口的大小3*3，激活函数为lrelu函数，pooling层使用的是maxpooling，窗口大小为2*2；第五层仅有两个卷积层，卷积核的个数为512，卷积窗口的大小3*3，激活函数为lrelu函数；第六层为一个反卷积层和两个卷积层的组合，反卷积滤波器的的卷积核的窗口大小为2*2，卷积核的个数为256，图像通道数为512，紧接着是两层卷积操作，卷积核的个数都是256，卷积核的窗口大小为3*3，激活函数为lrelu；第七层为一个反卷积层和两个卷积层的组合，反卷积滤波器的的卷积核的窗口大小为2*2，卷积核的个数为128，图像通道数为256，紧接着是两层卷积操作，卷积核的个数都是128，卷积核的窗口大小为3*3，激活函数为lrelu；第八层为一个反卷积层和两个卷积层的组合，反卷积滤波器的的卷积核的窗口大小为2*2，卷积核的个数为64，图像通道数为128，紧接着是两层卷积操作，卷积核的个数都是64，卷积核的窗口大小为3*3，激活函数为lrelu；第九层为一个反卷积层和两个卷积层的组合，反卷积滤波器的的卷积核的窗口大小为2*2，卷积核的个数为32，图像通道数为64，紧接着是两层卷积操作，卷积核的个数都是32，卷积核的窗口大小为3*3，激活函数为lrelu；第十层是一个卷积结构，卷积核的个数为12，卷积核的大小为1*1，未使用激活函数。其中，判别模型的结构为一个五层的卷积层和一个全连接层，其中模型的前五层卷积层的结构与生成模型相同，第一层全连接层的输出层有1024个神经元，第二层全连接层的输出层有1个神经元，输出一个概率值，用来判别输入的图像是来自于生成模型增强的图像还是来自于真是的图像(真实的图像是指在明亮场景下拍摄的图像)。。区别于现有技术，本专利技术的基于生成对抗网络的极低照度图像增强方法，包括：通过拍照设备的成像传感器获取拍摄图像的原始图像数据，并对原始图像数据进行预处理；其中，所述原始图像数据为拜尔阵列数据Bayerarrays；将预处理后的图像数据输入生成对抗网络；其中，所述生成对抗网络包括生成模型和判别模型，所述生成模型用于图像增强，所述判别模型用于训练学习，使生成图像增强至最优的图像；将生成对抗网络的输出结果进行处理，并保存为图像。通过本专利技术，能够将极低照度环境下或夜间拍摄的欠曝光，较暗的相片，增强为清晰明亮的照片。附图说明图1是本专利技术提供的一种基于生成对抗网络的极低照度图像增强方法的流程示意图。图2是本专利技术提供的一种基于生成对抗网络的极低照度图像增强方法的逻辑示意图。图3是本专利技术提供的一种基于生成对抗网络的极低照度图像增强方法数据预处理的示意图。图4是本专利技术提供的一种基于生成对抗网络的极低照度图像增强方法中整体模型的结构图。图5是本专利技术提供的一种基于生成对抗网络的极低照度图像增强方法中VggLoss的结构示意图。图6是本专利技术提供的通过Sony相机获取的极低照度下拍摄的原始图像。图7是本专利技术提供的一种基于生成对抗网络的极低照度图像增强方法对图6原始图像进行增强后的效果图。具体实施方式下面结合具体实施方式对本专利技术的技术方案作进一步更详细的描述。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本专利技术保护的范围。参阅图1和图2，图1是本专利技术提供的一种基于生成对抗网络的极低照度图像增强方法的流程示意图，图2是本专利技术提供的一种基于生成对抗网络的极低照度图像增强方法的逻辑示意图。该方法的步骤包括：S110：通过拍摄设备的成像传感器获取拍摄图像的原始图像数据(Bayerarrays)，并对原始图像数据进行预处理。如图3所示，对原始数据进行预处理的步骤包括：对采集到的原始图像数据进行黑电平校正。通过黑电平校正，消除暗电流造成的成像干扰，并将像素值归一化到[0，1]之间。对黑电平校正后的图像数据进行处理。对黑电平校正后的图像数据进行处理，是对黑电平校正后的图像数据进行变换，将数据(Bayerarrays)的R，G，B像素分别取出，并将数据原来的单通道格式转化为四通道格式，此时数据的长为原来的1/2，宽为原来的1/2。S120：将预处理后的图像数据输入生成对抗网络；其中，所述生成对抗网络包括生成模型和判别模本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的极低照度图像增强方法，其特征在于，包括：通过拍照设备的成像传感器获取拍摄图像的原始图像数据，并对原始图像数据进行预处理；其中，所述原始图像数据为拜尔阵列数据Bayer arrays；将预处理后的图像数据输入生成对抗网络；其中，所述生成对抗网络包括生成模型和判别模型，所述生成模型用于图像增强，所述判别模型用于训练学习，使生成图像增强至最优的图像；将生成对抗网络的输出结果进行处理，并保存为图像。

【技术特征摘要】
1.一种基于生成对抗网络的极低照度图像增强方法，其特征在于，包括：通过拍照设备的成像传感器获取拍摄图像的原始图像数据，并对原始图像数据进行预处理；其中，所述原始图像数据为拜尔阵列数据Bayerarrays；将预处理后的图像数据输入生成对抗网络；其中，所述生成对抗网络包括生成模型和判别模型，所述生成模型用于图像增强，所述判别模型用于训练学习，使生成图像增强至最优的图像；将生成对抗网络的输出结果进行处理，并保存为图像。2.根据权利要求1所述的基于生成对抗网络的极低照度图像增强方法，其特征在于，对原始数据进行预处理的步骤包括：对采集到的原始图像数据进行黑电平校正；对黑电平校正后的图像数据进行处理。3.根据权利要求2所述的基于生成对抗网络的极低照度图像增强方法，其特征在于，通过黑电平校正，消除暗电流造成的成像干扰，并将像素值归一化到[0，1]之间。4.根据权利要求2所述的基于生成对抗网络的极低照度图像增强方法，其特征在于，对黑电平校正后的图像数据进行处理，是对黑电平校正后的图像数据进行变换，将Bayerarrays的R，G，B像素分别取出，并将数据格式转化为四通道的格式。5.根据权利要求1所述的基于生成对抗网络的极低照度图像增强方法，其特征在于，所述生成模型的模型结构为卷积与反卷积相结合的结构，所述的判别模型的模型结构为卷积与全连接相结合的结构。6.根据权利要求5所述的基于生成对抗网络的极低照度图像增强方法，其特征在于，所述生成模型包括10个卷积层、4个pooling层和4个反卷积层；第一层有两个卷积层和一个pooling层，卷积核的个数为32，卷积窗口的大小3*3，激活函数为lrelu函数，pooling层使用的是maxpooling，窗口大小为2*2；第二层有两个卷积层和一个pooling层，卷积核的个数为64，卷积窗口的大小3*3，激活函数为lrelu函数，pooling层使用的是maxpooling，窗口大小为2*2；第三层有两个卷积层和一个pooling层，卷积核的个...

【专利技术属性】
技术研发人员：钱宇华，王克琪，吴鹏，刘鹏，温超，
申请(专利权)人：山西大学，
类型：发明
国别省市：山西,14