基于改进深度可分离生成对抗网络的低照度图像增强方法技术

本发明专利技术属于图像增强技术领域，公开了一种基于改进深度可分离生成对抗网络的低照度图像增强方法，包括构建基于改进深度可分离卷积生成对抗网络模型；对构建的深度可分离卷积生成对抗网络模型进行训练；利用训练好的深度可分离卷积生成对抗网络模型进行低照度图像增强。本发明专利技术在保证低度图像增强效果的同时，可以较大减少模型参数量，降低计算复杂度，使得现今研究中存在的内存不足问题得以解决。本发明专利技术引入深度可分离卷积并加以改进，达到减少模型参数的同时也适应于低照度图像增强任务，使得计算效率得以增加。本发明专利技术在与同等的计算复杂度与参数模型数量等级的低照度图像增强算法对比中，效果具有明显的优越性。

【技术实现步骤摘要】
基于改进深度可分离生成对抗网络的低照度图像增强方法
本专利技术属于图像增强
，尤其涉及一种基于改进深度可分离生成对抗网络的低照度图像增强方法。
技术介绍
目前，图像带有真实场景的丰富而详细的信息。通过捕获和处理图像数据，可以开发智能系统来执行各种任务例如物体检测，分类，分割，识别，场景理解和3D重建，然后用于许多实际应用中，例如自动驾驶，视频监视和虚拟增强现实。但是，实际系统严重依赖于输入图像的质量。特别是，它们在高质量输入数据下可能表现良好，但在其他方面却表现不佳。典型的情况是使用在光线不足的环境中捕获的图像，在光线不足的环境中拍摄的图片通常会出现严重的退化，例如不良可见性，低对比度，意外噪音等。弱光无疑会降低大多数基于视觉的算法的性能，因此实际应用强烈要求提高弱光图像的质量无需其他昂贵的硬件，这样的技术有应用范围广。目前，各个领域都能用到图像质量增强，例如手机拍摄，刑事侦查、医学图像、遥感图像、高清电视、数码相机等等。在日常拍摄方面，众多手机品牌的手机，如小米，华为，OPPO，都内置低照度图像增强功能，以达到在光线不足或夜间拍照的情况下拍出质量不错的照片；在刑事侦查中，遇到犯罪事件的时候，公安部门往往首先会想到查看监控视频锁定犯罪嫌疑人。然而在安装监控设备时，为了尽可能捕捉更多的场景，监控设备通常设置为广角模式，因此感兴趣的对象分辨率往往比较低。而且图像易受到天气光照的影响，监控视频图像会出现光照不匀、对比度低、模糊、有噪声的现象。这使得公安部门难以辨认犯罪嫌疑人的脸，从而影响案件侦破速度。图像增强技术能够对监控设备拍到人脸图像进行处理,可以得到清晰的人脸图像，在一定程度上可以帮助公安部门加快案件侦破速度。由此可见，低照度图像增强这一课题的应用价值潜在的商业价值巨大。经过几十年的发展，低照度图像增强已经成为图像处理研究一个重要的方向，它们的最终研究目标就是实现清晰化低质图像，加强细节信息，提高对比度，减少噪声，进而丰富图像内容信息，提高整体感知质量，最终达到满足高级视觉任务的图像要求。虽然目前已有相应低照度增强算法用于恢复图像，但在增强后图片的质量和细节上有待进一步提升，此外，现有算法鲁棒性并不很强，难以适应不同光照环境下的低照度图像，最后考虑到计算受限等智能拍摄设备，目前算法的计算复杂度和时间消耗仍需降低。随着人工智能的快速发展，越来越多的研究者们开始尝试利用新的计算机视觉技术，如深度学习解决图像增强任务，它拥有强大表征能力，可以用来建模更加复杂多样的低照度增强问题。通过上述分析，现有技术存在的问题及缺陷为：(1)现有基于CNN的低照度增强模型存在计算过于复杂和以及内存不足问题。(2)现有低照度图像增强技术中，所使用的模型参数量过多，计算效率低。(3)现有使用参数模型与复杂度都相对较低的算法中，计算的准确率低。(4)现有方法增强图片的质量和细节不佳，鲁棒性并不很强，难以适应不同光照环境下的低照度图像，计算复杂度和时间消耗大。解决以上问题及缺陷的难度为：由于基于CNN的低照度增强模型主要针对于低照度图片这一特殊领域，所以其计算存在复杂性，提高准确性并不像其他简单模型一样意味着模型在大小以及速度方面变得更加高效，且由于内存大小的限制了模型不能通过提高规模来同时提高准确性与效率。解决以上问题及缺陷的意义为：可以有效地在提高准确性的同时增强模型的效率，使得可以在内存受限的情况下完成高级视觉任务，例如图像分类与目标检测。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种基于改进深度可分离生成对抗网络的低照度图像增强方法。本专利技术是这样实现的，一种基于改进深度可分离生成对抗网络的低照度图像增强方法，所述基于改进深度可分离生成对抗网络的低照度图像增强方法包括：步骤一，构建基于改进深度可分离卷积生成对抗网络模型；步骤二，对构建的深度可分离卷积生成对抗网络模型进行训练；训练时算法流程如下所示步骤三，利用训练好的深度可分离卷积生成对抗网络模型进行低照度图像增强。本专利技术通过Tensorflow(一种当今最流行的开源深度学习平台)完成的本专利技术实验。本专利技术提出的网络可以迅速收敛，使用合成的数据集在NVIDIAGeForceGTX1080上训练了20000代。为了防止过度拟合，本专利技术使用翻转和旋转以进行数据增强。本专利技术将批处理大小设置为32，输入图像值被缩放至[0,1]。本专利技术使用在VGG-19网络第5个卷积模块的第4层作为感知损失提取层。在实验中，使用Adam优化器进行训练，本专利技术还使用学习率衰减策略，当损失指标停止改善时本专利技术降低50％的学习率。同时为了稳定Gan训练，本专利技术采用谱归一化和梯度惩罚来约束判别器。进一步，步骤一中，所述改进的深度可分离卷积生成对抗网络模型包括：所述改进的深度可分离卷积生成对抗网络模型包括改进的深度可分离卷积模块与改进倒残差深度可分离卷积模块；所述改进的深度可分离卷积模块第一层为深度卷积层，卷积核尺寸为3*3；第二层为实例正则化层；第三层为逐点卷积层，卷积核尺寸为1*1；第四层为实例正则化层，第五层为ReLU的激活层；所述改进倒残差深度可分离卷积模块第一层为逐点卷积层，卷积核尺寸为1*1；所述逐点卷积层后添加有实例归一化层以及ReLU6的激活层；第二层为深度卷积层，卷积核尺寸为3*3，所述深度卷积层后添加有实例归一化层以及ReLU6的激活层；第三层为逐点卷积层，卷积核尺寸为1*1；所述逐点卷积层后添加有实例归一化层以及线性激活层；第四层为相加层。进一步，步骤二中，所述对构建的深度可分离卷积生成对抗网络模型进行训练包括：(i)增强网络的网络结构细节如表1所示，基于完全卷积网络(FCN)，并利用卷积神经网络的属性，例如翻译不变性和参数共享。网络由多个残差块和卷积块2部分组成。最开始是1个卷积块。中间部分包含4个残差块，保持高度/宽度恒定，每次卷积之后进行实例正则化和ReLU激活。最后是2个卷积块。除残差块外，最后一个卷积层是tanh激活，此外每个卷积层之后只有ReLU激活。表1增强网络的网络结构细节(ii)注意力分支网络的网络结构细节如表2所示，是一种类U-net的全卷积网络结构，这种网络结构设计的特点就是将低层特征和高层特征相融合,能够充分利用图像的所有层次的特征。网络由3部分组成：一个收缩路径来获取多尺度上下文信息,一个对称的扩张路径来恢复多级特征图,以及最后2个卷积层恢复和输入相同大小的注意力图。收缩路径有4个下采样卷积块，每个卷积块包含步长为1的2层卷积层，步长为2的1层“池化层”。扩张路径有4个上采样反卷积块，每个反卷积块包含步长为1的2层卷积层，1个反卷积层和1层特征拼接。最后2个卷积层，1个是反卷积层，1个是普通卷积，但最后一个卷积层的激活函数为tanh。所有卷积核大小为3x3,除最后一层外，卷积之后使用lrelu函数激活。表2注意力分支网络的网络结构细节具体包括：<本文档来自技高网...

【技术保护点】
1.一种基于改进深度可分离生成对抗网络的低照度图像增强方法，其特征在于，所述基于改进深度可分离生成对抗网络的低照度图像增强方法包括：/n构建基于改进深度可分离卷积生成对抗网络模型：所述改进的深度可分离卷积生成对抗网络模型包括改进的深度可分离卷积模块与改进倒残差深度可分离卷积模块；/n所述改进的深度可分离卷积模块第一层为深度卷积层，卷积核尺寸为3*3；第二层为实例正则化层；第三层为逐点卷积层，卷积核尺寸为1*1；第四层为实例正则化层，第五层为ReLU的激活层；/n所述改进倒残差深度可分离卷积模块第一层为逐点卷积层，卷积核尺寸为1*1；所述逐点卷积层后添加有实例归一化层以及ReLU6的激活层；第二层为深度卷积层，卷积核尺寸为3*3，所述深度卷积层后添加有实例归一化层以及ReLU6的激活层；第三层为逐点卷积层，卷积核尺寸为1*1；所述逐点卷积层后添加有实例归一化层以及线性激活层；第四层为相加层。/n

【技术特征摘要】
1.一种基于改进深度可分离生成对抗网络的低照度图像增强方法，其特征在于，所述基于改进深度可分离生成对抗网络的低照度图像增强方法包括：
构建基于改进深度可分离卷积生成对抗网络模型：所述改进的深度可分离卷积生成对抗网络模型包括改进的深度可分离卷积模块与改进倒残差深度可分离卷积模块；
所述改进的深度可分离卷积模块第一层为深度卷积层，卷积核尺寸为3*3；第二层为实例正则化层；第三层为逐点卷积层，卷积核尺寸为1*1；第四层为实例正则化层，第五层为ReLU的激活层；
所述改进倒残差深度可分离卷积模块第一层为逐点卷积层，卷积核尺寸为1*1；所述逐点卷积层后添加有实例归一化层以及ReLU6的激活层；第二层为深度卷积层，卷积核尺寸为3*3，所述深度卷积层后添加有实例归一化层以及ReLU6的激活层；第三层为逐点卷积层，卷积核尺寸为1*1；所述逐点卷积层后添加有实例归一化层以及线性激活层；第四层为相加层。


2.如权利要求1所述基于改进深度可分离生成对抗网络的低照度图像增强方法，其特征在于，构建基于改进深度可分离卷积生成对抗网络模型后，还需进行：
对构建的深度可分离卷积生成对抗网络模型进行训练；
利用训练好的深度可分离卷积生成对抗网络模型进行低照度图像增强。


3.如权利要求2所述基于改进深度可分离生成对抗网络的低照度图像增强方法，其特征在于，所述对构建...

【专利技术属性】
技术研发人员：王春枝，严灵毓，魏明，谭敏，叶志伟，刘爱军，王早宁，张文栋，官沙，
申请(专利权)人：湖北工业大学，武汉烽火技术服务有限公司，烽火通信科技股份有限公司，
类型：发明
国别省市：湖北;42