图像增强方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种图像增强方法、装置及计算机可读存储介质，属于图像处理技术领域。所述图像增强方法包括：获取多组训练数据，每组训练数据包括第一图像和第二图像；构建包括第一级和第二级生成式对抗网络的图像增强模型，利用多组训练数据对所述图像增强模型进行训练，其中，以第二图像作为目标图像，基于第一图像的低频特征生成的增强低频图像，对第一级生成式对抗网络进行训练；以第二图像为目标图像，基于第一图像的融合图像生成的增强图像，对第二级生成式对抗网络进行训练；所述融合图像通过融合第一图像和增强低频图像得到；将待增强的第三图像输入训练好的图像增强模型，输出图像增强后的第四图像。本发明专利技术能够提高图像的图像质量。的图像质量。的图像质量。

【技术实现步骤摘要】
图像增强方法、装置及计算机可读存储介质


[0001]本专利技术涉及图像处理
，特别是指一种图像增强方法、装置及计算机可读存储介质。

技术介绍

[0002]全景相机拍摄的全景图像通常具有180度或者更高视场角，然而，相对高质量相机(比如数码单反相机或数字单镜头反射相机)拍摄的平面图像，全景图像在锐度、分辨率和色相差等方面都比较差。
[0003]为了解决以上问题，现有技术提出了对图像进行增强和超分辨率(Super-Resolution，SR)处理的方法，这些方法在图像锐化、去噪、去模糊、对比度改善和色差校正等方面都取得了很好的改进，提升了图像质量。但是，上述方法在图像细节方面通常没有得到很好的恢复，同时还产生了一些伪影。特别是全景相机的极限区域，这种伪影在超分辨率(本文有时也将超分辨率简称为超分)倍数越大时越严重。

技术实现思路

[0004]本专利技术要解决的技术问题是提供一种图像增强方法、装置及计算机可读存储介质，能够提高图像的质量。
[0005]为解决上述技术问题，本专利技术的实施例提供技术方案如下：
[0006]本专利技术的实施例提供一种图像增强方法，包括：
[0007]获取多组训练数据，每组训练数据包括第一图像和第二图像，其中，所述第二图像的图像质量优于所述第一图像的图像质量；
[0008]构建包括第一级生成式对抗网络和第二级生成式对抗网络的图像增强模型，利用所述多组训练数据对所述图像增强模型进行训练，获得训练好的图像增强模型，其中，以所述第二图像作为目标图像，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练；以所述第二图像为目标图像，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练；所述融合图像通过融合所述第一图像和增强低频图像得到；
[0009]将待增强的第三图像输入所述图像增强模型，输出图像增强后的第四图像。
[0010]可选的，所述以所述第二图像作为目标图像，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练，包括：
[0011]从所述第一图像中提取低频特征；
[0012]基于所述低频特征进行图像增强，生成所述第一图像的增强低频图像；
[0013]以所述第二图像作为目标图像，利用所述第一图像的增强低频图像对所述第一级生成式对抗网络进行训练，直至满足预设的训练结束条件。
[0014]可选的，所述第一级生成式对抗网络的损失函数Loss_G_1为：Loss_G_1＝Lcobi1+λ1LG1+η1Lcolor1；
[0015]其中，Lcobi1表示针对所述增强低频图像和所述第二图像的上下文双边损失函数；LG1表示针对所述增强低频图像与第二图像的对抗损失函数；Lcolor1表示针对所述增强低频图像与第二图像的颜色损失函数；λ1和η1均为预设常数。
[0016]可选的，所述以所述第二图像为目标图像，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练，包括：
[0017]对所述第一图像和增强低频图像相同位置的像素进行相加，得到融合图像，并基于所述融合图像，生成所述第一图像的增强图像；
[0018]以所述第二图像作为目标图像，利用所述第一图像的增强图像对所述第二级生成式对抗网络进行训练，直至满足预设的训练结束条件。
[0019]可选的，所述第二级生成式对抗网络的损失函数Loss_G_2为：Loss_G_2＝η2Lcobi-hf+η3Lcobi2+λ2LG2+η4Lcolor2；
[0020]其中，Lcobi2表示针对所述增强图像和所述第二图像的上下文双边损失函数；Lcobi-hf表示针对所述增强图像的高频特征和所述第二图像的高频特征的上下文双边损失函数；LG2表示针对所述增强图像与第二图像的对抗损失函数；Lcolor2表示针对所述增强图像与第二图像的颜色损失函数；η2、η3、λ2和η4均为预设常数。
[0021]可选的，同一组训练数据中的第一图像和第二图像所拍摄的内容相同。
[0022]可选的，所述第一图像为等距柱状投影图或透视图，所述第二图像为透视图。
[0023]可选的，所述第二图像的图像质量优于所述第一图像的图像质量包括以下至少一种：
[0024]所述第二图像的分辨率大于所述第一图像的分辨率；
[0025]所述第二图像的信噪比高于所述第一图像的信噪比；
[0026]所述第二图像的色相差低于所述第一图像的色相差。
[0027]本专利技术实施例还提供了一种图像增强装置，包括：
[0028]获取模块，用于获取多组训练数据，每组训练数据包括第一图像和第二图像，其中，所述第二图像的图像质量优于所述第一图像的图像质量；
[0029]训练模块，用于构建包括第一级生成式对抗网络和第二级生成式对抗网络的图像增强模型，利用所述多组训练数据对所述图像增强模型进行训练，获得训练好的图像增强模型，其中，以所述第二图像作为目标图像，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练；以所述第二图像为目标图像，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练；所述融合图像通过融合所述第一图像和增强低频图像得到；
[0030]图像处理模块，将待增强的第三图像输入所述图像增强模型，输出图像增强后的第四图像。
[0031]可选的，所述第一级生成式对抗网络包括有：
[0032]八度卷积模块，用于从所述第一图像中提取低频特征；
[0033]第一生成网络，用于基于所述第一图像的低频特征进行图像增强，生成所述第一图像的增强低频图像；
[0034]第一对抗网络，用于判断所述增强低频图像与第二图像是否一致；
[0035]所述训练模块，还用于以所述第二图像作为目标图像，利用所述第一图像的增强
低频图像对所述第一级生成式对抗网络进行训练，直至满足预设的训练结束条件。
[0036]可选的，所述第二级生成式对抗网络包括有：
[0037]融合模块，用于对所述第一图像和增强低频图像相同位置的像素进行相加，得到融合图像；
[0038]第二生成网络，用于基于所述融合图像，生成所述第一图像的增强图像；
[0039]第二对抗网络，用于判断所述增强图像与所述第二图像是否一致；
[0040]所述训练模块，还用于以所述第二图像作为目标图像，利用所述第一图像的增强图像对所述第二级生成式对抗网络进行训练，直至满足预设的训练结束条件。
[0041]本专利技术实施例还提供了一种图像增强装置，包括：
[0042]处理器；以及
[0043]存储器，在所述存储器中存储有计算机程序指令，
[0044]其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
[0045]获取多组训练数据，每组训练数据包括第一图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像增强方法，其特征在于，包括：获取多组训练数据，每组训练数据包括第一图像和第二图像，其中，所述第二图像的图像质量优于所述第一图像的图像质量；构建包括第一级生成式对抗网络和第二级生成式对抗网络的图像增强模型，利用所述多组训练数据对所述图像增强模型进行训练，获得训练好的图像增强模型，其中，以所述第二图像作为目标图像，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练；以所述第二图像为目标图像，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练；所述融合图像通过融合所述第一图像和增强低频图像得到；将待增强的第三图像输入所述图像增强模型，输出图像增强后的第四图像。2.根据权利要求1所述的图像增强方法，其特征在于，所述以所述第二图像作为目标图像，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练，包括：从所述第一图像中提取低频特征；基于所述低频特征进行图像增强，生成所述第一图像的增强低频图像；以所述第二图像作为目标图像，利用所述第一图像的增强低频图像对所述第一级生成式对抗网络进行训练，直至满足预设的训练结束条件。3.根据权利要求2所述的图像增强方法，其特征在于，所述第一级生成式对抗网络的损失函数Loss_G_1为：Loss_G_1＝Lcobi1+λ1LG1+η1Lcolor1；其中，Lcobi1表示针对所述增强低频图像和所述第二图像的上下文双边损失函数；LG1表示针对所述增强低频图像与第二图像的对抗损失函数；Lcolor1表示针对所述增强低频图像与第二图像的颜色损失函数；λ1和η1均为预设常数。4.根据权利要求1至3任一项所述的图像增强方法，其特征在于，所述以所述第二图像为目标图像，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练，包括：对所述第一图像和增强低频图像相同位置的像素进行相加，得到融合图像，并基于所述融合图像，生成所述第一图像的增强图像；以所述第二图像作为目标图像，利用所述第一图像的增强图像对所述第二级生成式对抗网络进行训练，直至满足预设的训练结束条件。5.根据权利要求4所述的图像增强方法，其特征在于，所述第二级生成式对抗网络的损失函数Loss_G_2为：Loss_G_2＝η2Lcobi-hf+η3Lcobi2+λ2LG2+η4Lcolor2；其中，Lcobi2表示针对所述增强图像和所述第二图像的上下文双边损失函数；Lcobi-hf表示针对所述增强图像的高频特征和所述第二图像的高频特征的上下文双边损失函数；LG2表示针对所述增强图像与第二图像的对抗损失函数；Lcolor2表示针对所述增强图像与第二图像的颜色损失函数；η2、η3、λ2和η4均为预设常数。6.根据权利要求4所述的图像增强方法，其特征在于，同一组训练数据中的第一图像和第二图像所拍摄的内容相同。7.根据权利要求1所述的图像增强方法，其特征在于，所述第一图像为等距柱状投影图或透视图，所述第二图像为透视图。
8.根据权利要求1所述的图像增强方法，其特征在于，所述第二图像的图像质量优于所述第一图...

【专利技术属性】
技术研发人员：李道静，张宇鹏，王炜，刘丽艳，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：