图像增强方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种图像增强方法、装置、设备及存储介质，属于图像处理技术领域。方法包括：获取多组成对样本数据和多组非成对样本数据，每组成对样本数据包括图像内容相同但图像质量不同的两个图像，每组非成对样本数据包括图像内容和图像质量均不同的两个图像，且所述多组非成对样本数据包括多个领域的图像；基于所述多组成对样本数据和所述多组非成对样本数据，对图像增强模型进行训练，得到训练后的所述图像增强模型；在获取到待增强图像的情况下，通过训练后的所述图像增强模型对所述待增强图像进行图像增强，得到增强后的图像。该方案能够使得图像增强模型生成保真度较高的图像，且提高了图像增强模型的泛化能力。且提高了图像增强模型的泛化能力。且提高了图像增强模型的泛化能力。

【技术实现步骤摘要】
图像增强方法、装置、设备及存储介质


[0001]本申请涉及图像处理
，特别涉及一种图像增强方法、装置、设备及存储介质。

技术介绍

[0002]受限于摄影技术和摄影设备，用户所拍摄的图像的图像质量较差，需要通过图像增强技术对所拍摄的图像进行处理，以提高该图像的图像质量。其中，图像增强是指改善图像的视觉效果，让改善后的图像更加符合人们的审美。
[0003]目前，可以将图像质量较差的图像输入到图像增强模型中，由图像增强模型对该图像进行处理，输出图像质量较高的图像。其中，图像增强模型是通过成对样本数据进行训练得到的，成对样本数据包括从互联网中获取的任一低质图像、以及由专业人员通过PS(Photoshop，一种修图工具)等技术手段对该低质图像进行处理得到的高质图像。
[0004]由于PS过程非常耗时，导致成对样本数据的数量较少，训练出来的图像增强模型的泛化能力较差。

技术实现思路

[0005]本申请实施例提供了一种图像增强方法、装置、设备及存储介质，提高了图像增强模型的泛化能力。该技术方案如下：
[0006]一方面，提供了一种图像增强方法，所述方法包括：
[0007]获取多组成对样本数据和多组非成对样本数据，每组成对样本数据包括图像内容相同但图像质量不同的两个图像，每组非成对样本数据包括图像内容和图像质量均不同的两个图像，且所述多组非成对样本数据包括多个领域的图像；基于所述多组成对样本数据和所述多组非成对样本数据，对图像增强模型进行训练，得到训练后的所述图像增强模型，所述成对样本数据用于使得训练后的所述图像增强模型学习到增强输入图像的图像质量的能力，所述非成对样本数据用于使得训练后的所述图像增强模型学习到适应多个领域的输入图像的能力；在获取到待增强图像的情况下，通过训练后的所述图像增强模型对所述待增强图像进行图像增强，得到增强后的图像。
[0008]在一种可能实现方式中，所述基于所述第五图像和所述第二图像，确定第一损失值，包括：对所述第五图像和所述第二图像进行处理，得到第四损失值；对所述第五图像的图像特征和所述第二图像的图像特征进行处理，得到第五损失值；将所述第四损失值和所述第五损失值进行加权处理，得到所述第一损失值。
[0009]在一种可能实现方式中，所述对所述第五图像和所述第二图像进行处理，得到第四损失值，包括：获取所述第五图像和所述第二图像的绝对值之差；获取所述第五图像和所述第二图像的欧式距离之差；根据所述图像增强模型的训练次数，确定所述绝对值之差的第一权重和所述欧式距离之差的第二权重；基于所述第一权重和所述第二权重，对所述绝对值之差和所述欧式距离之差进行加权处理，得到所述第四损失值。
[0010]一方面，提供了一种图像增强装置，所述装置包括：
[0011]样本获取模块，用于获取多组成对样本数据和多组非成对样本数据，每组成对样本数据包括图像内容相同但图像质量不同的两个图像，每组非成对样本数据包括图像内容和图像质量均不同的两个图像，且所述多组非成对样本数据包括多个领域的图像；
[0012]训练模块，用于基于所述多组成对样本数据和所述多组非成对样本数据，对图像增强模型进行训练，得到训练后的所述图像增强模型，所述成对样本数据用于使得训练后的所述图像增强模型学习到增强输入图像的图像质量的能力，所述非成对样本数据用于使得训练后的所述图像增强模型学习到适应多个领域的输入图像的能力；
[0013]处理模块，用于在获取到待增强图像的情况下，通过训练后的所述图像增强模型对所述待增强图像进行图像增强，得到增强后的图像。
[0014]在一种可能实现方式中，所述每组成对样本数据包括第一图像和第二图像，且所述第二图像的图像质量高于所述第一图像，所述每组非成对样本数据包括第三图像和第四图像，且所述第四图像的图像质量高于所述第三图像；
[0015]所述训练模块，包括：
[0016]对于任一组成对样本数据和任一组非成对样本数据，
[0017]第一处理单元，用于通过所述图像增强模型，对所述成对样本数据中的第一图像进行图像增强，得到第五图像；
[0018]第二处理单元，用于通过所述图像增强模型，对所述非成对样本数据中的第三图像进行图像增强，得到第六图像；
[0019]训练单元，用于基于所述第五图像和所述第二图像之间的差异，以及所述第六图像和所述第四图像之间的质量差异，训练所述图像增强模型，得到训练后的所述图像增强模型。
[0020]在一种可能实现方式中，所述第一处理单元，包括：
[0021]调整子单元，用于调整所述第一图像的曝光度，得到曝光度为第一数值的第七图像和曝光度为第二数值的第八图像；
[0022]第一处理子单元，用于通过所述图像增强模型，对所述第七图像进行图像增强，得到第九图像；
[0023]第二处理子单元，用于通过所述图像增强模型，对所述第八图像进行图像增强，得到第十图像；
[0024]融合子单元，用于通过所述图像增强模型，将所述第九图像和所述第十图像进行融合，得到所述第五图像。
[0025]在一种可能实现方式中，所述第一处理子单元，用于通过所述图像增强模型，对所述第七图像进行特征提取，得到所述第七图像的第一特征图；通过所述图像增强模型，对所述第一特征图进行全局信息和局部信息增强，得到第二特征图；通过所述图像增强模型，对所述第二特征图进行解码，得到所述第九图像。
[0026]在一种可能实现方式中，所述融合子单元，用于通过所述图像增强模型，对用于生成所述第九图像的第二特征图和用于生成所述第十图像的第三特征图进行特征提取，得到第四特征图，所述第四特征图用于表示相同区域内所述第九图像和所述第十图像的相对质量情况；通过所述图像增强模型，基于所述第四特征图，将所述第九图像和所述第十图像进
行融合，得到所述第五图像。
[0027]在一种可能实现方式中，所述第二处理单元，包括：
[0028]特征提取子单元，用于通过所述图像增强模型，对所述第三图像进行特征提取，得到所述第三图像的第五特征图；
[0029]增强子单元，用于通过所述图像增强模型，对所述第五特征图进行全局信息和局部信息增强，得到第六特征图；
[0030]解码子单元，用于通过所述图像增强模型，对所述第六特征图进行解码，得到所述第六图像。
[0031]在一种可能实现方式中，所述增强子单元，用于通过所述图像增强模型，对所述第五特征图的每一行进行特征提取，得到第七特征图；通过所述图像增强模型，对所述第五特征图的每一列进行特征提取，得到第八特征图；通过所述图像增强模型，将所述第七特征图和所述第八特征图进行融合，得到第九特征图；通过所述图像增强模型，基于所述第九特征图，对所述第五特征图进行全局信息增强，得到第十特征图；通过所述图像增强模型，对所述第十特征图进行特征提取，得到第十一特征图；通过所述图像增强模型，基于所述第十一特征图，对所述第十特征图进行局部信息增强，得到第十二特征图；通过所述图像增本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像增强方法，其特征在于，所述方法包括：获取多组成对样本数据和多组非成对样本数据，每组成对样本数据包括图像内容相同但图像质量不同的两个图像，每组非成对样本数据包括图像内容和图像质量均不同的两个图像，且所述多组非成对样本数据包括多个领域的图像；基于所述多组成对样本数据和所述多组非成对样本数据，对图像增强模型进行训练，得到训练后的所述图像增强模型，所述成对样本数据用于使得训练后的所述图像增强模型学习到增强输入图像的图像质量的能力，所述非成对样本数据用于使得训练后的所述图像增强模型学习到适应多个领域的输入图像的能力；在获取到待增强图像的情况下，通过训练后的所述图像增强模型对所述待增强图像进行图像增强，得到增强后的图像。2.根据权利要求1所述的方法，其特征在于，所述每组成对样本数据包括第一图像和第二图像，且所述第二图像的图像质量高于所述第一图像，所述每组非成对样本数据包括第三图像和第四图像，且所述第四图像的图像质量高于所述第三图像；所述基于所述多组成对样本数据和所述多组非成对样本数据，对图像增强模型进行训练，得到训练后的所述图像增强模型，包括：对于任一组成对样本数据和任一组非成对样本数据，通过所述图像增强模型，对所述成对样本数据中的第一图像进行图像增强，得到第五图像；通过所述图像增强模型，对所述非成对样本数据中的第三图像进行图像增强，得到第六图像；基于所述第五图像和所述第二图像之间的差异，以及所述第六图像和所述第四图像之间的质量差异，训练所述图像增强模型，得到训练后的所述图像增强模型。3.根据权利要求2所述的方法，其特征在于，所述通过所述图像增强模型，对所述成对样本数据中的第一图像进行图像增强，得到第五图像，包括：调整所述第一图像的曝光度，得到曝光度为第一数值的第七图像和曝光度为第二数值的第八图像；通过所述图像增强模型，对所述第七图像进行图像增强，得到第九图像；通过所述图像增强模型，对所述第八图像进行图像增强，得到第十图像；通过所述图像增强模型，将所述第九图像和所述第十图像进行融合，得到所述第五图像。4.根据权利要求3所述的方法，其特征在于，所述通过所述图像增强模型，对所述第七图像进行图像增强，得到第九图像，包括：通过所述图像增强模型，对所述第七图像进行特征提取，得到所述第七图像的第一特征图；通过所述图像增强模型，对所述第一特征图进行全局信息和局部信息增强，得到第二特征图；通过所述图像增强模型，对所述第二特征图进行解码，得到所述第九图像。5.根据权利要求3所述的方法，其特征在于，所述通过所述图像增强模型，将所述第九图像和所述第十图像进行融合，得到所述第五图像，包括：通过所述图像增强模型，对用于生成所述第九图像的第二特征图和用于生成所述第十
图像的第三特征图进行特征提取，得到第四特征图，所述第四特征图用于表示相同区域内所述第九图像和所述第十图像的相对质量情况；通过所述图像增强模型，基于所述第四特征图，将所述第九图像和所述第十图像进行融合，得到所述第五图像。6.根据权利要求2所述的方法，其特征在于，所述通过所述图像增强模型，对所述非成对样本数据中的第三图像进行图像增强，得到第六图像，包括：通过所述图像增强模型，对所述第三图像进行特征提取，得到所述第三图像的第五特征图；通过所述图像增强模型，对所述第五特征图进行全局信息和局部信息增强，得到第六特征图；通过所述图像增强模型，对所述第六特征图进行解码，得到所述第六图像。7.根据权利要求6所述的方法，其特征在于，所述通过所述图像增强模型，对所述第五特征图进行全局信息和局部信息增强，得到第六特征图，包括：通过所述图像增强模型，对所述第五特征图的每一行进行特征提取，得到第七特征图；通过所述图像增强模型，对所述第五特征图的每一列进行特征提取，得到第八特征图；通过所述图像增强模型，将所述第七特征图和所述第八特征图进行融合，得到第九特征图；通过所述图像增强模型，基于所述第九特征图，对所述第五特征图进行全局信息增强，得到第十特征图；通过所述图像增强模型，对所述第十特征图进行特征...

【专利技术属性】
技术研发人员：扶小龙，刘曦，张睿，魏晓林，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：