图像增强模型的训练方法、图像增强方法及电子设备技术

本申请实施例提供了一种图像增强模型的训练方法、图像增强方法及电子设备。其中，电子设备将暗光图像首先输入至有监督图像增强网络中，得到暗光增强图像，再将该暗光增强网络输入至无监督监督图像增强网络中，得到感知增强图像，作为对暗光图像处理后得到的目标图像。这样，对暗光图像进行图像增强时，不仅能较好地保持图像细节信息，还能提升图像的感知质量。量。量。

【技术实现步骤摘要】
图像增强模型的训练方法、图像增强方法及电子设备


[0001]本申请涉及图像处理
，尤其涉及一种图像增强模型的训练方法、图像增强方法及电子设备。

技术介绍

[0002]随着智能手机的发展和普及，越来越多的人们使用手机拍照，与此同时人们对手机拍照的要求也越来越高。在夜晚或者其他照明不佳情况下，手机所拍照片往往存在图像过暗，人像肤色质量下降，景物图像信息缺失等问题，影响了用户的使用体验。
[0003]因此，如何增强暗光图像的图像质量是亟待解决的问题。

技术实现思路

[0004]为了解决上述技术问题，本申请实施例提供一种图像增强模型的训练方法、图像增强方法及电子设备。在根据该图像增强模型的训练方法得到图像增强模型之后，使用爱图像增强模型对暗光图像进行图像增强，不仅能较好地保持图像细节信息，还能提升图像的感知质量。
[0005]第一方面，本申请实施例提供一种图像增强模型的训练方法。其中，图像增强模型包括串联的有监督图像增强网络和无监督图像增强网络；有监督图像增强网络的训练样本包括一一对应的暗光样本图像、暗光增强目标样本图像以及人像掩膜样本图像；无监督图像增强网络的训练样本包括感知增强目标图像样本。
[0006]该图像增强模型的训练方法，包括：电子设备将暗光样本图像输入至有监督图像增强网络，得到有监督增强图像；电子设备根据有监督增强图像，以及暗光增强目标样本图像和人像掩膜样本图像，计算有监督图像增强网络的损失；电子设备将有监督增强图像输入至无监督图像增强网络，得到无监督增强图像；电子设备根据无监督增强图像和有监督增强图像，计算无监督图像增强网络的损失；电子设备将无监督增强图像和感知增强目标图像样本输入至无监督判别器，并根据无监督判别器的输出计算无监督判别器的损失；电子设备根据有监督图像增强网络的损失、无监督图像增强网络的损失以及无监督判别器的损失，调整图像增强模型的参数。
[0007]这样，训练生成的图像增强模型采用半监督图像增强方法，结合了有监督图像增强方法和无监督图像增强方法的优势，既能较好地保持图像中的细节，也能整体提升图像的感知质量。
[0008]其中，图像增强模型的有监督网络包括有监督图像增强网络，图像增强模型的无监督网络包括无监督图像增强网络和无监督判别器。有监督图像增强网络用于对暗光图像进行暗光增强，以尽量保持图像细节，无监督图像增强网络用于对暗光增强后的图像进行感知增强，以提高图像的感知质量。而且，由于训练有监督图像增强网络的目标图像中包括暗光增强目标样本图像和人像掩膜样本图像，对于含有人像区域的暗光图像，暗光增强后的图像风格更加注重人像的美感。
[0009]根据第一方面，电子设备将暗光样本图像输入至有监督图像增强网络，得到有监督增强图像，可以包括：电子设备将暗光样本图像输入CNN权重预测网络，得到各个基础3D LUT的权重；电子设备根据各个基础3D LUT的权重，融合各个基础3D LUT，得到自适应3D LUT；电子设备根据自适应3D LUT对暗光样本图像进行三线性插值处理，得到有监督增强图像。
[0010]这样，有监督网络设置为一种以RGB为索引的3DLUT融合网络获取自适应3DLUT，然后基于自适应3DLUT进行三线性插值得到有监督增强图像，实现了网络架构的轻量化，可以进行实时图像增强，且能够保持很好的细节。
[0011]根据第一方面，或者以上第一方面的任意一种实现方式，电子设备在将暗光样本图像输入CNN权重预测网络之前，还包括：电子设备对暗光样本图像进行下采样处理。
[0012]由于常见移动设备（例如手机、PAD等）或者单反相机采集到的图像的尺寸往往比较大，不利于网络的训练和推断，首先对输入的暗光样本图像进行下采样处理，能够有效提升网络训练和网络推断的效率。
[0013]根据第一方面，或者以上第一方面的任意一种实现方式，电子设备根据有监督图像增强网络的损失、无监督图像增强网络的损失以及无监督判别器的损失，调整图像增强模型的参数，可以包括：电子设备根据有监督图像增强网络的损失，调整CNN权重预测网络的参数，以及各个基础3D LUT中的参数。
[0014]根据第一方面，或者以上第一方面的任意一种实现方式，电子设备将有监督增强图像输入至无监督图像增强网络，得到无监督增强图像，可以包括：电子设备根据有监督增强图像，生成第一多层特征金字塔；在第一多层特征金字塔中，不同特征层对应的图像分辨率不同；电子设备将第一多层特征金字塔输入至编解码神经网络，得到第二多层特征金字塔以及各个特征层的重组系数；电子设备使用各个特征层的重组系数对第二多层特征金字塔进行融合，得到无监督增强图像。
[0015]根据第一方面，或者以上第一方面的任意一种实现方式，编解码神经网络中包括至少一个编解码块；其中，在每个编解码块中，编码块与解码块之间通过跳跃连接将对应尺寸的特征层相融合。
[0016]根据第一方面，或者以上第一方面的任意一种实现方式，第二多层特征金字塔为，各个特征层的重组系数为{w1,w2,
…
,w
n
}；使用各个特征层的重组系数对第二多层特征金字塔进行融合的公式为：；其中，；表示将上采样到的尺寸大小。
[0017]根据第一方面，或者以上第一方面的任意一种实现方式，有监督图像增强网络的训练样本的生成方法，包括：电子设备将正常光图像变换为暗光图像；电子设备在暗光图像上添加图像噪声，得到暗光样本图像，并将正常光图像作为与暗光样本图像对应的暗光增强样本图像。
[0018]其中，正常光图像到暗光图像的图像变换公式为：；其中，I
in
表示正常光图像，I
out
表示暗光图像，α和β表示线性变换系数，X
γ
表示gamma变换，α、β和γ参数从均匀分布中抽样：α~U(0.9,1)，β~U(0.5,1)，γ~U(1.5,5)。
[0019]由于成对的图像数据集的获取是十分昂贵的，这样能够有效降低有监督图像增强网络的训练样本的获取成本。
[0020]第二方面，本申请实施例提供一种图像增强方法。其中，该图像增强方法包括：电子设备将第一图像输入至图像增强模型中，得到第二图像；其中，图像增强模型是根据第一方面，或者以上第一方面的任意一种实现方式中的方法训练得到的。
[0021]这样，图像增强模型采用半监督图像增强方法对暗光图像进行图像增强，结合了有监督图像增强方法和无监督图像增强方法的优势，既能较好地保持图像中的细节，也能整体提升图像的感知质量。
[0022]第三方面，本申请实施例提供一种有监督图像增强网络的训练方法。其中，该有监督图像增强网络的训练方法，包括：电子设备获取至少一组训练样本；其中，每组训练样本中包括一一对应的暗光样本图像、暗光增强目标样本图像以及人像掩膜样本图像；电子设备将暗光样本图像输入至有监督图像增强网络，得到有监督增强图像；电子设备根据有监督增强图像，以及暗光增强目标样本图像和人像掩膜样本图像，计算有监督图像增强本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像增强模型的训练方法，其特征在于，所述图像增强模型包括串联的有监督图像增强网络和无监督图像增强网络；所述有监督图像增强网络的训练样本包括一一对应的暗光样本图像、暗光增强目标样本图像以及人像掩膜样本图像；所述无监督图像增强网络的训练样本包括感知增强目标图像样本；其中，所述训练方法包括：将所述暗光样本图像输入至所述有监督图像增强网络，得到有监督增强图像；根据所述有监督增强图像，以及所述暗光增强目标样本图像和所述人像掩膜样本图像，计算所述有监督图像增强网络的损失；将所述有监督增强图像输入至所述无监督图像增强网络，得到无监督增强图像；根据所述无监督增强图像和所述有监督增强图像，计算所述无监督图像增强网络的损失；将所述无监督增强图像和所述感知增强目标图像样本输入至无监督判别器，并根据所述无监督判别器的输出计算无监督判别器的损失；根据所述有监督图像增强网络的损失、所述无监督图像增强网络的损失以及所述无监督判别器的损失，调整所述图像增强模型的参数。2.根据权利要求1所述的方法，其特征在于，将所述暗光样本图像输入至所述有监督图像增强网络，得到有监督增强图像，包括：将所述暗光样本图像输入卷积神经网络CNN权重预测网络，得到各个基础3D LUT的权重；根据所述各个基础3D LUT的权重，融合所述各个基础3D LUT，得到自适应3D LUT；根据所述自适应3D LUT对所述暗光样本图像进行三线性插值处理，得到所述有监督增强图像。3.根据权利要求2所述的方法，其特征在于，在将所述暗光样本图像输入CNN权重预测网络之前，还包括：对所述暗光样本图像进行下采样处理。4.根据权利要求2所述的方法，其特征在于，根据所述有监督图像增强网络的损失、所述无监督图像增强网络的损失以及所述无监督判别器的损失，调整所述图像增强模型的参数，包括：根据所述有监督图像增强网络的损失，调整所述CNN权重预测网络的参数，以及所述各个基础3D LUT中的参数。5.根据权利要求1所述的方法，其特征在于，将所述有监督增强图像输入至所述无监督图像增强网络，得到无监督增强图像，包括：根据有监督增强图像，生成第一多层特征金字塔；在所述第一多层特征金字塔中，不同特征层对应的图像分辨率不同；将所述第一多层特征金字塔输入至编解码神经网络，得到第二多层特征金字塔以及各个特征层的重组系数；使用所述各个特征层的重组系数对所述第二多层特征金字塔进行融合，得到所述无监督增强图像。6.根据权利要求5所述的方法，其特征在于，所述编解码神经网络中包括至少一个编解
码块；其中，在每个编解码块中，编码块与解码块之间通过跳跃连接将对应尺寸的特征层相融合。7.根据权利要求5所述的方法，其特征在于，所述第二多层特征金字塔为，所述各个特征层的重组系数为{w1,w2,
…
,w
n
}；使用所述各个特征层的重组系数对所述第二多层特征金字塔进行融合的公式为：；其中，；表示将上采样到的尺寸大小。8.根据权利要求1所述的方法，其特征在于，所述有监督图像增强网络的训练样本的生成方法，包括：将正常光图像变换为暗光图像；其中，图像变换公式为：；其中，I
in
表示正常光图像，I
out
表示暗光图像，α和β表示线性变换系数，X
γ
表示gamma变换，α、β和γ参数从均匀分布中抽样：α~U(0.9,1)，β~U(0.5,1)，γ~U(1.5,5)；在所述暗光图像上添加图像噪声，得到暗光样本图像，并将所述正常光图像作为与所述暗光样本图像对应的暗光增强样本图像。9.一种图像增强方法，其特征在于，包括：将第一图像输入至图像增强模型中，得到第二图像；其中，所述图像增强模型是根据如权利要求1~8任一项所述的方法训练得到的。10.一种有监督图像增强网络的训练方法，其特征在于，包括：获取至少一组训练样本；其中，每组训练样本中包括一一对应的暗光样本图像、暗光增强目标样本图像以及人像掩膜样本图像；将所述暗光样本图像输入至所述有监督图像增强网络，得到有监督增强图像；根据所述有监督增强图像，以及所述暗光增强目标样本图像和所述人像掩膜样本图像，计算所述有监督图像增强网络的损失；根据所述有监督图像增强网络的损失，调整所述有监督图像增强网络的参数。11.根据权利要求10所述的方法...

【专利技术属性】
技术研发人员：徐祖康，陈康，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：