本公开涉及一种图像增强模型的训练方法及装置、图像处理方法及装置、电子设备及计算机可读介质，属于图像处理技术领域。该图像增强模型的训练方法包括：获取所述图像增强模型的训练数据集，并对所述训练数据集中的训练样本图像进行图像退化处理，得到输入样本图像；将注意力集中模块加入图像语义分割网络中以构建初始图像增强模型，并将所述输入样本图像输入所述初始图像增强模型中得到对应的输出样本图像；将所述输出样本图像输入判别器得到判别器损失，并基于所述判别器损失对所述初始图像增强模型中的模型参数进行迭代更新，获得经训练的所述图像增强模型。本公开通过基于退化模型合成的训练数据训练图像增强模型，可以有效提升图像增强质量。有效提升图像增强质量。有效提升图像增强质量。
【技术实现步骤摘要】
增强模型的训练方法、图像处理方法、装置、设备及介质
[0001]本公开涉及图像处理
，具体而言，涉及一种图像增强模型的训练方法及装置、图像处理方法及装置、电子设备及计算机可读介质。
技术介绍
[0002]随着图像和视频的兴起，在网页上会存在许多类型不同的图像和视频供用户浏览。然而，这些图像和视频普遍存在清晰度不高、帧率参差不齐、图像色彩不够丰富等问题。
[0003]图像质量的提升主要基于三个方面：颜色增强、去模糊和图像超分。对于视觉观感较差的图像或视频，可以通过上述三个模块提升画面的饱和度、锐度和对比度等指标，同时降低画面的噪点和模糊。但处理的效果不能过强，否则会造成不真实的观感。
[0004]鉴于此，本领域亟需一种能够有效提升图像增强质量的方法。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0006]本公开的目的在于提供一种图像增强模型的训练方法、图像增强模型的训练装置、电子设备及计算机可读介质，进而至少在一定程度上能够有效提升图像增强质量。
[0007]根据本公开的第一个方面，提供一种图像增强模型的训练方法，包括：
[0008]获取所述图像增强模型的训练数据集，并对所述训练数据集中的训练样本图像进行图像退化处理，得到所述图像增强模型的输入样本图像；
[0009]将注意力集中模块加入图像语义分割网络中以构建初始图像增强模型，并将所述输入样本图像输入所述初始图像增强模型中，得到所述输入样本图像对应的输出样本图像；
[0010]将所述输出样本图像输入判别器得到对应的判别器损失，并基于所述判别器损失对所述初始图像增强模型中的模型参数进行迭代更新，获得经训练的所述图像增强模型。
[0011]在本公开的一种示例性实施例中，所述对所述训练数据集中的训练样本图像进行图像退化处理，得到所述图像增强模型的输入样本图像，包括：
[0012]获取用于图像退化处理的自训练退化方法集和随机退化方法集；
[0013]从所述自训练退化方法集中确定一目标自训练退化方法，从所述随机退化方法集中确定一目标随机退化方法；
[0014]通过所述目标自训练退化方法和所述目标随机退化方法对所述训练样本图像进行图像退化处理，得到所述训练样本图像对应的输入样本图像。
[0015]在本公开的一种示例性实施例中，所述将所述输入样本图像输入所述初始图像增强模型中，得到所述输入样本图像对应的输出样本图像，包括：
[0016]通过所述图像语义分割网络中的多个特征提取层，依次得到所述输入样本图像在每个所述特征提取层对应的特征图；
[0017]通过所述图像语义分割网络中每个所述特征提取层对应的注意力集中模块，调整所述特征提取层对应的特征图中各个通道对应的通道注意力系数以及各个区域对应的区域注意力系数；
[0018]基于各个所述特征提取层对应的所述通道注意力系数和所述区域注意力系数以及所述特征图，通过所述图像语义分割网络中的多个上采样层得到所述输入样本图像对应的输出样本图像。
[0019]在本公开的一种示例性实施例中，所述将所述输出样本图像输入判别器得到对应的判别器损失，并基于所述判别器损失对所述初始图像增强模型中的模型参数进行迭代更新，包括：
[0020]将所述输出样本图像输入判别器，并通过所述判别器中的图像语义分割网络得到所述判别器的第一输出结果，通过所述判别器中的交叉网络得到所述判别器的第二输出结果；
[0021]基于所述判别器的第一输出结果和所述判别器的第二输出结果对所述初始图像增强模型中的模型参数进行迭代更新。
[0022]根据本公开的第二个方面，提供一种图像处理方法，包括：
[0023]获取待处理的原始图像，并将所述原始图像输入预先训练的图像增强模型中，其中，所述图像增强模型是通过如上述任意一项所述的图像增强模型的训练方法得到的；
[0024]通过所述图像增强模型对所述原始图像进行图像增强处理，得到所述原始图像对应的增强图像。
[0025]在本公开的一种示例性实施例中，所述通过所述图像增强模型对所述原始图像进行图像增强处理，得到所述原始图像对应的增强图像，包括：
[0026]通过所述图像语义分割网络中的多个特征提取层，依次得到所述原始图像在每个所述特征提取层对应的特征图；
[0027]通过所述图像语义分割网络中每个所述特征提取层对应的注意力集中模块，确定所述特征提取层对应的特征图中各个通道对应的通道注意力系数以及各个区域对应的区域注意力系数；
[0028]基于各个所述特征提取层对应的所述通道注意力系数和所述区域注意力系数以及所述特征图，通过所述图像语义分割网络中的多个上采样层得到所述图像增强模型的输出图像；
[0029]根据所述图像增强模型的输出图像得到所述原始图像对应的增强图像。
[0030]根据本公开的第三方面，提供一种图像增强模型的训练装置，包括：
[0031]图像退化处理模块，用于获取所述图像增强模型的训练数据集，并对所述训练数据集中的训练样本图像进行图像退化处理，得到所述图像增强模型的输入样本图像；
[0032]增强模型构建模块，用于将注意力集中模块加入图像语义分割网络中以构建初始图像增强模型，并将所述输入样本图像输入所述初始图像增强模型中，得到所述输入样本图像对应的输出样本图像；
[0033]增强模型训练模块，用于将所述输出样本图像输入判别器得到对应的判别器损失，并基于所述判别器损失对所述初始图像增强模型中的模型参数进行迭代更新，获得经训练的所述图像增强模型。
[0034]在本公开的一种示例性实施例中，所述图像退化处理模块包括：
[0035]退化方法集获取单元，用于获取用于图像退化处理的自训练退化方法集和随机退化方法集；
[0036]目标退化方法确定单元，用于从所述自训练退化方法集中确定一目标自训练退化方法，从所述随机退化方法集中确定一目标随机退化方法；
[0037]图像退化处理单元，用于通过所述目标自训练退化方法和所述目标随机退化方法对所述训练样本图像进行图像退化处理，得到所述训练样本图像对应的输入样本图像。
[0038]在本公开的一种示例性实施例中，所述增强模型构建模块包括：
[0039]特征图提取单元，用于通过所述图像语义分割网络中的多个特征提取层，依次得到所述输入样本图像在每个所述特征提取层对应的特征图；
[0040]注意力系数调整单元，用于通过所述图像语义分割网络中每个所述特征提取层对应的注意力集中模块，调整所述特征提取层对应的特征图中各个通道对应的通道注意力系数以及各个区域对应的区域注意力系数；
[0041]特征上采样单元，用于基于各个所述特征提取层对应的所述通道注意力系数和所述区域注意力系数以及所述特征图，通过所述图像语义分割网络中的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像增强模型的训练方法，其特征在于，包括：获取所述图像增强模型的训练数据集，并对所述训练数据集中的训练样本图像进行图像退化处理，得到所述图像增强模型的输入样本图像；将注意力集中模块加入图像语义分割网络中以构建初始图像增强模型，并将所述输入样本图像输入所述初始图像增强模型中，得到所述输入样本图像对应的输出样本图像；将所述输出样本图像输入判别器得到对应的判别器损失，并基于所述判别器损失对所述初始图像增强模型中的模型参数进行迭代更新，获得经训练的所述图像增强模型。2.根据权利要求1所述的图像增强模型的训练方法，其特征在于，所述对所述训练数据集中的训练样本图像进行图像退化处理，得到所述图像增强模型的输入样本图像，包括：获取用于图像退化处理的自训练退化方法集和随机退化方法集；从所述自训练退化方法集中确定一目标自训练退化方法，从所述随机退化方法集中确定一目标随机退化方法；通过所述目标自训练退化方法和所述目标随机退化方法对所述训练样本图像进行图像退化处理，得到所述训练样本图像对应的输入样本图像。3.根据权利要求1所述的图像增强模型的训练方法，其特征在于，所述将所述输入样本图像输入所述初始图像增强模型中，得到所述输入样本图像对应的输出样本图像，包括：通过所述图像语义分割网络中的多个特征提取层，依次得到所述输入样本图像在每个所述特征提取层对应的特征图；通过所述图像语义分割网络中每个所述特征提取层对应的注意力集中模块，调整所述特征提取层对应的特征图中各个通道对应的通道注意力系数以及各个区域对应的区域注意力系数；基于各个所述特征提取层对应的所述通道注意力系数和所述区域注意力系数以及所述特征图，通过所述图像语义分割网络中的多个上采样层得到所述输入样本图像对应的输出样本图像。4.根据权利要求1所述的图像增强模型的训练方法，其特征在于，所述将所述输出样本图像输入判别器得到对应的判别器损失，并基于所述判别器损失对所述初始图像增强模型中的模型参数进行迭代更新，包括：将所述输出样本图像输入判别器，并通过所述判别器中的图像语义分割网络得到所述判别器的第一输出结果，通过所述判别器中的交叉网络得到所述判别器的第二输出结果；基于所述判别器的第一输出结果和所述判别器的第二输出结果对所述初始图像增强模型中的模型参数进行迭代更新。5.一种图像处理方法，其特征在于，包括：获取待处理的原始图像，并将所述原始图像输入预先训练的图像增强模型中，其中，所述图像增强模型是通过如权利要求1
【专利技术属性】
技术研发人员：况志强，许盛辉，潘照明，
申请(专利权)人：网易传媒科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。