图像去噪模型的训练方法、图像去噪方法及装置制造方法及图纸

本申请实施例提供了一种图像去噪模型的训练方法、图像去噪方法及装置，其中训练方法包括：获取多个训练样本图像；将训练样本图像输入待训练模型中进行训练处理，得到图像去噪模型；其中，待训练模型包括图像去噪网络和图像质量评价网络，训练处理包括：通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像；通过图像质量评价网络对训练样本图像进行质量评价处理，得到训练样本图像的第一评价分数；根据训练样本图像、去噪图像、生成图像和第一评价分数，确定目标损失值；基于目标损失值对待训练模型的模型参数进行调整。通过本申请实施例，提升了图像去噪模型对图像局部的去噪效果。提升了图像去噪模型对图像局部的去噪效果。提升了图像去噪模型对图像局部的去噪效果。

【技术实现步骤摘要】
图像去噪模型的训练方法、图像去噪方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种图像去噪模型的训练方法、图像去噪方法及装置。

技术介绍

[0002]随着各种数字仪器和数码产品的普及，图像和视频已成为人类活动中最常用的信息载体，它们包含着物体的大量信息，成为人们获取外界原始信息的主要途径。然而在图像的获取、传输和存贮过程中常常会受到各种噪声的干扰和影响而使图像降质，并且图像预处理算法的好坏又直接关系到后续图像处理的效果，如图像分割、目标识别、边缘提取等，所以为了获取高质量数字图像，很有必要对图像进行降噪处理，以保持原始信息的完整性(即主要特征)的同时，又能去除信号中无用的信息。
[0003]目前，常采用的去噪方法主要是通过将噪声估计图作为输入，以权衡对均匀分布的噪声的抑制和细节的保持，然而，对于局部模糊的图像去噪的效果较差。

技术实现思路

[0004]本申请提供一种图像去噪模型的训练方法、图像去噪方法及装置，以提升对局部模糊的图像的去噪效果。
[0005]第一方面，本申请实施例提供了一种图像去噪模型的训练方法，包括：
[0006]获取多个训练样本图像；
[0007]将所述训练样本图像输入待训练模型中进行训练处理，得到图像去噪模型；
[0008]其中，所述待训练模型包括图像去噪网络和图像质量评价网络，所述训练处理包括：通过所述图像去噪网络对所述训练样本图像进行去噪处理得到去噪图像，并生成所述训练样本图像的生成图像；通过所述图像质量评价网络对所述训练样本图像进行质量评价处理，得到所述训练样本图像的第一评价分数；根据所述训练样本图像、所述去噪图像、所述生成图像和所述第一评价分数，确定目标损失值；基于所述目标损失值对所述待训练模型的模型参数进行调整。
[0009]可以看出，本申请实施例中，待训练模型包括图像去噪网络和图像质量评价网络，在对待训练模型的训练过程中，通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像，通过图像质量评价网络得到训练样本图像的第一评价分数，以及根据训练样本图像、去噪图像、生成图像和第一评价分数确定目标损失值，并基于目标损失值对待训练模型的模型参数进行调整；一方面能够通过第一评价分数为图像去噪网络提供训练样本图像的整体模糊程度，指导图像去噪网络进行去噪处理，提升去噪效果；另一方面，由于生成图像具有较高的图像质量，因此能够基于生成图像拉近图像的像素级表征，进一步提升去噪效果。由此，对待训练模型进行训练可以得到去噪效果更好的图像去噪模型，并且通过该图像去噪模型对图像进行去噪处理，能够在保障图像整体质量的基础上，提升局部去噪效果。
[0010]第二方面，本申请实施例提供了一种图像去噪方法，包括：
[0011]获取待处理的噪声图像；
[0012]将所述噪声图像输入图像去噪模型的目标图像去噪网络中进行去噪处理，得到目标去噪图像；所述图像去噪模型根据上述的一方面提供的图像去噪模型的训练方法训练得到。
[0013]可以看出，本申请实施例中，由于对噪声图像进行去噪处理所使用的图像去噪模型，是对包括图像去噪网络和图像质量评价网络的待训练模型训练得到，并且在对待训练模型的训练过程中，通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像；通过图像质量评价网络得到训练样本图像的第一评价分数；以及根据训练样本图像、去噪图像、生成图像和第一评价分数确定目标损失值，并基于目标损失值对待训练模型的模型参数进行调整；一方面能够通过第一评价分数为图像去噪网络提供训练样本图像的整体模糊程度，指导图像去噪网络进行去噪处理，提升去噪效果；另一方面，由于生成图像具有较高的图像质量，因此能够基于生成图像拉近图像的像素级表征，进一步提升去噪效果。也就是说，对待训练模型进行训练得到的图像去噪模型具有更好的去噪效果，因此通过该图像去噪模型对噪声图像进行去噪处理，能够在保障图像整体质量的基础上，提升局部去噪效果。
[0014]第三方面，本申请实施例提供了一种图像去噪模型的训练装置，包括：
[0015]获取模块，用于获取多个待训练的训练样本图像；
[0016]训练模块，用于将所述训练样本图像输入待训练模型中进行训练处理，得到图像去噪模型；
[0017]其中，所述待训练模型包括图像去噪网络和图像质量评价网络，所述训练处理包括：通过所述图像去噪网络对所述训练样本图像进行去噪处理得到去噪图像，并生成所述训练样本图像的生成图像；通过所述图像质量评价网络对所述训练样本图像进行质量评价处理，得到所述训练样本图像的第一评价分数；根据所述训练样本图像、所述去噪图像、所述生成图像和所述第一评价分数，确定目标损失值；基于所述目标损失值对所述待训练模型的模型参数进行调整。
[0018]第四方面，本申请实施例提供了一种图像去噪装置，包括：
[0019]获取模块，用于获取待处理的噪声图像；
[0020]去噪模块，用于将所述噪声图像输入图像去噪模型的目标图像去噪网络中进行去噪处理，得到目标去噪图像；所述图像去噪模型根据本申请第一方面提供的图像去噪模型的训练方法训练得到。
[0021]第五方面，本申请实施例提供了一种电子设备，包括：
[0022]处理器；以及，被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行上述第一方面提供的图像去噪模型的训练方法中的步骤，或者所述可执行指令包括用于执行上述第二方面提供的图像去噪方法中的步骤。
[0023]第六方面，本申请实施例提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行上述第一方面提供的图像去噪模型的训练方法中的步骤，或者所述可执行指令使得计算机执行上述第二方面提供的图像去噪方法中的步
骤。
附图说明
[0024]为了更清楚地说明本申请一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0025]图1为本申请实施例提供的一种图像去噪模型的训练方法的流程示意图；
[0026]图2为本申请实施例提供的一种图像去噪网络的结构示意图；
[0027]图3为本申请实施例提供的一种图像质量评价网络的结构示意图；
[0028]图4为本申请实施例提供的一种图像去噪方法的流程示意图；
[0029]图5为本申请实施例提供的一种图像去噪模型的训练装置的模块组成示意图；
[0030]图6为本申请实施例提供的一种图像去噪装置的模块组成示意图；
[0031]图7为本申请一个或多个实施例提供的一种电子设备的结构示意图。
具体实施方式
[0032]为了使本
的人员更好地理解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像去噪模型的训练方法，其特征在于，包括：获取多个训练样本图像；将所述训练样本图像输入待训练模型中进行训练处理，得到图像去噪模型；其中，所述待训练模型包括图像去噪网络和图像质量评价网络，所述训练处理包括：通过所述图像去噪网络对所述训练样本图像进行去噪处理得到去噪图像，并生成所述训练样本图像的生成图像；通过所述图像质量评价网络对所述训练样本图像进行质量评价处理，得到所述训练样本图像的第一评价分数；根据所述训练样本图像、所述去噪图像、所述生成图像和所述第一评价分数，确定目标损失值；基于所述目标损失值对所述待训练模型的模型参数进行调整。2.根据权利要求1所述的方法，其特征在于，所述训练样本图像包括噪声图像和所述噪声图像对应的标准去噪图像；所述图像去噪网络包括第一特征提取模块、图像生成模块、后处理模块和关键点检测模块；其中，所述第一特征提取模块，用于对所述噪声图像进行特征提取处理得到第一特征图，以及对所述第一特征图进行第一图像处理得到第二特征图，对所述第一特征图进行第二图像处理得到第三特征图；所述图像生成模块，用于根据所述第一特征图和所述第二特征图生成所述生成图像；所述后处理模块，用于对所述第三特征图进行平滑处理得到所述去噪图像；所述关键点检测模块，用于对所述标准去噪图像进行关键点检测处理得到第一Gram矩阵，以及对所述生成图像进行关键点检测处理得到第二Gram矩阵；所述通过所述图像质量评价网络对所述训练样本图像进行质量评价处理，得到所述训练样本图像的第一评价分数；根据所述训练样本图像、所述去噪图像、所述生成图像和所述第一评价分数，确定目标损失值，包括：通过所述图像质量评价网络对所述噪声图像进行质量评价处理，得到所述噪声图像的第一评价分数；根据所述标准去噪图像、所述去噪图像、所述生成图像、所述第一Gram矩阵、所述第二Gram矩阵和所述第一评价分数，确定目标损失值。3.根据权利要求2所述的方法，其特征在于，所述第一特征提取模块包括依次相连的N个采样单元；所述N个采样单元中的第i个采样单元包括依次相连的下采样层、第一全连接层、第一变换层、第一相加层、上采样层和第一卷积层；N为正整数，i为小于或等于N的正整数；当i大于1时，所述第i个采样单元中的下采样层的输入连接第i
‑
1个采样单元中的下采样层的输出；当i小于N时，所述第i个采样单元中的第一相加层的输入还连接第i+1个采样单元中的上采样层的输出；所述下采样层的输出还连接所述第一相加层的输入，所述第一全连接层输出所述第一特征图，所述第一卷积层输出所述第二特征图，第一个所述采样单元中的上采样层输出所述第三特征图。4.根据权利要求3所述的方法，其特征在于，所述图像生成模块包括第一池化层，以及依次相连的正则化处理层、第二变换层、支路单元、合并层、第四卷积层和DCGAN网络；所述支路单元包括第二卷积层，以及依次相连的第三卷积层、相乘层和第二相加层；所述第一池化层的输入分别连接每个所述第一卷积层的输出，所述第一池化层的输出
连接所述相乘层的输入；所述正则化处理层的输入分别连接每个所述第一全连接层的输出；所述第二变换层的输出分别连接所述第二卷积层的输入和所述第三卷积层的输入；所述合并层的输入分别连接所述第二相加层的输出和所述第二卷积层的输出；所述DCGAN网络输出所述生成图像。5.根据权利要求2所述的方法，其特征在于，所述标准去噪图像和所述生成图像中包括人脸；所述对所述标准去噪图像进行关键点检测处理得到第一Gram矩阵，以及对所述生成图像进行关键点检测处理得到第二Gram矩阵，包括：根据预设关键点检测算法对所述标准去噪图像进行关键点检测处理，得到左眼区域、右眼区域、鼻子区域和嘴巴区域；根据所述预设关键点检测算法对所述生成图像进行关键点检测处理，得到左眼图像、右眼图像、鼻子图像和嘴巴图像；对所述标准去噪图像的左眼区域、右眼区域、鼻子区域和嘴巴区域进行转换处理，得到第一Gram矩阵；对所述生成图像的左眼区域、右眼区域、鼻子区域和嘴巴区域进行转换处理，得到第二Gram矩阵。6.根据权利要求1所述的方法，其特征在于，所述图像质量评价网络包括依次相连的第五卷积层、第六卷积层、第三相加层、第二特征提取模块、第二池化层、第二全连接层和第三全连接层；所述第五卷积层的输入包括所述训练样本图像，所...

【专利技术属性】
技术研发人员：陈圣，曾定衡，蒋宁，王洪斌，周迅溢，吴海英，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：