网络模型的训练方法、图像处理方法及其相关设备技术

本申请提供了一种网络模型的训练方法、图像处理方法及其相关设备，涉及图像技术领域，该网络模型的训练方法包括：获取第一训练图像对；利用第一训练图像对，对初始生成器进行训练，得到中间生成器；获取第二训练图像对；利用第一训练图像对和第二训练图像对，对初始网络模型进行训练，得到第一目标网络模型。本申请利用深度学习的方法，通过联合进行去马赛克、降噪和超分，在将RAW域的图像转换为RGB域的图像的过程中，以实现降低噪声、减少鬼影、提升图像的清晰度的目的。像的清晰度的目的。像的清晰度的目的。

【技术实现步骤摘要】
网络模型的训练方法、图像处理方法及其相关设备


[0001]本申请涉及图像处理领域，尤其涉及一种网络模型的训练方法、图像处理方法及其相关设备。

技术介绍

[0002]随着电子设备的广泛使用，使用电子设备进行拍照已经成为人们生活中的一种日常行为方式。以电子设备为手机为例，随之出现了各种提升图像质量的技术，例如：去马赛克(demosaic)、降噪(denoise)、超分(super
‑
resolution，SR)等。
[0003]现有技术中，针对手机获取的原始图像，即位于RAW域的图像，通常会先进行降噪和超分，然后进行去马赛克。但是，上述方案存在降噪能力差，处理后的图像具有鬼影(antific)等问题。因此，亟待一种新的图像处理方法，来有效提高获取的图像的质量。

技术实现思路

[0004]本申请提供一种网络模型的训练方法、图像处理方法及其相关设备，利用深度学习的方法，通过联合进行去马赛克、降噪和超分，在将RAW域的图像转换为RGB域的图像的过程中，以实现降低噪声、减少鬼影、提升图像的清晰度的目的。
[0005]为达到上述目的，本申请采用如下技术方案：
[0006]第一方面，提供一种网络模型的训练方法，该方法包括：获取第一训练图像对，第一训练图像对包括彩色训练图像和与彩色训练图像对应的第二训练图像；利用第一训练图像对，对初始生成器进行训练，得到中间生成器；获取第二训练图像对，第二训练图像对包括第一原始图像和配准后的第二彩色图像；利用第一训练图像对和所述第二训练图像对，对初始网络模型进行训练，得到第一目标网络模型，其中，初始网络模型包括中间生成器和判别器。
[0007]本申请实施例提供了一种网络模型的训练方法，不仅构建了一个包括中间生成器和判别器的初始网络模型，还利用新的训练数据构成方法，生成接近真实数据的第二训练图像对，并利用第一训练图像对和第二训练图像对，来训练初始网络模型，从而可以得到能联合实现去马赛克、降噪、超分，以及从RAW域转换为RGB域，并且拟合能力强、处理效果好的第一目标网络模型。
[0008]在第一方面一种可能的实现方式中，获取第一训练图像对，包括：获取彩色训练图像；对彩色训练图像进行退化处理，得到位于RAW域的第一训练图像；对第一训练图像增加噪声，得到第二训练图像；将彩色训练图像和第二训练图像进行配对，得到一组第一训练图像对。在该实现方式中，通过将彩色训练图像退化成干净的拜尔格式图像，即，位于RAW域的第一训练图像，并在第一训练图像中增加噪声，以模仿真实处理过程中的输入图像，从而可以减小与真实数据之间误差，使得后续利用第一训练图像对训练模型时，可以提高模型的训练效果。
[0009]在第一方面一种可能的实现方式中，利用第一训练图像对，对初始生成器进行训
练，得到中间生成器，包括：将第一训练图像对中的第二训练图像输入初始生成器进行处理，得到位于RGB域的第三训练图像；利用平均绝对误差公式，确定彩色训练图像和第三训练图像之间的第一平均绝对误差损失值；根据第一平均绝对误差损失值调整初始生成器，得到中间生成器。在该实现方式中，利用第一训练图像对中的第二训练图像和彩色训练图像对初始生成器进行训练，可以使得生成的中间生成器能够对位于RAW域的输入图像进行去马赛克和降噪处理，进而可以使得中间生成器在后续使用过程中，减少误差累积，降低鬼影出现。
[0010]在第一方面一种可能的实现方式中，获取第二训练图像对，包括：利用第一摄像头，获取第一原始图像和第一彩色图像，并利用第二摄像头获取第二彩色图像；第一彩色图像的分辨率低于第二彩色图像的分辨率，第一原始图像的分辨率和第一彩色图像的分辨率相同；以第一彩色图像为基准，对第二彩色图像进行配准，得到配准后的第二彩色图像；将第一原始图像和配准后的第二彩色图像进行配对，得到第二训练图像对。
[0011]其中，第一彩色图像可以称为低清彩色图像，第一原始图像可以称为低清原始图像，第二彩色图像可以称为高清彩色图像。
[0012]在该实现方式中，通过利用不同摄像头采集分辨率不同的低清彩色图像和高清彩色图像，并以低清彩色图像为基准，对高清彩色图像进行配准，得到配准后的高清彩色图像，从而可以得到匹配度更高、更真实的第二训练图像对。
[0013]在第一方面一种可能的实现方式中，利用第一训练图像对和第二训练图像对，对初始网络模型进行训练，得到第一目标网络模型，包括：将第一训练图像对和第二训练图像对，输入初始网络模型进行处理；根据第一训练图像对和/或第二训练图像对，确定感知损失值、第二平均绝对误差损失值和GAN损失值；根据感知损失值、第二平均绝对误差损失值和GAN损失值，调整初始网络模型，得到第一目标网络模型。在该实现方式中，通过在输入数据中增加真实的第二训练图像对，来增加初始网络模型的超分能力，从而可以提高训练后的第一目标网络模型的网络性能，使第一目标网络模型联合实现去马赛克、降噪和超分的功能，并且，联合实现从RAW域至RGB域的转换。
[0014]在第一方面一种可能的实现方式中，根据第一训练图像对和/或第二训练图像对，确定感知损失值、第二平均绝对误差损失值和GAN损失值，包括：利用LPISP或VGG模型，确定第一训练图像对的感知损失值和/或确定第二训练图像对的感知损失值；利用平均绝对误差公式，确定第一训练图像对的第二平均绝对误差损失值和/或确定第二训练图像对的第二平均绝对误差损失值；利用判别器，确定第一训练图像对的GAN损失值和/或确定第二训练图像对的GAN损失值。
[0015]在第一方面一种可能的实现方式中，噪声包括：散粒噪声和/或读出噪声。
[0016]在第一方面一种可能的实现方式中，初始生成器以Unet模型为基模型；初始生成器还包括：残差密集模块、注意力模块和拼接层；残差密集块由多层卷积层密集性连接构成，残差密集块用于提取特征；注意力模块用于施加注意力机制；拼接层用于特征拼接。在该实现方式中，通过在初始生成器中引入残差密集块，可以提升初始生成器的感受野和编解码能力。此外，还考虑到图像重构过程中的空间信号和通道信息，由此，在初始生成器中引入注意力模块，同时加入了拼接层，复用低分辨率特征，从而使得后续进行图像处理时，中间生成器可以极大地利用输入图像的编码信息，同时，避免梯度消失问题。
[0017]在第一方面一种可能的实现方式中，训练方法还包括：对第一目标网络模型进行蒸馏，得到第二目标网络模型；将第二目标网络模型作为第一目标网络模型。
[0018]第二方面，提供了一种网络模型的训练装置，该装置包括用于执行以上第一方面或第一方面的任意可能的实现方式中各个步骤的单元。
[0019]第三方面，提供了一种图像处理方法，该方法包括：检测到用户在电子设备上的第一操作，第一操作是指用户用于指示采集原始图像的操作；响应于第一操作，电子设备采集原始图像；利用以上第一方面或第一方面的任意可能的实现方式中得到的第一目标网络模型，对原始图像进行处理，得到拍摄图像。
[0020]本申请实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络模型的训练方法，其特征在于，包括：获取第一训练图像对，所述第一训练图像对包括彩色训练图像和与所述彩色训练图像对应的第二训练图像；利用所述第一训练图像对，对初始生成器进行训练，得到中间生成器；获取第二训练图像对，所述第二训练图像对包括第一原始图像和配准后的第二彩色图像；利用所述第一训练图像对和所述第二训练图像对，对初始网络模型进行训练，得到第一目标网络模型，其中，所述初始网络模型包括所述中间生成器和判别器。2.根据权利要求1所述的网络模型的训练方法，其特征在于，所述获取第一训练图像对，包括：获取所述彩色训练图像；对所述彩色训练图像进行退化处理，得到位于RAW域的第一训练图像；对所述第一训练图像增加噪声，得到所述第二训练图像；将所述彩色训练图像和所述第二训练图像进行配对，得到一组所述第一训练图像对。3.根据权利要求1或2所述的网络模型的训练方法，其特征在于，所述利用所述第一训练图像对，对初始生成器进行训练，得到中间生成器，包括：将所述第一训练图像对中的所述第二训练图像输入所述初始生成器进行处理，得到位于RGB域的第三训练图像；利用平均绝对误差公式，确定所述彩色训练图像和所述第三训练图像之间的第一平均绝对误差损失值；根据所述第一平均绝对误差损失值调整所述初始生成器，得到所述中间生成器。4.根据权利要求1至3中任一项所述的网络模型的训练方法，其特征在于，所述获取第二训练图像对，包括：利用第一摄像头，获取第一原始图像和第一彩色图像，并利用第二摄像头获取第二彩色图像；所述第一彩色图像的分辨率低于所述第二彩色图像的分辨率，所述第一原始图像的分辨率和所述第一彩色图像的分辨率相同；以所述第一彩色图像为基准，对所述第二彩色图像进行配准，得到所述配准后的第二彩色图像；将所述第一原始图像和所述配准后的第二彩色图像进行配对，得到第二训练图像对。5.根据权利要求1至3中任一项所述的网络模型的训练方法，其特征在于，所述获取第二训练图像对，包括：利用第一摄像头，获取第一原始图像，并利用第二摄像头获取第二彩色图像；将所述第一原始图像输入所述中间生成器，得到第一彩色图像；以所述第一彩色图像为基准，对所述第二彩色图像进行配准，得到所述配准后的第二彩色图像；将所述第一原始图像和所述配准后的第二彩色图像进行配对，得到第二训练图像对。6.根据权利要求4或5所述的网络模型的训练方法，其特征在于，所述利用所述第一训练图像对和所述第二训练图像对，对初始网络模型进行训练，得到第一目标网络模型，包括：
将所述第一训练图像对和所述第二训练图像对，输入所述初始网络模型进行处理；根据所述第一训练图像对和/或所述第二训练图像对，确定感知损失值、第二平均绝对误差损失值和GAN损失值；根据所述感知损失值、所述第二平均绝对误差损失值和...

【专利技术属性】
技术研发人员：曹瑞，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：