图像处理方法、装置、终端、存储介质及程序产品制造方法及图纸

本申请实施例公开了一种图像处理方法、装置、终端、存储介质及程序产品，属于人工智能技术领域。该方法包括：获取原始训练集；原始训练集中包括至少一个原始样本对；按照至少一个原始样本对各自的预处理策略，对至少一个原始样本对进行图像预处理，获得各个目标样本对；预处理策略包括图像增强策略；图像增强策略是通过至少一种图像处理方式对图像进行增强处理的策略；基于各个目标样本对，获取图像处理模型的量化损失函数值；图像处理模型是用于进行图像重建任务的神经网络模型；基于量化损失函数值，对图像处理模型中的模型参数进行更新。提高了量化训练效果，进而提高了通过量化训练得到的模型进行图像处理所得到的输出图像的质量。质量。质量。

【技术实现步骤摘要】
图像处理方法、装置、终端、存储介质及程序产品


[0001]本公开涉及人工智能
，特别涉及一种图像处理方法、装置、终端、存储介质及程序产品。

技术介绍

[0002]目前，为了将深度学习神经网络模型从算法研发到芯片部署落地，需要对模型进行量化，模型量化可以分为训练量化(Quantization
‑
Aware Training,QAT) 和训练后量化(Post
‑
Training Quantization,PTQ)，其中，QAT在减小量化产生的损失、保证原模型的精度方面有更好的效果。
[0003]在相关技术中，在量化过程中复用原模型训练时的训练数据集和训练条件等，对伪量化(Fake Quantization)的权重做微调(Finetune)，以减小或消除量化带来的误差。但是，模型权重的数值从浮点转换到低比特整型而导致模型的表达能力大幅下降，最终输出图像存在量化噪声的问题。上述过程中量化训练后的模型进行图像处理输出的图像质量较差。

技术实现思路

[0004]本申请实施例提供了一种图像处理方法、装置、终端、存储介质及程序产品，提高了图像处理模型的模型量化训练的效果。所述技术方案如下：
[0005]一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
[0006]获取原始训练集；所述原始训练集中包括至少一个原始样本对，所述原始样本对包含原始样本图像以及原始标签图像；
[0007]按照至少一个所述原始样本对各自的预处理策略，对至少一个所述原始样本对进行图像预处理，获得各个目标样本对；所述目标样本对包括目标样本图像以及目标标签图像；所述预处理策略包括图像增强策略；所述图像增强策略是通过至少一种图像处理方式对图像进行增强处理的策略；
[0008]基于各个所述目标样本对，获取图像处理模型的量化损失函数值；所述图像处理模型是用于进行图像重建任务的神经网络模型；
[0009]基于所述量化损失函数值，对所述图像处理模型中的模型参数进行更新。
[0010]另一方面，本申请实施例提供了一种图像处理装置，所述装置包括：
[0011]训练集获取模块，用于获取原始训练集；所述原始训练集中包括至少一个原始样本对，所述原始样本对包含原始样本图像以及原始标签图像；
[0012]目标获取模块，用于按照至少一个所述原始样本对各自的预处理策略，对至少一个所述原始样本对进行图像预处理，获得各个目标样本对；所述目标样本对包括目标样本图像以及目标标签图像；所述预处理策略包括图像增强策略；所述图像增强策略是通过至少一种图像处理方式对图像进行增强处理的策略；
[0013]量化损失获取模块，用于基于各个所述目标样本对，获取图像处理模型的量化损
失函数值；所述图像处理模型是用于进行图像重建任务的神经网络模型；
[0014]参数更新模块，用于基于所述量化损失函数值，对所述图像处理模型中的模型参数进行更新。
[0015]在一种可能的实现方式中，所述图像处理方式包括图像翻转、图像旋转、仿射变换、图像混合、图像裁剪混合、色域放缩中的至少一种。
[0016]在一种可能的实现方式中，所述图像重建任务包括图像去噪任务、图像修复任务以及图像超分辨率重建任务中的至少一种。
[0017]在一种可能的实现方式中，所述目标获取模块，包括：
[0018]第一获取子模块，用于从所述原始训练集中获取第一原始样本对；所述第一原始样本对是至少一个所述原始样本对中的任意一个；
[0019]策略获取子模块，用于获取所述第一原始样本对的所述预处理策略；
[0020]第一目标获取子模块，用于按照所述第一原始样本对的所述预处理策略，对所述第一原始样本对进行图像处理，获得各个所述目标样本对中的第一目标样本对。
[0021]在一种可能的实现方式中，所述策略获取子模块，包括：
[0022]随机数生成单元，用于将所述第一原始样本对赋予第一阈值范围内的第一随机数值；
[0023]第一策略获取单元，用于响应于所述第一随机数值大于目标阈值，确定所述第一原始样本对的所述预处理策略为原始策略；所述原始策略是将所述第一原始样本对获取为所述目标样本对的策略；
[0024]第二策略获取单元，用于响应于所述第一随机数值小于等于所述目标阈值，确定所述第一原始样本对的所述预处理策略为所述图像增强策略，并且确定所述图像增强策略中包括的处理方式组合；所述处理方式组合包括至少一种所述图像处理方式。
[0025]在一种可能的实现方式中，所述第二策略获取单元，用于，
[0026]基于至少一种所述图像处理方式各自的选取概率，确定所述图像增强策略中包括的所述图像处理方式。
[0027]在一种可能的实现方式中，所述第二策略获取单元，用于，
[0028]对至少一种所述图像处理方式进行随机组合，确定所述图像增强策略中包括的所述处理方式组合。
[0029]在一种可能的实现方式中，所述装置还包括：
[0030]训练集更新模块，用于基于各个所述目标样本对，获取图像处理模型的量化损失函数值之前，基于所述目标样本对，更新所述原始训练集，得到目标训练集；所述目标训练集中包括各个所述目标样本对；
[0031]所述量化损失获取模块，包括：
[0032]量化损失获取子模块，用于基于从所述目标训练集中获取的各个所述目标样本对，获取所述图像处理模型的所述量化损失函数值。
[0033]在一种可能的实现方式中，所述量化损失获取模块，包括：
[0034]输出子模块，用于将各个所述目标样本图像依次输入所述图像处理模型，输出各个所述目标样本图像各自的图像处理结果；
[0035]量化损失计算子模块，用于基于各个所述目标样本图像各自的所述图像处理结果
以及与各个所述目标样本图像各自对应的所述目标标签图像，计算所述图像处理模型的所述量化损失函数值。
[0036]另一方面，本申请实施例提供了一种终端，所述终端包括处理器和存储器；所述存储器中存储有至少一条计算机指令，所述至少一条计算机指令由所述处理器加载并执行以实现如上述方面所述的图像处理方法。
[0037]另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机指令，所述计算机指令由处理器加载并执行以实现如上述方面所述的图像处理方法。
[0038]根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该终端执行上述方面的各种可选实现方式中提供的图像处理方法。
[0039]本申请实施例提供的技术方案的有益效果至少包括：
[0040]计算机设备通过在原始训练集的基础上，根据原始训练集中的原始样本对各自对应的预处理策略，按本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取原始训练集；所述原始训练集中包括至少一个原始样本对，所述原始样本对包含原始样本图像以及原始标签图像；按照至少一个所述原始样本对各自的预处理策略，对至少一个所述原始样本对进行图像预处理，获得各个目标样本对；所述目标样本对包括目标样本图像以及目标标签图像；所述预处理策略包括图像增强策略；所述图像增强策略是通过至少一种图像处理方式对图像进行增强处理的策略；基于各个所述目标样本对，获取图像处理模型的量化损失函数值；所述图像处理模型是用于进行图像重建任务的神经网络模型；基于所述量化损失函数值，对所述图像处理模型中的模型参数进行更新。2.根据权利要求1所述的方法，其特征在于，所述图像处理方式包括图像翻转、图像旋转、仿射变换、图像混合、图像裁剪混合、色域放缩中的至少一种。3.根据权利要求1所述的方法，其特征在于，所述图像重建任务包括图像去噪任务、图像修复任务以及图像超分辨率重建任务中的至少一种。4.根据权利要求1所述的方法，其特征在于，所述按照至少一个所述原始样本对各自的预处理策略，对至少一个所述原始样本对进行图像处理，获得各个目标样本对，包括：从所述原始训练集中获取第一原始样本对；所述第一原始样本对是至少一个所述原始样本对中的任意一个；获取所述第一原始样本对的所述预处理策略；按照所述第一原始样本对的所述预处理策略，对所述第一原始样本对进行图像处理，获得各个所述目标样本对中的第一目标样本对。5.根据权利要求4所述的方法，其特征在于，所述获取所述第一原始样本对的所述预处理策略，包括：将所述第一原始样本对赋予第一阈值范围内的第一随机数值；响应于所述第一随机数值大于目标阈值，确定所述第一原始样本对的所述预处理策略为原始策略；所述原始策略是将所述第一原始样本对获取为所述目标样本对的策略；响应于所述第一随机数值小于等于所述目标阈值，确定所述第一原始样本对的所述预处理策略为所述图像增强策略，并且确定所述图像增强策略中包括的处理方式组合；所述处理方式组合包括至少一种所述图像处理方式。6.根据权利要求5所述的方法，其特征在于，所述确定所述图像增强策略中包括的处理方式组合，包括：基于至少一种所述图像处理方式各自的选取概率，确定所述图像增强策略中包括的所述图像处理方式。7.根据权利要求5所述的方法，其特征在于，所述确定所述图像增强策略中包括的处理方式组合，...

【专利技术属性】
技术研发人员：董旭炯，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：