复原模型的调整方法、装置、设备及存储介质制造方法及图纸

本申请涉及人工智能领域，特别涉及了图像处理领域，提供了一种复原模型的调整方法、装置、设备及存储介质。该方法包括：瑕疵检测与微调模型策略相结合，通过少量的测试图像对候选复原模型进行参数调整，使得目标复原模型在对包含类似退化类型的真实图像进行处理时，一定程度上会抑制原本出现在复原图像上的瑕疵再次生成，有效改善了图像质量。其中，每次调整过程为：利用不含瑕疵的第二复原图像，对第一复原图像进行瑕疵检测，生成含有瑕疵的第三复原图像，再基于第二复原图像与第三复原图像，替换掉第一复原图像中判定为瑕疵点的像素点，生成不含瑕疵的基准复原图像，并基于基准复原图像与第一复原图像，对候选复原模型的模型参数进行微调。进行微调。进行微调。

【技术实现步骤摘要】
复原模型的调整方法、装置、设备及存储介质


[0001]本申请涉及人工智能领域，特别涉及了图像处理领域，提供了一种复原模型的调整方法、装置、设备及存储介质。

技术介绍

[0002]退化图像的典型表现是图像中出现模糊、失真、附加噪声等情况。由于图像的退化，在图像接收端显示的图像已不再是传输的原始图像，图像效果明显变差。因此，必须对退化图像进行处理，才能恢复其真实的原始图像，这一过程就称之为图像复原。
[0003]随着科学技术的发展，常使用基于神经网络搭建的复原模型对退化模型进行处理，以改善图像质量。然而，由于训练模型时不能穷尽各类退化图像，再加上引起图像退化的因素众多、模型稳定性差的缘故，因此，训练完毕的复原模型在处理之前从未见过的新的退化图像时，输出的复原图像中会存在大范围的明显瑕疵。
[0004]目前，针对模型输出的复原图像中产生瑕疵的问题，提供了以下两个解决方案：方案一是引入一个梯度预测分支调整复原模型，消除复原图像中的结构失真；方案二是生成一张用于预测复原图像中各像素点是瑕疵点的概率图，再基于该概率图调整复原模型，达到抑制瑕疵生成的目的。
[0005]但是，由于引起图像退化的因素是复杂多样的，且训练过程中很难涵盖所有类型的退化图像，因此，基于上述方案调整后的复原模型，对新的退化图像进行处理时，依然会输出包含瑕疵的复原图像，影响图像质量。
[0006]有鉴于此，本申请实施例提出了一种新的复原模型的调整方法。

技术实现思路

[0007]本申请实施例提供了一种复原模型的调整方法、装置、设备及存储介质，以解决减少复原图像出现瑕疵的问题。
[0008]第一方面，本申请实施例提供了一种复原模型的调整方法，包括：
[0009]采用训练集中的各训练图像对初始复原模型进行训练，获得候选复原模型；
[0010]采用循环迭代方式，基于测试集中的各测试图像对所述候选复原模型进行调整，输出调整后的目标复原模型，其中，每次迭代包括：
[0011]对提取的测试图像进行图像复原处理，获得包含至少一个图像类别的第一复原图像，以及对所述测试图像进行图像平滑处理，获得不含瑕疵的第二复原图像；
[0012]基于所述第二复原图像，对所述第一复原图像进行瑕疵检测，生成标明瑕疵点的第三复原图像；
[0013]基于所述第三复原图像中判定为瑕疵点的像素点，确定所述第一复原图像中同一位置的像素点为瑕疵点，并使用所述第二复原图像中同一位置的像素点，替换所述第一复原图像中判定为瑕疵点的像素点，生成不含瑕疵的基准复原图像；
[0014]采用基于所述基准复原图像与所述第一复原图像确定的损失值，调整所述候选复
原模型的模型参数。
[0015]第二方面，本申请实施例还提供了一种复原模型的调整装置，包括：
[0016]模型训练单元，用于采用训练集中的各训练图像对初始复原模型进行训练，获得候选复原模型；
[0017]采用循环迭代方式，基于测试集中的各测试图像对所述候选复原模型进行调整，输出调整后的目标复原模型，其中，每次迭代包括：
[0018]图像处理单元，用于对提取的测试图像进行图像复原处理，获得包含至少一个图像类别的第一复原图像，以及对所述测试图像进行图像平滑处理，获得不含瑕疵的第二复原图像；
[0019]瑕疵检测单元，用于基于所述第二复原图像，对所述第一复原图像进行瑕疵检测，生成标明瑕疵点的第三复原图像；
[0020]替换单元，用于基于所述第三复原图像中判定为瑕疵点的像素点，确定所述第一复原图像中同一位置的像素点为瑕疵点，并使用所述第二复原图像中同一位置的像素点，替换所述第一复原图像中判定为瑕疵点的像素点，生成不含瑕疵的基准复原图像；
[0021]模型调整单元，用于采用基于所述基准复原图像与所述第一复原图像确定的损失值，调整所述候选复原模型的模型参数。
[0022]可选的，所述瑕疵检测单元用于：
[0023]按照从大到小的顺序，对所述各瑕疵划分范围进行排序；
[0024]依次读取所述各瑕疵划分范围，每读取一个瑕疵划分范围，执行以下任意一种操作：
[0025]在确定所述一个瑕疵划分范围的瑕疵分布比例满足所述第二设定阈值时，基于当前读取的所述一个瑕疵划分范围，确定所述一个图像类别的瑕疵允许上限；
[0026]在确定所述一个瑕疵划分范围的瑕疵分布比例，与之前读取的各瑕疵划分范围的瑕疵分布比例之和满足所述第二设定阈值时，基于当前读取的所述一个瑕疵划分范围，确定所述一个图像类别的瑕疵允许上限；
[0027]在确定所述一个瑕疵划分范围的瑕疵分布比例不符合上述任意一种时，继续读取下一个瑕疵划分范围。
[0028]可选的，在生成标明瑕疵点的第三复原图像之后，所述瑕疵检测单元还用于：
[0029]剔除所述第三复原图像中瑕疵面积低于第三设定阈值的像素点，并对剔除后的像素点进行填充处理；
[0030]将判定为瑕疵点的各像素点连接为至少一个瑕疵区域，生成标明瑕疵点的第四复原图像；
[0031]所述替换单元，用于基于所述第四复原图像中判定为瑕疵点的像素点，确定所述第一复原图像中同一位置的像素点为瑕疵点，并使用所述第二复原图像中同一位置的像素点，替换所述第一复原图像中判定为瑕疵点的像素点，生成不含瑕疵的基准复原图像；
[0032]所述模型调整单元，用于采用基于所述基准复原图像与所述第一复原图像确定的损失值，调整所述复原模型的模型参数。
[0033]第三方面，本申请实施例还提供了一种计算机设备，包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行
上述任意一种复原模型的调整方法的步骤。
[0034]第四方面，本申请实施例还提供了一种计算机可读存储介质，其包括程序代码，当程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行上述任意一种复原模型的调整方法的步骤。
[0035]第五方面，本申请实施例还提供了一种计算机程序产品，包括计算机指令，计算机指令被处理器执行上述任意一种复原模型的调整方法的步骤。
[0036]本申请有益效果如下：
[0037]本申请实施例提供了一种复原模型的调整方法、装置、设备及存储介质，该方法包括：瑕疵检测与微调模型策略相结合，通过少量的测试图像对候选复原模型进行参数调整，使得微调后的目标复原模型在对包含类似退化类型的真实图像进行处理时，一定程度上会抑制原本出现在复原图像上的瑕疵再次生成，最终输出不含瑕疵或者含有少量瑕疵的复原图像，有效改善了图像质量。其中，每次调整过程为：利用不含瑕疵的第二复原图像，对第一复原图像进行瑕疵检测，生成标明瑕疵点的第三复原图像，再基于第二复原图像与第三复原图像，替换掉第一复原图像中判定为瑕疵点的像素点，生成不含瑕疵的基准复原图像，并基于基准复原图像与第一复原图像，对候选复原模型的模型参数进行微调。
[0038]本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复原模型的调整方法，其特征在于，包括：采用训练集中的各训练图像对初始复原模型进行训练，获得候选复原模型；采用循环迭代方式，基于测试集中的各测试图像对所述候选复原模型进行调整，输出调整后的目标复原模型，其中，每次迭代包括：对提取的测试图像进行图像复原处理，获得包含至少一个图像类别的第一复原图像，以及对所述测试图像进行图像平滑处理，获得不含瑕疵的第二复原图像；基于所述第二复原图像，对所述第一复原图像进行瑕疵检测，生成标明瑕疵点的第三复原图像；基于所述第三复原图像中判定为瑕疵点的像素点，确定所述第一复原图像中同一位置的像素点为瑕疵点，并使用所述第二复原图像中同一位置的像素点，替换所述第一复原图像中判定为瑕疵点的像素点，生成不含瑕疵的基准复原图像；采用基于所述基准复原图像与所述第一复原图像确定的损失值，调整所述候选复原模型的模型参数。2.如权利要求1所述的方法，其特征在于，所述基于所述第二复原图像，对所述第一复原图像进行瑕疵检测，生成含有瑕疵的第三复原图像，包括：基于所述第一复原图像与所述第二复原图像中同一位置的像素点各自的局部纹理，确定像素点之间的相对纹理差异；分别对各相对纹理差异进行映射处理，生成与所述第一复原图像具有相同图像大小、相同图像类别的瑕疵检测图像，所述瑕疵检测图像中各像素点各自的瑕疵值表征：所述第一复原图像中同一位置的像素点是否为瑕疵点；基于各瑕疵值与相应像素点所属图像类别的瑕疵允许上限，确定所述第一复原图像与所述第二复原图像中同一位置的像素点之间的纹理相似度，并基于各像素点各自的纹理相似度与第一设定阈值之间的比较结果，生成含有瑕疵的所述第三复原图像。3.如权利要求2所述的方法，其特征在于，所述基于所述第一复原图像与所述第二复原图像中同一位置的像素点各自的局部纹理，确定像素点之间的相对纹理差异，包括：基于所述第一复原图像与所述第二复原图像中同一位置的像素点各自的局部纹理之间的差值，确定像素点之间的绝对纹理差异；基于所述绝对纹理差异与所述同一位置的像素点各自的局部纹理，确定所述像素点之间的相对纹理差异。4.如权利要求1～3任一项权利要求所述的方法，其特征在于，针对所述第一复原图像的各像素点，分别执行以下操作，确定相应的局部纹理：使用预设的局部滑窗窗口，构建以一个像素点为中心的周边区域；基于所述周边区域中各像素点之间的分布情况，确定所述一个像素点的局部纹理。5.如权利要求2所述的方法，其特征在于，针对所述瑕疵检测图像的至少一个图像类别分别执行以下操作，获得相应图像类别的瑕疵允许上限：基于所述瑕疵检测图像中属于一个图像类别的像素总数，与所述一个图像类别下各瑕疵划分范围内的像素总数，确定各瑕疵划分范围内的瑕疵分布比例；基于瑕疵分布比例满足第二设定阈值的瑕疵划分范围，确定所述一个图像类别的瑕疵允许上限。
6.如权利要求5所述的方法，其特征在于，所述基于瑕疵分布比例满足第二设定阈值的瑕疵划分范围，确定所述一个图像类别的瑕疵允许上限，包括：按照从大到小的顺序，对所述各瑕疵划分范围进行排序；依次读取所述各瑕疵划分范围，每读取一个瑕疵划分范围，执行以下任意一种操作：在确定所述一个瑕疵划分范围的瑕疵分布比例满足所述第二设定阈值时，基于当前读取的所述一个瑕疵划分范围，确定所述一个图像类别的瑕疵允许上限；在确定所述一个瑕疵划分范围的瑕疵分布比例，与之前读取的各瑕疵划分范围的瑕疵分布比例之和满足所述第二设定阈值时，基于当前读取的所述一个瑕疵划分范围，确定所述一个图像类别的瑕疵允许上限；在确定所述一个瑕疵划分范围的瑕疵分布比例不符合上述任意一种时，继续读取下一个瑕疵划分范围。7.如权利要求1～3任一项权利要求所述的方法，其特征在于，在生成标明瑕疵点的第三复原图像之后，所述方法还包括：剔除所述第三复原图像中瑕疵面积低于第三设定阈值的像素点，并对剔除后...

【专利技术属性】
技术研发人员：王鑫涛，谢良彬，单瀛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：