一种阴影生成模型训练方法、装置、设备及存储介质制造方法及图纸

本申请提供一种阴影生成模型训练方法、装置、设备及存储介质，涉及图像处理技术领域。该方法包括：分别将阴影图像、无阴影图像输入初始伪阴影生成模型中的初始编码器中进行编码，得到阴影特征以及无阴影特征；将阴影特征以及无阴影图像、无阴影特征以及阴影图像分别同时输入初始生成器中进行解码，得到第一图像、第二图像；将第一图像以及阴影图像分别输入阴影鉴别器中，得到第一阴影鉴别结果、第二阴影鉴别结果，并将第二图像、无阴影图像分别输入无阴影鉴别器中，得到第一无阴影鉴别结果、第二无阴影鉴别结果，基于此，训练得到目标伪阴影生成模型。这样可以提高目标伪阴影生成模型的精确度，从而提高训练数据集的质量、图像去阴影的精确度。影的精确度。影的精确度。

【技术实现步骤摘要】
一种阴影生成模型训练方法、装置、设备及存储介质


[0001]本申请涉及图像处理
，具体而言，涉及一种阴影生成模型训练方法、装置、设备及存储介质。

技术介绍

[0002]基于深度学习的图像阴影去除技术的成功需要建立在成对图像组成的大规模训练数据集的基础上，其中，训练数据集的成对图像中包括阴影图像和相应的无阴影图像。然而，捕获和收集这样大规模的训练数据集是耗时且困难的。
[0003]虽然现在已经存在，无需阴影图像就可得到训练数据集的方法。但是，利用现有技术构建得到的训练数据集质量低下，进而影响利用训练数据集训练得到的去阴影模型的性能，即使图像去阴影的精确度低下。
[0004]所以，如何提高训练数据集的质量，进而提高图像去阴影的精确度是当前亟待解决的问题。

技术实现思路

[0005]本申请的目的在于，针对上述现有技术中的不足，提供一种阴影生成模型训练方法、装置、设备及存储介质，可以提高训练数据集的质量，进而提高图像去阴影的精确度。
[0006]为实现上述目的，本申请实施例采用的技术方案如下：
[0007]第一方面，本申请实施例提供了一种阴影生成模型训练方法，所述方法包括：
[0008]将阴影图像输入初始伪阴影生成模型中的初始编码器中进行编码，得到阴影特征，并将无阴影图像输入所述初始编码器中进行编码，得到无阴影特征，其中，所述阴影图像和所述无阴影图像来自同一原始阴影图像；
[0009]将所述阴影特征以及所述无阴影图像同时输入所述初始伪阴影生成模型中的初始生成器中进行解码，得到第一图像，并将所述无阴影特征以及所述阴影图像同时输入所述初始生成器中进行解码，得到第二图像；
[0010]将所述第一图像以及所述阴影图像分别输入阴影鉴别器中，得到第一阴影鉴别结果以及第二阴影鉴别结果，并将所述第二图像以及所述无阴影图像分别输入无阴影鉴别器中，得到第一无阴影鉴别结果以及第二无阴影鉴别结果；
[0011]根据所述第一阴影鉴别结果、所述第二阴影鉴别结果、所述第一无阴影鉴别结果以及所述第二无阴影鉴别结果，对所述初始伪阴影生成模型中的模型参数进行修正，训练得到目标伪阴影生成模型，所述目标伪阴影生成模型中包括目标编码器以及目标生成器。
[0012]可选地，所述根据所述第一阴影鉴别结果、所述第二阴影鉴别结果、所述第一无阴影鉴别结果以及所述第二无阴影鉴别结果，对所述初始伪阴影生成模型中的模型参数进行修正，训练得到目标伪阴影生成模型，包括：
[0013]根据所述第一阴影鉴别结果、所述第二阴影鉴别结果、所述第一无阴影鉴别结果以及所述第二无阴影鉴别结果，确定鉴别器损失信息；
[0014]分别提取所述第一图像、所述无阴影图像、所述第二图像以及所述阴影图像分别在颜色空间的通道信息，得到第一通道信息、第二通道信息、第三通道信息以及第四通道信息；
[0015]根据所述第一通道信息、所述第二通道信息、所述第三通道信息以及所述第四通道信息，确定颜色损失信息；
[0016]根据所述鉴别器损失信息以及所述颜色损失信息，确定所述初始伪阴影生成模型的损失信息；
[0017]根据所述损失信息，对所述初始伪阴影生成模型中的模型参数进行修正，训练得到目标伪阴影生成模型。
[0018]可选地，所述根据所述鉴别器损失信息以及所述颜色损失信息，确定所述初始伪阴影生成模型的损失信息，包括：
[0019]将所述第一图像输入所述初始编码器中，得到第一特征，并将所述第一特征以及所述阴影特征作为第一损失函数的参数，得到第一损失；
[0020]将所述第二图像输入所述初始编码器中，得到第二特征，并将所述第二特征以及所述无阴影特征作为所述第一损失函数的参数，得到第二损失；
[0021]将所述第一损失与所述第二损失相加，得到阴影特征损失信息；
[0022]根据所述鉴别器损失信息、所述颜色损失信息以及所述阴影特征损失信息，确定所述初始伪阴影生成模型的损失信息。
[0023]可选地，所述根据所述鉴别器损失信息、所述颜色损失信息以及所述阴影特征损失信息，确定所述初始伪阴影生成模型的损失信息，包括：
[0024]将所述阴影特征以及所述第二图像同时输入所述初始生成器中，得到第三图像；
[0025]将所述无阴影特征以及所述第一图像同时输入所述初始生成器中，得到第四图像；
[0026]根据所述阴影图像、所述无阴影图像、所述第三图像以及所述第四图像，确定循环自重建损失信息；
[0027]根据所述鉴别器损失信息、所述颜色损失信息、所述阴影特征损失信息以及所述循环自重建损失信息，确定所述初始伪阴影生成模型的损失信息。
[0028]可选地，所述根据所述阴影图像、所述无阴影图像、所述第三图像以及所述第四图像，确定循环自重建损失信息，包括：
[0029]将所述阴影图像以及所述第三图像作为第一损失函数的参数，得到第三损失；
[0030]将所述无阴影图像以及所述第四图像作为第一损失函数的参数，得到第四损失；
[0031]将所述第三损失与所述第四损失相加，得到所述循环自重建损失信息。
[0032]可选地，所述根据所述鉴别器损失信息以及所述颜色损失信息，确定所述初始伪阴影生成模型的损失信息，包括：
[0033]将所述阴影图像以及所述阴影特征同时输入所述初始生成器中，得到第五图像；
[0034]根据第一损失函数、关注频率损失函数、所述阴影图像以及所述第五图像，确定第五损失；
[0035]将所述无阴影图像以及所述无阴影特征同时输入所述初始生成器中，得到第六图像；
[0036]根据第一损失函数、关注频率损失函数、所述无阴影图像以及所述第六图像，确定第六损失；
[0037]将所述第五损失与所述第六损失相加，得到自重建损失信息；
[0038]根据所述自重建损失信息、所述鉴别器损失信息以及所述颜色损失信息，确定所述初始伪阴影生成模型的损失信息。
[0039]可选地，所述方法还包括：
[0040]对样本原始阴影图像进行分割处理，得到样本原始阴影图像中阴影部分对应的样本阴影图像以及无阴影部分对应的样本无阴影图像；
[0041]将分别将所述样本阴影图像以及所述样本无阴影图像输入所述目标伪阴影生成模型中，得到所述样本无阴影图像对应的样本伪阴影图像，将所述样本无阴影图像和所述样本伪阴影图像加入训练数据集中；
[0042]将所述训练数据集中的样本伪阴影图像输入初始去阴影模型中的第一网络中，得到第一去阴影结果；
[0043]根据所述第一去阴影结果、所述样本原始阴影图像以及所述初始去阴影模型中的第二网络，得到第二去阴影结果，并将所述第二去阴影结果输入所述初始去阴影模型中的第二网络中，得到第三去阴影结果；
[0044]根据所述第一去阴影结果、所述第三去阴影结果、所述样本伪阴影图像、所述样本原始阴影图像以及所述样本伪阴影图像对应的阴影掩膜，确定去阴影损失信息；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种阴影生成模型训练方法，其特征在于，所述方法包括：将阴影图像输入初始伪阴影生成模型中的初始编码器中进行编码，得到阴影特征，并将无阴影图像输入所述初始编码器中进行编码，得到无阴影特征，其中，所述阴影图像和所述无阴影图像来自同一原始阴影图像；将所述阴影特征以及所述无阴影图像同时输入所述初始伪阴影生成模型中的初始生成器中进行解码，得到第一图像，并将所述无阴影特征以及所述阴影图像同时输入所述初始生成器中进行解码，得到第二图像；将所述第一图像以及所述阴影图像分别输入阴影鉴别器中，得到第一阴影鉴别结果以及第二阴影鉴别结果，并将所述第二图像以及所述无阴影图像分别输入无阴影鉴别器中，得到第一无阴影鉴别结果以及第二无阴影鉴别结果；根据所述第一阴影鉴别结果、所述第二阴影鉴别结果、所述第一无阴影鉴别结果以及所述第二无阴影鉴别结果，对所述初始伪阴影生成模型中的模型参数进行修正，训练得到目标伪阴影生成模型，所述目标伪阴影生成模型中包括目标编码器以及目标生成器。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一阴影鉴别结果、所述第二阴影鉴别结果、所述第一无阴影鉴别结果以及所述第二无阴影鉴别结果，对所述初始伪阴影生成模型中的模型参数进行修正，训练得到目标伪阴影生成模型，包括：根据所述第一阴影鉴别结果、所述第二阴影鉴别结果、所述第一无阴影鉴别结果以及所述第二无阴影鉴别结果，确定鉴别器损失信息；分别提取所述第一图像、所述无阴影图像、所述第二图像以及所述阴影图像分别在颜色空间的通道信息，得到第一通道信息、第二通道信息、第三通道信息以及第四通道信息；根据所述第一通道信息、所述第二通道信息、所述第三通道信息以及所述第四通道信息，确定颜色损失信息；根据所述鉴别器损失信息以及所述颜色损失信息，确定所述初始伪阴影生成模型的损失信息；根据所述损失信息，对所述初始伪阴影生成模型中的模型参数进行修正，训练得到目标伪阴影生成模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述鉴别器损失信息以及所述颜色损失信息，确定所述初始伪阴影生成模型的损失信息，包括：将所述第一图像输入所述初始编码器中，得到第一特征，并将所述第一特征以及所述阴影特征作为第一损失函数的参数，得到第一损失；将所述第二图像输入所述初始编码器中，得到第二特征，并将所述第二特征以及所述无阴影特征作为所述第一损失函数的参数，得到第二损失；将所述第一损失与所述第二损失相加，得到阴影特征损失信息；根据所述鉴别器损失信息、所述颜色损失信息以及所述阴影特征损失信息，确定所述初始伪阴影生成模型的损失信息。4.根据权利要求3所述的方法，其特征在于，所述根据所述鉴别器损失信息、所述颜色损失信息以及所述阴影特征损失信息，确定所述初始伪阴影生成模型的损失信息，包括：将所述阴影特征以及所述第二图像同时输入所述初始生成器中，得到第三图像；将所述无阴影特征以及所述第一图像同时输入所述初始生成器中，得到第四图像；
根据所述阴影图像、所述无阴影图像、所述第三图像以及所述第四图像，确定循环自重建损失信息；根据所述鉴别器损失信息、所述颜色损失信息、所述阴影特征损失信息以及所述循环自重建损失信息，确定所述初始伪阴影生成模型的损失信息。5.根据权利要求4所述的方法，其特征在于，所述根据所述阴影图像、所述无阴影图像、所述第三图像以及所述第四图像，确定循环自重建损失信息，包括：将所述阴影图像以及所述第三图像作为第一损失函数的参数，得到第三损失；将所述无阴影图像以及所述第四图像作为第一损失函数的参数，得到第四损失；将所述...

【专利技术属性】
技术研发人员：纪荣嵘，钟云山，余清洲，陈锰钊，邹嘉伟，林明宝，许清泉，刘洛麒，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：