反射图像生成模型及反射去除模型的训练方法技术

本发明专利技术涉及图像处理技术领域，具体涉及反射图像生成模型及反射去除模型的训练方法，所述反射图像生成模型的训练方法包括获取任意的无反射样本图像与反射样本图像；将反射样本图像输入反射去除模型中得到预测无反射图像，并利用反射样本图像与预测无反射图像，得到预测反射层图像特征；将预测反射层图像特征与无反射样本图像输入反射图像生成模型中，得到预测反射图像；基于预测无反射图像与预测反射图像进行损失函数的计算，对反射去除模型以及反射图像生成模型进行训练，以得到目标反射图像生成模型。利用非配对的无反射样本图像与反射样本图像进行模型训练，且加入真实数据进行建模，使得反射图像生成模型具有优秀的泛化能力。力。力。

【技术实现步骤摘要】
反射图像生成模型及反射去除模型的训练方法


[0001]本专利技术涉及图像处理
，具体涉及反射图像生成模型及反射去除模型的训练方法。

技术介绍

[0002]在通过镜面拍摄图像或视频时，图像往往会包含镜面反射的物体，严重影响呈现图像的质量。随着深度学习方法在图像处理方向的广泛应用，可以通过神经网络的方式对反射图像进行反射的去除，从而得到无反射图像。
[0003]在神经网络的训练过程中，需要成对的样本图像，即，反射图像与对应的无反射图像。而在真实场景中，成对的样本图像获取较为困难，一般采用各种线性或非线性的方式将无反射图像和反射层的图像进行融合，从而形成具有反射的图像。例如，一幅具有反射的图像可以表示为：
[0004]RI＝α
×
TL+(1
‑
α)
×
RL；
[0005]上式中，RI表示具有反射现象的图像(即，反射图像)，TL表示无反射图像，RL表示反射层的图像，α表示融合系数。即，一幅有反射的图像可以表示为反射图像和背景图像通过特定的系数融合而成。
[0006]基于此，一般是采集到无反射图像之后，采用上述公式将无反射图像与反射层的图像进行融合，得到与无反射图像对应的反射图像。然而，这些简单的系数融合往往不能充分的表示真实场景复杂的成像模式，导致样本图像难以代表复杂真实的场景。

技术实现思路

[0007]有鉴于此，本专利技术实施例提供了一种反射图像生成模型及反射去除模型的训练方法，以解决通过系数融合得到的样本图像难以代表复杂真实的场景的问题。
[0008]根据第一方面，本专利技术实施例提供了一种反射图像生成模型的训练方法，包括：
[0009]获取任意的无反射样本图像与反射样本图像；
[0010]将所述反射样本图像输入反射去除模型中得到预测无反射图像，并利用所述反射样本图像与所述预测无反射图像，得到预测反射层图像特征；
[0011]将所述预测反射层图像特征与所述无反射样本图像输入反射图像生成模型中，得到预测反射图像；
[0012]将所述预测无反射图像以及所述预测反射图像分别输入第一鉴别器以及第二鉴别器，分别得到第一鉴别结果以及第二鉴别结果，以确定第一鉴别损失；
[0013]基于所述第一鉴别损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到目标反射图像生成模型。
[0014]本专利技术实施提供的反射图像生成模型的训练方法，利用非配对的无反射样本图像与反射样本图像进行模型训练，且在训练过程中实现反射与无反射的互相转换，用于模拟真实反射场景下的图像。在训练过程中使用真实反射图像并使用对抗训练的技术进行监
督，通过加入真实数据对算法最终应用的场景信息进行建模，使得该发射图像生成模型具有优秀的泛化能力，从而使得所得到的目标反射图像生成模型能够生成更真实、更大量的反射图像。
[0015]结合第一方面，在第一方面第一实施方式中，所述基于所述第一鉴别损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到所述反射图像生成模型对应的目标反射图像生成模型，包括：
[0016]分别对所述预测无反射图像以及所述预测反射图像进行图像重建，得到重建反射图像与重建无反射图像；
[0017]基于所述重建反射图像与所述反射样本图像的差异，以及所述重建无反射图像与所述无反射样本图像的差异，确定重建损失；
[0018]基于所述重建损失以及所述第一鉴别损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到所述目标反射图像生成模型。
[0019]本专利技术实施提供的反射图像生成模型的训练方法，通过重建图像确定重建损失，使得在图像风格转变的过程中尽量保持图像特征的完整性，不至于丢失更多的特征，保证的对抗训练的稳定性。
[0020]结合第一方面第一实施方式，在第一方面第二实施方式中，所述分别对所述预测无反射图像以及所述预测反射图像进行图像重建，得到重建无反射图像与重建反射图像，包括：
[0021]将所述预测反射层图像特征以及所述预测无反射图像输入所述反射图像生成模型，得到所述重建反射图像；
[0022]将所述预测反射图像输入所述反射去除模型中，得到所述重建无反射图像。
[0023]本专利技术实施提供的反射图像生成模型的训练方法，利用网络模型进行图像的重建，可以保证图像重建的可靠性与准确性；且网络模型的使用使得整个训练基于循环对抗的原理，简化了训练过程。
[0024]结合第一方面，或第一方面第一实施方式或第二实施方式，在第一方面第三实施方式中，所述基于所述第一鉴别损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到目标反射图像生成模型，还包括：
[0025]对所述预测反射图像进行梯度计算，得到梯度损失；
[0026]基于所述第一鉴别损失以及所述梯度损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到所述目标反射图像生成模型。
[0027]本专利技术实施提供的反射图像生成模型的训练方法，在训练过程中融合了镜面反射的基本原理，需要考虑生成图像的合理性，即反射层往往具有一定的平滑性，基于此添加了所谓的平滑损失，是一个正则化项，约束反射层特征，使其具有平滑的梯度，从而可以在一定程度上衡量一幅图像是否具有平滑的过渡。
[0028]根据第二方面，本专利技术实施例还提供了一种反射图像的生成方法，包括：
[0029]获取任意的无反射图像以及反射图像；
[0030]将所述无反射图像以及所述反射图像输入目标反射图像生成模型中，得到与所述无反射图像对应的目标反射图像，以形成目标图像对，所述目标反射图像生成模型是根据本专利技术第一方面，或第一方面任一实施方式中所述的反射图像生成模型的训练方法训练得
到的。
[0031]本专利技术实施提供的反射图像的生成方法，利用训练得到的目标反射图像生成模型生成与无反射图像对应的目标反射图像，由于目标反射图像具有较好的泛化能力，因此所生成的目标反射图像能够模拟复杂的应用场景。
[0032]根据第三方面，本专利技术实施例还提供了一种反射去除模型的训练方法，包括：
[0033]获取目标图像对，所述目标图像对是根据本专利技术第二方面所述的反射图像的生成方法形成的；
[0034]将所述目标图像对中的目标反射图像输入反射去除模型中，得到预测目标无反射图像；
[0035]利用所述预测目标无反射图像与所述目标图像对中的无反射图像的差异，得到重构损失；
[0036]基于所述重构损失对所述反射去除模型进行训练，以得到目标反射去除模型。
[0037]本专利技术实施例提供的反射去除模型的训练方法，利用能够模拟复杂应用场景的目标图像对对反射去除模型进行训练，使得训练得到的目标反射去除模型能够适用于不同的应用场景，具有较好的适用性。
[0038]结合第三方面，在第三方面第一实施方式中，所述基于所述重构损失对所述反射去除模型进行训练，以得到目标反射去除本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种反射图像生成模型的训练方法，其特征在于，包括：获取任意的无反射样本图像与反射样本图像；将所述反射样本图像输入反射去除模型中得到预测无反射图像，并利用所述反射样本图像与所述预测无反射图像，得到预测反射层图像特征；将所述预测反射层图像特征与所述无反射样本图像输入反射图像生成模型中，得到预测反射图像；基于所述预测无反射图像与所述预测反射图像进行损失函数的计算，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到目标反射图像生成模型。2.根据权利要求1所述的训练方法，其特征在于，所述基于所述预测无反射图像与所述预测反射图像进行损失函数的计算，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到所述反射图像生成模型对应的目标反射图像生成模型，包括：将所述预测无反射图像以及所述预测反射图像分别输入第一鉴别器以及第二鉴别器，分别得到第一鉴别结果以及第二鉴别结果，以确定第一鉴别损失；分别对所述预测无反射图像以及所述预测反射图像进行图像重建，得到重建反射图像与重建无反射图像；基于所述重建反射图像与所述反射样本图像的差异，以及所述重建无反射图像与所述无反射样本图像的差异，确定重建损失；基于所述重建损失以及所述第一鉴别损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到所述目标反射图像生成模型。3.根据权利要求2所述的训练方法，其特征在于，所述分别对所述预测无反射图像以及所述预测反射图像进行图像重建，得到重建无反射图像与重建反射图像，包括：将所述预测反射层图像特征以及所述预测无反射图像输入所述反射图像生成模型，得到所述重建反射图像；将所述预测反射图像输入所述反射去除模型中，得到所述重建无反射图像。4.根据权利要求1至3中任一项所述的训练方法，其特征在于，所述基于所述第一鉴别损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到目标反射图像生成模型，还包括：对所述预测反射图像进行梯度计算，得到梯度损失；基于所述第一鉴别损失以及所述梯度损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到所述目标反射图像生成模型。5.一种反射图像的生成方法，其特征在于，包括：获取任意的无反射图像以及反射图像；将所述无反射图像以及所述反射图像输入目标反射图像生成模型中，得到与所述无反射图像对应的目标反射图像，以形成目标图像对，所述目标反射图像生成模型是根...

【专利技术属性】
技术研发人员：汪磊，李瑮，毛晓蛟，
申请(专利权)人：苏州科达科技股份有限公司，
类型：发明
国别省市：