图像生成模型的训练方法及装置、设备和存储介质制造方法及图纸

本公开提供一种图像生成模型的训练方法及装置、设备和存储介质，涉及图像缺陷检测技术。该图像生成模型的训练方法包括：获取多组训练图像，每组训练图像包括无缺陷图像和与所述无缺陷图像相对应的有缺陷图像；根据所述多组训练图像对循环生成式对抗网络进行训练，其中，在训练过程中，所述有缺陷图像中缺陷区域对应的损失权重大于非缺陷区域对应的损失权重；在所述循环生成式对抗网络训练完成后，根据所述循环生成式对抗网络中的生成模型得到图像生成模型。本申请至少可以提升模拟的缺陷区域或无缺陷区域的质量，以提升缺陷检测模型的训练效果。的训练效果。的训练效果。

【技术实现步骤摘要】
图像生成模型的训练方法及装置、设备和存储介质


[0001]本公开涉及图像缺陷检测技术，尤其涉及一种图像生成模型的训练方法及装置、设备和存储介质。

技术介绍

[0002]图像的缺陷检测指的是将图像输入至缺陷检测模型后输出图像以及模拟出图像上的缺陷。图像的缺陷检测广泛应用在各个领域，例如在工业生产中，图像的缺陷检测常用来检测产品表面的缺陷，以提升产品质量。在对图像的缺陷检测模型进行训练时，需要收集大量的训练数据(包括无缺陷的图像和有缺陷的图像)，但是仍然存在训练数据不足的情况。因此，需要进行图像的缺陷生成和无缺陷生成，以扩充训练数据的数据量和提高训练数据的多样性。
[0003]现有技术一般是对真实的图像进行例如二值化转换、仿射变换等处理来模拟出缺陷区域或无缺陷区域。但是这种方法主要是为了快速、批量得模拟生成具有缺陷区域的图像或具有无缺陷区域的图像，模拟的缺陷区域或无缺陷区域的质量比较差。以这些质量较差的图像作为训练数据来训练图像的缺陷检测模型会降低缺陷检测模型的训练效果。
[0004]因此，如何提升模拟的缺陷区域或无缺陷区域的质量，以提升缺陷检测模型的训练效果，仍然是亟待解决的。

技术实现思路

[0005]本公开提供一种图像生成模型的训练方法及装置、设备和存储介质，用以提升模拟的缺陷区域或无缺陷区域的质量，以提升缺陷检测模型的训练效果。
[0006]一方面，本公开提供一种图像生成模型的训练方法，包括：
[0007]获取多组训练图像，每组训练图像包括无缺陷图像和与所述无缺陷图像相对应的有缺陷图像；
[0008]根据所述多组训练图像对循环生成式对抗网络进行训练，其中，在训练过程中，所述有缺陷图像中缺陷区域对应的损失权重大于非缺陷区域对应的损失权重；
[0009]在所述循环生成式对抗网络训练完成后，根据所述循环生成式对抗网络中的生成模型得到图像生成模型。
[0010]在一个可选的实施例中，所述循环生成式对抗网络的损失函数包括循环一致性损失，所述循环一致性损失的损失权重在训练过程中逐渐增大。
[0011]在一个可选的实施例中，当所述循环一致性损失大于预设阈值时，增大所述循环一致性损失的损失权重；或者，
[0012]当每增加预设数量的训练次数时，增大所述循环一致性损失的损失权重。
[0013]在一个可选的实施例中，所述循环一致性损失包括第一循环损失和第二循环损失，所述第一循环损失为循环生成的无缺陷图像和所述训练图像中的无缺陷图像的损失，所述第二循环损失为循环生成的有缺陷图像和所述训练图像中的有缺陷图像的损失。
[0014]在一个可选的实施例中，所述生成模型包括第一生成模型和第二生成模型，所述第一生成模型和所述第二生成模型共用第一编码器；
[0015]所述第一编码器用于从输入的所述无缺陷图像中提取第一特征向量，以及从输入的所述有缺陷图像中提取第二特征向量。
[0016]在一个可选的实施例中，所述循环生成式对抗网络中的判别模型包括第一判别模型和第二判别模型；
[0017]所述第一判别模型包括所述第一编码器中的至少部分卷积层和第一卷积神经网络，所述第一编码器中的至少部分卷积层的输出为所述第一卷积神经网络的输入；所述第一判别模型用于输出伪有缺陷图像的判别结果，所述伪有缺陷图像是所述第一生成模型的第一解码器从所述第一特征向量解码得到的图像；
[0018]所述第二判别模型包括所述第一编码器中的至少部分卷积层和第二卷积神经网络，所述第二判别模型用于输出伪无缺陷图像的判别结果，所述伪无缺陷图像是所述第二生成模型的第二解码器从所述第二特征向量解码得到的图像。
[0019]在一个可选的实施例中，所述生成模型包括第一生成模型和第二生成模型，所述第一生成模型包括第二编码器，所述第二生成模型包括第三编码器；
[0020]所述第二编码器用于从输入的所述无缺陷图像中提取第一特征向量；
[0021]所述第三编码器用于从输入的所述有缺陷图像中提取第二特征向量。
[0022]在一个可选的实施例中，所述循环生成式对抗网络中的判别模型包括第一判别模型和第二判别模型；
[0023]所述第一判别模型包括所述第二编码器的至少部分卷积层和第三卷积神经网络，所述第二编码器的至少部分卷积层的输出为所述第三卷积神经网络的输入；所述第一判别模型用于输出伪有缺陷图像的判别结果，所述伪有缺陷图像是所述第一生成模型的第一解码器从所述第一特征向量解码得到的图像；
[0024]所述第二判别模型包括所述第三编码器中的至少部分卷积层和第四卷积神经网络，所述第三编码器的至少部分卷积层的输出为所述第四卷积神经网络的输入；所述第二判别模型用于输出伪无缺陷图像的判别结果，所述伪无缺陷图像是所述第二生成模型的第二解码器从所述第二特征向量解码得到的图像。
[0025]另一方面，本公开提供一种缺陷图像生成方法，包括：
[0026]获取待处理图像，并通过缺陷生成模型处理所述待处理图像，得到生成了缺陷区域的图像；其中，所述缺陷生成模型采用如第一方面所述的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成缺陷图像的生成模型。
[0027]另一方面，本公开提供一种无缺陷图像生成方法，包括：
[0028]获取有缺陷图像，并通过无缺陷生成模型处理所述有缺陷图像，得到无缺陷的图像；其中，所述无缺陷生成模型采用如第一方面所述的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成无缺陷图像的生成模型。
[0029]另一方面，本公开提供一种图像生成装置，包括缺陷生成模块和/或无缺陷生成模块；
[0030]缺陷生成模块，用于获取待处理图像，并通过缺陷生成模型处理所述待处理图像，得到生成了缺陷区域的图像；其中，所述缺陷生成模型采用如第一方面所述的图像生成模
型的训练方法训练生成的循环生成式对抗网络中的用于生成缺陷图像的生成模型；
[0031]无缺陷生成模块，用于获取有缺陷图像，并通过无缺陷生成模型处理所述有缺陷图像，得到无缺陷的图像；其中，所述无缺陷生成模型采用如第一方面所述的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成无缺陷图像的生成模型。
[0032]另一方面，本公开提供一种图像判别装置，包括第一判别模块和/或第二判别模块；
[0033]第一判别模块，用于获取待判断图像，并通过第一判别模型处理所述待判断图像，得到所述待判断图像中是否存在缺陷的判别结果，所述第一判别模型是在如第一方面所述的图像生成模型的训练方法对循环生成式对抗网络进行训练后，得到的第一判别模型；
[0034]第二判别模块，用于获取待判断图像，并通过第二判别模型处理所述待判断图像，得到所述待判断图像中的缺陷是否为真缺陷的判别结果，所述第二判别模型是在如第一方面所述的图像生成模型的训练方法对循环生成式对抗网络进行训练后，得到的第二判别模型。
[0035]另一方面，本公开提供一种电子设备，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成模型的训练方法，其特征在于，包括：获取多组训练图像，每组训练图像包括无缺陷图像和与所述无缺陷图像相对应的有缺陷图像；根据所述多组训练图像对循环生成式对抗网络进行训练，其中，在训练过程中，所述有缺陷图像中缺陷区域对应的损失权重大于非缺陷区域对应的损失权重；在所述循环生成式对抗网络训练完成后，根据所述循环生成式对抗网络中的生成模型得到图像生成模型。2.根据权利要求1所述的方法，其特征在于，所述循环生成式对抗网络的损失函数包括循环一致性损失，所述循环一致性损失的损失权重在训练过程中逐渐增大。3.根据权利要求2所述的方法，其特征在于，当所述循环一致性损失大于预设阈值时，增大所述循环一致性损失的损失权重；或者，当每增加预设数量的训练次数时，增大所述循环一致性损失的损失权重。4.根据权利要求2所述的方法，其特征在于，所述循环一致性损失包括第一循环损失和第二循环损失，所述第一循环损失为循环生成的无缺陷图像和所述训练图像中的无缺陷图像的损失，所述第二循环损失为循环生成的有缺陷图像和所述训练图像中的有缺陷图像的损失。5.根据权利要求1至4任一项所述的方法，其特征在于，所述生成模型包括第一生成模型和第二生成模型，所述第一生成模型和所述第二生成模型共用第一编码器；所述第一编码器用于从输入的所述无缺陷图像中提取第一特征向量，以及从输入的所述有缺陷图像中提取第二特征向量。6.根据权利要求5所述的方法，其特征在于，所述循环生成式对抗网络中的判别模型包括第一判别模型和第二判别模型；所述第一判别模型包括所述第一编码器中的至少部分卷积层和第一卷积神经网络，所述第一编码器中的至少部分卷积层的输出为所述第一卷积神经网络的输入；所述第一判别模型用于输出伪有缺陷图像的判别结果，所述伪有缺陷图像是所述第一生成模型的第一解码器从所述第一特征向量解码得到的图像；所述第二判别模型包括所述第一编码器中的至少部分卷积层和第二卷积神经网络，所述第二判别模型用于输出伪无缺陷图像的判别结果，所述伪无缺陷图像是所述第二生成模型的第二解码器从所述第二特征向量解码得到的图像。7.根据权利要求1至4任一项所述的方法，其特征在于，所述生成模型包括第一生成模型和第二生成模型，所述第一生成模型包括第二编码器，所述第二生成模型包括第三编码器；所述第二编码器用于从输入的所述无缺陷图像中提取第一特征向量；所述第三编码器用于从输入的所述有缺陷图像中提取第二特征向量。8.根据权利要求7所述的方法，其特征在于，所述循环生成式对抗网络中的判别模型包括第一判别模型和第二判别模型；所述第一判别模型包括所述第二编码器的至少部分卷积层和第三卷积神经网络，所述第二编码器的至少部分卷积层的输出为所述第三卷积神经网络的输入；所述第一判别模型用于输出伪有缺陷图像的判别结果，所述伪有缺陷图像是所述第一生成模型的第一解码器
从所述第一特征向量解码得到的图像；所述第二判别模型包括所述第三编码器中的至少部分卷积层和第四卷积神经网络，所述第三编码器的至少部分...

【专利技术属性】
技术研发人员：洪恺临，阳鑫，林俊，丁有爽，邵天兰，
申请(专利权)人：梅卡曼德北京机器人科技有限公司，
类型：发明
国别省市：