训练图像修复模型的方法、图像修复方法、装置、介质及设备制造方法及图纸

本公开涉及一种训练图像修复模型的方法、图像修复方法、装置、介质及设备，其中，所述训练图像修复模型的方法，包括：利用预设的掩膜图像对完整图像进行破损处理，生成破损图像；将破损图像输入至图像修复模型，获得修复图像和缺失图像；根据完整图像、修复图像、掩膜图像和缺失图像，确定图像修复模型的损失值；在损失值大于预设阈值时，根据损失值更新图像修复模型。因此，可以提高该图像修复模型的鲁棒性和可迁移性，并且有效提高基于该图像修复模型进行图像修复获得的修复图像的质量，提升用户使用体验。

Method, device, medium and equipment of training image restoration model

The present disclosure relates to a method, an image restoration method, a device, a medium and a device for training an image restoration model, in which the method for training an image restoration model includes: using a preset mask image to damage a complete image and generate a damaged image; inputting a damaged image into an image restoration model and obtaining a damaged image. The restoration image and missing image are obtained; the loss value of the image restoration model is determined according to the complete image, restoration image, mask image and missing image; when the loss value is greater than the preset threshold, the image restoration model is updated according to the loss value. Therefore, the robustness and migrability of the image restoration model can be improved, and the quality of the restored image obtained from the image restoration model can be effectively improved, and the user experience can be improved.

【技术实现步骤摘要】
【国外来华专利技术】训练图像修复模型的方法、图像修复方法、装置、介质及设备
本公开涉及图像处理领域，具体地，涉及一种训练图像修复模型的方法、图像修复方法、装置、介质及设备。
技术介绍
图像修复的主要目的是还原图像中缺失的部分，在现实生活中有着广泛的应用。现有技术中，图像修复通常通过深度学习方法实现，如通过训练自编码全卷积神经网络或者对抗生成网络获得图像修复模型，从而基于该图像修复模型获得修复的图像。然而在该图像修复方式中，只通过计算上述网络修复的图像与完整图像之间的像素差异性来监督训练，使得训练所得的图像修复模型鲁棒性较低。
技术实现思路
本公开的目的是提供一种应用广泛的训练图像修复模型的方法、图像修复方法、装置、介质及设备。为了实现上述目的，根据本公开的第一方面，提供一种训练图像修复模型的方法，所述方法包括：利用预设的掩膜图像对完整图像进行破损处理，生成破损图像；将所述破损图像输入至图像修复模型，获得修复图像和缺失图像，所述缺失图像为所述破损图像的缺失部分的图像；根据所述完整图像、所述修复图像、所述掩膜图像和所述缺失图像，确定所述图像修复模型的损失值；在所述损失值大于预设阈值时，根据所述损失值更新所述图像修复模型。根据本公开的第二方面，提供一种图像修复方法，所述方法包括：接收待修复图像；将所述待修复图像输入至图像修复模型，得到修复图像，其中，所述图像修复模型是通过上述第一方面所述方法进行训练得到的。根据本公开的第三方面，提供一种训练图像修复模型的装置，所述装置包括：生成模块，用于利用预设的掩膜图像对完整图像进行破损处理，生成破损图像；修复模块，用于将所述破损图像输入至图像修复模型，获得修复图像和缺失图像，所述缺失图像为所述破损图像的缺失部分的图像；确定模块，用于根据所述完整图像、所述修复图像、所述掩膜图像和所述缺失图像，确定所述图像修复模型的损失值；更新模块，用于在所述损失值大于预设阈值时，根据所述损失值更新所述图像修复模型。根据本公开的第四方面，提供一种图像修复装置，所述装置包括：接收模块，用于接收待修复图像；处理模块，用于将所述待修复图像输入至图像修复模型，得到修复图像，其中，所述图像修复模型是通过上述第一方面所述方法进行训练得到的。根据本公开的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面所述方法的步骤。根据本公开的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第二方面所述方法的步骤。根据本公开的第七方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面所述方法的步骤。根据本公开的第八方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现上述第二方面所述方法的步骤。在上述技术方案中，通过预设的掩膜图像对完整图像进行破损处理，以生成破损图像；并根据完整图像、修复图像、掩膜图像、缺失图像，确定图像修复模型的损失值，从而通过该损失值对图像修复模型进行训练。因此，通过上述技术方案，在对图像修复模型进行训练时，不仅通过完整图像进行监督训练，同时还通过缺失图像进行监督训练，使得在基于图像修复模型进行图像修复时，可以有效保证破损图像中的缺失部分的准确性，从而可以有效提高图像修复模型的精准度。更进一步地，还可以提高该图像修复模型的鲁棒性和可迁移性，并且有效提高基于该图像修复模型进行图像修复获得的修复图像的质量，提升用户使用体验。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1是根据本公开的一种实施方式提供的训练图像修复模型的方法的流程图；图2是根据完整图像、修复图像、掩膜图像和缺失图像，确定图像修复模型的损失值的一种示例性实现方式的流程图；图3是根据本公开的一种实施方式提供的一种图像修复方法的流程图；图4是根据本公开的一种实施方式提供的训练图像修复模型的框图；图5是根据本公开的另一种实施方式提供的训练图像修复模型的确定模块的框图；图6是根据本公开的另一种实施方式提供的图像修复装置的框图；图7是根据一示例性实施例示出的一种电子设备的框图；图8是根据一示例性实施例示出的一种电子设备的框图。具体实施方式以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。图1所示，为根据本公开的一种实施方式提供的训练图像修复模型的方法的流程图。如图1所示，所述方法包括：在S11中，利用预设的掩膜图像对完整图像进行破损处理，生成破损图像。其中，可以从数据库或者互联网上获取大量的完整图像。之后，利用预设的掩膜图像对完整图像进行破损处理，生成破损图像，同时可以存储该掩膜图像与破损图像之间的对应关系。其中，预设的掩膜图像可以是随机生成的各种噪声。在S12中，将破损图像输入至图像修复模型，获得修复图像和缺失图像，所述缺失图像为所述破损图像的缺失部分的图像。其中，所述图像修复模型可以通过任意结构的自编码全卷积网络实现。示例地，在该卷积网络中的最后一个特征层学习的是破损图像对应的缺失图像，其中，缺失图像与破损图像的大小相同。可选地，所述修复图像通过如下方式获得：将所述破损图像与所述缺失图像叠加。示例地，可以通过如下公式确定修复图像：其中，表示所述修复图像的图像矩阵；H(x)表示所述缺失图像的图像矩阵；x表示所述破损图像的图像矩阵。在该实施例中，当破损图像输入至图像修复模型中时，图像修复模型的最后一个特征层可以输出与输入的破损图像对应的缺失图像，并且两者大小相同。因此，可以将该破损图像和缺失图像进行叠加，从而获得修复图像。因此，通过上述技术方案，在对图像修复模型进行训练时，一方面可以学习训练破损图像对应的缺失图像，提高该图像修复模型的适用性和可迁移性，另一方面，又可以快速确定出修复图像。在S13中，根据完整图像、修复图像、掩膜图像和缺失图像，确定图像修复模型的损失值。其中，所述损失值的大小可以表征通过图像修复模型获得的修复图像的质量，当损失值越小时，表征修复图像的质量越高。因此，在确定图像修复模型的损失值时，与现有技术中只考虑完整图像与修复图像之间的损失相较，本公开中通过完整图像、修复图像、掩膜图像和缺失图像确定图像修复模型的损失值，使得图像修复模型通过多个图像进行监督训练，以拓宽图像修复模型的适用范围。在S14中，在损失值大于预设阈值时，根据损失值更新图像修复模型。其中，预设阈值可以表示该图像修复模型的图像修复损失的接受程度，示例地，该预设阈值可以为10-6。因此，当损失值大于该预设阈值10-6时，表示此时图像修复模型的损失值较大，即需要继续进行训练以获得更加准确的图像修复模型。需要进行说明的是，根据损失值更新图像修复模型的方法为现有技术，对此不再赘述。在对破损图像进行修复时，主要目的是要还原破损图像中的缺失部分。在上述技术方案中，通过预设的掩膜图像对完整图像进行破损处理，以生成破损图像；并根据完整图像、修复图像、掩膜图像、缺失图像，确定图像修复模型的损失值，从而通本文档来自技高网...

【技术保护点】
1.一种训练图像修复模型的方法，其特征在于，所述方法包括：利用预设的掩膜图像对完整图像进行破损处理，生成破损图像；将所述破损图像输入至图像修复模型，获得修复图像和缺失图像，所述缺失图像为所述破损图像的缺失部分的图像；根据所述完整图像、所述修复图像、所述掩膜图像和所述缺失图像，确定所述图像修复模型的损失值；在所述损失值大于预设阈值时，根据所述损失值更新所述图像修复模型。

【技术特征摘要】
【国外来华专利技术】1.一种训练图像修复模型的方法，其特征在于，所述方法包括：利用预设的掩膜图像对完整图像进行破损处理，生成破损图像；将所述破损图像输入至图像修复模型，获得修复图像和缺失图像，所述缺失图像为所述破损图像的缺失部分的图像；根据所述完整图像、所述修复图像、所述掩膜图像和所述缺失图像，确定所述图像修复模型的损失值；在所述损失值大于预设阈值时，根据所述损失值更新所述图像修复模型。2.根据权利要求1所述的方法，其特征在于，在更新所述图像修复模型之后，返回所述利用预设的掩膜图像对完整图像进行破损处理，生成破损图像的步骤，直到更新后的所述图像修复模型的损失值小于或等于所述预设阈值为止。3.根据权利要求1所述的方法，其特征在于，所述修复图像通过如下方式获得：将所述破损图像与所述缺失图像叠加。4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据所述完整图像、所述修复图像、所述掩膜图像和所述缺失图像，确定所述图像修复模型的损失值，包括：根据所述完整图像和所述修复图像，确定第一损失值；根据所述缺失图像和所述掩膜图像，确定第二损失值；根据所述第一损失值和所述第二损失值，确定所述图像修复模型的损失值。5.根据权利要求4所述的方法，其特征在于，所述第一损失值为所述完整图像的图像矩阵与所述修复图像的图像矩阵之间的欧氏距离。6.根据权利要求4所述的方法，其特征在于，所述第二损失值为将所述缺失图像的图像矩阵中的元素与所述掩膜图像的图像矩阵中对应位置的元素相乘所得的矩阵的二范数。7.根据权利要求4所述的方法，其特征在于，所述根据所述第一损失值和所述第二损失值，确定所述图像修复模型的损失值，包括：通过如下公式确定所述图像修复模型的损失值：loss＝loss1+λloss2其...

【专利技术属性】
技术研发人员：胡欢，刘兆祥，廉士国，
申请(专利权)人：深圳前海达闼云端智能科技有限公司，
类型：发明
国别省市：广东,44