图像处理模型的训练方法、图像处理方法、装置及存储介质制造方法及图纸

本发明专利技术提供了图像处理模型的训练方法，包括：根据原始图像中的待替换脸部，更新图像处理模型中编码器的参数，以使编码器能够对待替换脸部进行编码，且编码得到待替换脸部的风格特征；根据原始图像的待替换脸部，更新图像处理模型中解码器的参数，以使解码器能够基于待替换脸部的风格特征进行解码；在保持编码器的参数不变的情况下，根据目标图像中目标脸部更新解码器的参数，以使解码器能够基于待替换脸部的风格特征进行解码，且解码得到与待替换脸部具有相同风格的目标脸部。本发明专利技术还提供了图像处理模型的图像处理方法、装置及存储介质。本发明专利技术能够在保证图像处理模型的识别精度的情况下提升训练效率。

Training Method, Image Processing Method, Device and Storage Media of Image Processing Model

【技术实现步骤摘要】
图像处理模型的训练方法、图像处理方法、装置及存储介质
本专利技术涉及图像处理技术，尤其涉及图像处理模型的训练方法、图像处理方法、装置及存储介质。
技术介绍
在电影特效和互联网社交等应用中，存在保持原始图像(例如图片或者视频帧)中人物的脸部(也称为待替换脸部)的风格的情况下，将待替换脸部替换为其他人物的脸部(也称为目标脸部)的需求。为此，人工智能技术提供了训练适当的图像处理模型来支持上述应用的方案。图像处理模型是基于特定的待替换脸部和目标脸部进行训练的，当待替换脸部发生更新时，需要对图像处理模型中的参数进行全量的更新，训练图像处理模型的效率受到影响，进而影响了图像处理模型在生产环境中上线以实现上述应用的效率。
技术实现思路
有鉴于此，本专利技术实施例提供图像处理模型的训练方法、图像处理方法、装置及存储介质，能够保证图像处理模型的识别精度的情况下提升图像处理模型的训练效率。本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供了一种图像处理模型的训练方法，包括：根据原始图像中的待替换脸部，更新图像处理模型中编码器的参数，以使所述编码器能够对所述待替换脸部进行编码，且编码得到所述待替换脸部的风格特征；根据所述原始图像的待替换脸部，更新所述图像处理模型中解码器的参数，以使所述解码器能够基于所述待替换脸部的风格特征进行解码；在保持所述编码器的参数不变的情况下，根据目标图像中目标脸部的风格特征更新所述解码器的参数，以使所述解码器能够基于所述待替换的风格特征进行解码，且解码得到与所述待替换脸部具有相同风格的目标脸部。上述方案中，所述方法还包括：通过所述编码器对所述待替换图像进行编码得到所述待替换图像中待替换脸部的风格特征，将所述风格特征输入所述解码器；在所述解码器中基于所述待替换脸部的风格特征进行解码，得到与所述待替换脸部具有相同风格的目标脸部。上述方案中，当根据目标图像中的目标脸部更新所述解码器的参数之前，所述方法还包括：对所述目标图像进行随机增广处理；将经过随机增广处理的目标图像进行随机扭曲处理，得到扭曲的所述目标图像；截取扭曲的所述目标图像中的五官图像。本专利技术实施例提供了一种图像处理模型的图像处理方法，包括：通过图像处理模型的编码器，对原始图像进行编码得到所述原始图像中待替换脸部的风格特征，将所述风格特征输入所述图像处理模型的解码器；在所述解码器中基于待替换脸部的风格特征进行解码，得到与所述待替换脸部具有相同风格的目标脸部；其中，所述解码器的参数是在保持所述编码器的参数不变的情况下，根据所述目标图像进行更新得到。本专利技术实施例提供了一种图像处理模型的训练装置，包括：编码器训练模块，用于根据原始图像中的待替换脸部，更新图像处理模型中编码器的参数，以使所述编码器能够对所述待替换脸部进行编码；解码器训练模块，用于根据所述原始图像的待替换脸部，更新所述图像处理模型中解码器的参数，以使所述解码器能够基于所述待替换脸部的风格特征进行解码；所述解码器训练模块，还用于在保持所述编码器的参数不变的情况下，根据目标图像中目标脸部的风格特征更新所述解码器的参数，以使所述解码器能够基于所述待替换脸部的风格特征进行解码，且解码得到与所述待替换脸部具有相同风格的目标脸部。上述方案中，所述编码器训练模块具体用于：将扭曲原始图像中待替换脸部的五官图像代入损失函数，确定所述损失函数满足收敛条件时对应所述编码器的参数，其中，所述损失函数对应由所述编码器和所述解码器构成的自编码网络，所述扭曲原始图像是对所述原始图像进行扭曲处理得到。上述方案中，所述解码器训练模块具体用于：将扭曲原始图像中待替换脸部的五官图像，代入由所述编码器和所述解码器构成的自编码网络对应的损失函数，确定所述损失函数满足收敛条件时对应所述解码器的参数，其中所述扭曲原始图像是对所述原始图像进行扭曲处理得到。上述方案中，所述解码器训练模块具体用于：将扭曲目标图像中目标脸部的五官图像，代入由所述编码器和所述解码器构成的自编码网络对应的损失函数；在保持所述损失函数中对应所述编码器的参数不变的情况下，执行以下操作：确定所述损失函数满足收敛条件时对应所述解码器的参数；其中，所述扭曲目标图像是对所述目标图像进行扭曲处理得到。上述方案中，所述编码器训练模块还用于：当根据原始图像中的待替换脸部，更新所述像处理模型中编码器的参数之前，从样本图像集合的各个样本图像中截取包括所述待替换脸部的所述原始图像；将所截取的各个所述原始图像基于待替换脸部的特征点进行对齐。上述方案中，所述编码器训练模块还用于：当根据原始图像中的待替换脸部，更新所述图像处理模型中编码器的参数之前，对所述原始图像进行随机增广处理；将经过随机增广处理的原始图像进行随机扭曲处理，得到扭曲的所述原始图像；截取所述扭曲的原始图像中待替换脸部的五官图像，并对所述截取的五官图像进行缩放处理以适配所述编码器支持输入的分辨率。上述方案中，所述编码器训练模块，具体用于：基于所述原始图像的中心进行随机旋转；将随机旋转后的所述原始图像进行随机缩放；将随机缩放后所述原始图像进行随机平移。上述方案中，所述编码器训练模块，具体用于：在经过随机增广处理的原始图像中插入噪声，所述噪声包括固定噪声和动态噪声中的至少一种。上述方案中，所述编码器训练模块，具体用于：将所述经过随机增广处理的原始图像进行网格化，并为网格中的至少部分节点分配坐标；在所述至少部分节点中添加与所分配的坐标相对应的噪声。上述方案中，所述解码器训练模块，具体用于：对所述目标图像进行随机增广处理；将经过随机增广处理的目标图像进行随机扭曲处理，得到扭曲的所述目标图像；截取扭曲的所述目标图像中的五官图像。上述方案中，所述解码器训练模块，还用于调用所述编码器执行以下处理：对所述待替换图像进行编码得到所述待替换图像中待替换脸部的风格特征，将所述风格特征输入所述解码器；所述解码器训练模块，还用于调用所述解码器执行以下处理：基于所述待替换脸部的风格特征进行解码，得到与所述待替换脸部具有相同风格的目标脸部。本专利技术实施例提供了一种图像处理装置，包括：编码器模块，用于对原始图像进行编码得到所述原始图像中待替换脸部的风格特征；解码器模块，用于接收所述编码器模块输出的所述风格特征，基于所述待替换脸部的风格特征进行解码，得到与所述待替换脸部具有相同风格的目标脸部；其中，所述解码器模块是在保持所述编码器模块的参数不变的情况下，根据所述目标图像更新得到。本专利技术实施例提供了一种图像处理模型的训练装置，所述训练装置包括：存储器，用于存储可执行指令；处理器，用于运行所述存储器存储的可执行指令时，实现本专利技术实施例提供的图像处理模型的训练方法。本专利技术实施例提供了一种图像处理装置，所述图像处理装置包括：存储器，用于存储可执行指令；处理器，用于运行所述存储器存储的可执行指令时，实现本专利技术实施例提供的图像处理模型的图像处理方法。本专利技术实施例提供了一种计算机可读存储介质，存储有可执行指令，可执行指令被处理器执行时实现本专利技术实施例提供的图像处理模型的训练方法或图像处理方法。本专利技术实施例具有以下有益效果：通过原始图像对图像处理模型编码器和解码器进行训练，并在保持编码器参数不变的情况下利用目标对象对相应的解码器进行训练，实现了解码器的训练与原始图像的解耦，本文档来自技高网...

【技术保护点】
1.一种图像处理模型的训练方法，其特征在于，所述方法包括：根据原始图像中的待替换脸部，更新图像处理模型中编码器的参数，以使所述编码器能够对所述待替换脸部进行编码，且编码得到所述待替换脸部的风格特征；根据所述原始图像的待替换脸部，更新所述图像处理模型中解码器的参数，以使所述解码器能够基于所述待替换脸部的风格特征进行解码；在保持所述编码器的参数不变的情况下，根据目标图像中的目标脸部更新所述解码器的参数，以使所述解码器能够基于所述待替换脸部的风格特征进行解码，且解码得到与所述待替换脸部具有相同风格的目标脸部。

【技术特征摘要】
1.一种图像处理模型的训练方法，其特征在于，所述方法包括：根据原始图像中的待替换脸部，更新图像处理模型中编码器的参数，以使所述编码器能够对所述待替换脸部进行编码，且编码得到所述待替换脸部的风格特征；根据所述原始图像的待替换脸部，更新所述图像处理模型中解码器的参数，以使所述解码器能够基于所述待替换脸部的风格特征进行解码；在保持所述编码器的参数不变的情况下，根据目标图像中的目标脸部更新所述解码器的参数，以使所述解码器能够基于所述待替换脸部的风格特征进行解码，且解码得到与所述待替换脸部具有相同风格的目标脸部。2.根据权利要求1所述的方法，其特征在于，所述根据原始图像中的待替换脸部，更新图像处理模型中编码器的参数，包括：将扭曲原始图像中待替换脸部的五官图像，代入由所述编码器和所述解码器构成的自编码网络对应的损失函数，确定所述损失函数满足收敛条件时对应所述编码器的参数，其中，所述扭曲原始图像是对所述原始图像进行扭曲处理得到。3.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像的待替换脸部，更新所述图像处理模型中解码器的参数，包括：将扭曲原始图像中待替换脸部的五官图像，代入由所述编码器和所述解码器构成的自编码网络对应的损失函数，确定所述损失函数满足收敛条件时对应所述解码器的参数，其中所述扭曲原始图像是对所述原始图像进行扭曲处理得到。4.根据权利要求1所述的方法，其特征在于，所述在保持所述编码器的参数不变的情况下，根据目标图像中目标脸部的风格特征更新所述解码器的参数，包括：将扭曲目标图像中目标脸部的五官图像，代入由所述编码器和所述解码器构成的自编码网络对应的损失函数；在保持所述损失函数中对应所述编码器的参数不变的情况下，执行以下处理：确定所述损失函数满足收敛条件时对应所述解码器的参数；其中，所述扭曲目标图像是对所述目标图像进行扭曲处理得到。5.根据权利要求1所述的方法，其特征在于，当根据原始图像中的待替换脸部，更新所述图像处理模型中编码器的参数之前，所述方法还包括：从样本图像集合的各个样本图像中截取包括所述待替换脸部的所述原始图像；将所截取的各个所述原始图像基于待替换脸部的特征点进行对齐。6.根据权利要求1所述的方法，其特征在于，当根据原始图像中的待替换脸部，更新所述图像处理模型中编码器的参数之前，所述方法还包括：对所述原始图像进行随机增广处理；将经过随机增广处理的原始图像进行随机扭曲处理，得到扭曲的所述原始图像；截取扭曲的所述原始图像中待替换脸部的五官图像，并对所述截取的五官图像进行缩放处理，以适配所述编码器支持输入的分辨率。7.根据权利要求6所述的方法，其特征在于，所述对所述原始图像进行随机增广处理，包括：基于所述原始图像的中心进行随机旋转；将随机旋转后的所述原始图像进行随机缩放；将随...

【专利技术属性】
技术研发人员：陈法圣，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44