模型训练方法、图像编辑方法、装置、介质与电子设备制造方法及图纸

本公开提供一种用于图像编辑的模型训练方法、图像编辑方法、装置、介质与电子设备，涉及人工智能技术领域。该模型训练方法包括：利用编码器对第一样本图像进行处理，得到所述第一样本图像对应的样本原始特征；将所述样本原始特征输入待训练的编辑模型，通过所述编辑模型将所述样本原始特征按照目标文本进行编辑，得到样本编辑特征；利用解码器对所述样本编辑特征进行处理，得到所述样本编辑特征对应的样本编辑图像；通过对所述样本编辑图像与所述目标文本进行匹配，确定第一损失函数值；根据所述第一损失函数值更新所述编辑模型的参数。本公开降低了数据获取成本，有利于改善模型训练效果，提升模型质量。提升模型质量。提升模型质量。

【技术实现步骤摘要】
模型训练方法、图像编辑方法、装置、介质与电子设备


[0001]本公开涉及人工智能
，尤其涉及一种用于图像编辑的模型训练方法、图像编辑方法、装置、介质与电子设备。

技术介绍

[0002]文本驱动的图像编辑是指通过文本描述的语义信息来改变图像的局部或全局属性，以生成新的图像。
[0003]相关技术中，为了训练用于图像编辑的机器学习模型，需要大量的图像
‑
文本数据对以建立图像与文本之间的关联关系。数据获取成本较高，且模型的训练效果依赖于数据的标注质量。

技术实现思路

[0004]本公开提供一种用于图像编辑的模型训练方法、图像编辑方法、用于图像编辑的模型训练装置、图像编辑装置、计算机可读存储介质与电子设备，以至少在一定程度上解决相关技术中数据获取成本高的问题。
[0005]根据本公开的第一方面，提供一种用于图像编辑的模型训练方法，包括：利用编码器对第一样本图像进行处理，得到所述第一样本图像对应的样本原始特征；将所述样本原始特征输入待训练的编辑模型，通过所述编辑模型将所述样本原始特征按照目标文本进行编辑，得到样本编辑特征；利用解码器对所述样本编辑特征进行处理，得到所述样本编辑特征对应的样本编辑图像；通过对所述样本编辑图像与所述目标文本进行匹配，确定第一损失函数值；根据所述第一损失函数值更新所述编辑模型的参数。
[0006]根据本公开的第二方面，提供一种图像编辑方法，包括：获取待编辑图像；利用预先训练的图像编辑全局模型对所述待编辑图像按照目标文本进行编辑处理，得到所述待编辑图像对应的目标图像；其中，所述图像编辑全局模型包括编码器、编辑模型、解码器，所述编辑模型由上述第一方面的模型训练方法训练得到。
[0007]根据本公开的第三方面，提供一种用于图像编辑的模型训练装置，包括：编码处理模块，被配置为利用编码器对第一样本图像进行处理，得到所述第一样本图像对应的样本原始特征；编辑处理模块，被配置为将所述样本原始特征输入待训练的编辑模型，通过所述编辑模型将所述样本原始特征按照目标文本进行编辑，得到样本编辑特征；解码处理模块，被配置为利用解码器对所述样本编辑特征进行处理，得到所述样本编辑特征对应的样本编辑图像；损失函数处理模块，被配置为通过对所述样本编辑图像与所述目标文本进行匹配，确定第一损失函数值；参数更新模块，被配置为根据所述第一损失函数值更新所述编辑模型的参数。
[0008]根据本公开的第四方面，提供一种图像编辑装置，包括：图像获取模块，被配置为获取待编辑图像；图像编辑模块，被配置为利用预先训练的图像编辑全局模型对所述待编辑图像按照目标文本进行编辑处理，得到所述待编辑图像对应的目标图像；其中，所述图像
编辑全局模型包括编码器、编辑模型、解码器，所述编辑模型由上述第一方面的模型训练方法训练得到。
[0009]根据本公开的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一或第二方面的方法及其可能的实现方式。
[0010]根据本公开的第六方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令，来执行上述第一或第二方面的方法及其可能的实现方式。
[0011]本公开的技术方案具有以下有益效果：
[0012]一方面，模型训练所需的数据集包括第一样本图像和目标文本，目标文本用于指示图像编辑的方向，并不是对第一样本图像进行标注的文本。因此，本方案无需图像
‑
文本数据对，无需对图像进行文本标注，从而降低了数据获取成本，并且模型训练的效果不依赖于文本标注的质量，有利于改善模型训练效果，提升模型质量。另一方面，图像编辑是利用编辑模型在特征空间中进行特征编辑而实现的，不仅能生成符合目标文本描述属性的图像，而且能保持图像的其他属性不变，实现对图像的精准编辑。
附图说明
[0013]图1示出本示例性实施方式中一种用于图像编辑的模型训练方法的流程图；
[0014]图2示出本示例性实施方式中模型训练方法的子流程图；
[0015]图3示出本示例性实施方式中模型训练方法的示意图；
[0016]图4示出本示例性实施方式中一种图像编辑方法的流程图；
[0017]图5示出本示例性实施方式中图像编辑的实例图；
[0018]图6示出了本示例性实施方式运行环境的系统架构的示意图；
[0019]图7示出本示例性实施方式中一种用于图像编辑的模型训练装置的结构示意图；
[0020]图8示出本示例性实施方式中一种图像编辑装置的结构示意图；
[0021]图9示出本示例性实施方式中一种电子设备的结构示意图。
具体实施方式
[0022]下文将结合附图更全面地描述本公开的示例性实施方式。
[0023]附图为本公开的示意性图解，并非一定是按比例绘制。附图中所示的一些方框图可能是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在硬件模块或集成电路中实现这些功能实体，或在网络、处理器或微控制器中实现这些功能实体。实施方式能够以多种形式实施，不应被理解为限于在此阐述的范例。本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或多个实施方式中。在下文的描述中，提供许多具体细节从而给出对本公开实施方式的充分说明。然而，本领域技术人员应意识到，可以在实现本公开的技术方案时省略其中的一个或多个特定细节，或者可以采用其它的方法、组元、装置、步骤等替代一个或多个特定细节。
[0024]相关技术中，为了训练用于图像编辑的机器学习模型，需要大量的图像
‑
文本数据对，使得模型能够学习到图像与文本之间的关联关系，进而在模型推理阶段生成符合文本描述的图像。该方案对数据集的要求较高，需要对大量的图像进行文本描述的标注，标注难
度较大，导致数据获取成本较高。并且，模型的训练效果依赖于数据集的标注质量以及数据集的覆盖范围。例如，若进行文本标注时遗漏了图像信息，使得图像与文本之间的关联关系不全面，则导致模型输出结果的准确性降低；或者，模型对于数据集未覆盖到的文本类型或场景，难以对应生成高质量的图像。
[0025]鉴于上述一个或多个问题，本公开的示例性实施方式提供一种用于图像编辑的模型训练方法。图1示出了模型训练方法的流程，可以包括以下步骤S110至S150：
[0026]步骤S110，利用编码器对第一样本图像进行处理，得到第一样本图像对应的样本原始特征；
[0027]步骤S120，将样本原始特征输入待训练的编辑模型，通过编辑模型将样本原始特征按照目标文本进行编辑，得到样本编辑特征；
[0028]步骤S130，利用解码器对样本编辑特征进行处理，得到样本编辑特征对应的样本编辑图像；
[0029]步骤S140，通过对样本编辑图像与目标文本进行匹配，确定第一损失函数值；
[0030]步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于图像编辑的模型训练方法，其特征在于，包括：利用编码器对第一样本图像进行处理，得到所述第一样本图像对应的样本原始特征；将所述样本原始特征输入待训练的编辑模型，通过所述编辑模型将所述样本原始特征按照目标文本进行编辑，得到样本编辑特征；利用解码器对所述样本编辑特征进行处理，得到所述样本编辑特征对应的样本编辑图像；通过对所述样本编辑图像与所述目标文本进行匹配，确定第一损失函数值；根据所述第一损失函数值更新所述编辑模型的参数。2.根据权利要求1所述的方法，其特征在于，所述通过对所述样本编辑图像与所述样本文本进行匹配，确定第一损失函数值，包括：将所述样本编辑图像和所述目标文本映射为相同模态的信息，通过对映射后的所述样本编辑图像和所述目标文本进行匹配以确定第一损失函数值。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述样本编辑特征与所述样本原始特征之间的变化量，确定第二损失函数值；所述根据所述第一损失函数值更新所述编辑模型的参数，包括：根据所述第一损失函数值和所述第二损失函数值更新所述编辑模型的参数。4.根据权利要求1所述的方法，其特征在于，所述第一样本图像和所述样本编辑图像均为人脸图像；所述方法还包括：提取所述第一样本图像的人脸特征和所述样本编辑图像的人脸特征，通过对所述第一样本图像的人脸特征和所述样本编辑图像的人脸特征进行匹配，确定第三损失函数值；或者利用所述解码器对所述样本原始特征进行处理，得到所述第一样本图像对应的第一样本合成图像，提取所述第一样本合成图像的人脸特征和所述样本编辑图像的人脸特征，通过对所述第一样本合成图像的人脸特征和所述样本编辑图像的人脸特征进行匹配，确定第三损失函数值；所述根据所述第一损失函数值更新所述编辑模型的参数，包括：根据所述第一损失函数值和所述第三损失函数值更新所述编辑模型的参数。5.根据权利要求1所述的方法，其特征在于，所述将所述样本原始特征输入待训练的编辑模型，包括：在与多个样本文本一一对应的多个编辑模型中，获取所述目标文本对应的编辑模型，将所述样本原始特征输入所述样本文本对应的编辑模型。6.根据权利要求1至5任一项所述的方法，其特征在于，在利用编码器对第一样本图像进行处理，得到所述第一样本图像对应的样本原始特征前，所述方法还包括：获取第二样本图像，所述第二样本图像为人脸图像；将所述第二样本图像输入由所述编码器和所述解...

【专利技术属性】
技术研发人员：朱晓杰，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：