图像编辑及训练方法、装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像编辑及训练方法、装置、电子设备和存储介质，所述图像编辑方法包括：获取第一图像；根据所述第一图像，得到所述第一图像的第一编码数据；对所述第一编码数据进行变换，得到所述第一图像的第二编码数据；根据所述第二编码数据，生成第二图像。所述训练方法包括：获取训练数据；根据所述训练数据，对初始编码模型进行训练，得到所述编码模型；根据所述训练数据和所述编码模型，对所述第一编码数据与所述第二编码数据之间的初始变换关系进行训练，得到所述变换关系。

【技术实现步骤摘要】
图像编辑及训练方法、装置、电子设备和存储介质
本公开涉及计算机视觉
，尤其涉及一种图像编辑及训练方法、装置、电子设备和存储介质。
技术介绍
随着图像处理技术的快速发展，图像生成模型在计算机视觉的研究中变得越来越重要。图像生成模型在很多领域有重要应用，如图像的数据增广以及图像编辑等。在将图像生成模型应用于图像编辑的情况下，图像生成模型可以对输入的图像进行编辑，从而改变图像的某个或某些图像特征。为了让编辑后的图像更加自然，在图像编辑过程中，如何在改变图像特征的同时，尽可能的保留其余无需被改变的真实图像的特征，成为一个亟待解决的问题。
技术实现思路
本公开提出了一种图像编辑技术方案。根据本公开的一方面，提供了一种图像编辑方法，包括：获取第一图像；根据所述第一图像，得到所述第一图像的第一编码数据；对所述第一编码数据进行变换，得到所述第一图像的第二编码数据；根据所述第二编码数据，生成第二图像。在一种可能的实现方式中，所述根据所述第二编码数据，生成第二图像，包括：根据所述第一图像的编辑类型，结合所述本文档来自技高网...

【技术保护点】
1.一种图像编辑方法，其特征在于，包括：/n获取第一图像；/n根据所述第一图像，得到所述第一图像的第一编码数据；/n对所述第一编码数据进行变换，得到所述第一图像的第二编码数据；/n根据所述第二编码数据，生成第二图像。/n

【技术特征摘要】
1.一种图像编辑方法，其特征在于，包括：
获取第一图像；
根据所述第一图像，得到所述第一图像的第一编码数据；
对所述第一编码数据进行变换，得到所述第一图像的第二编码数据；
根据所述第二编码数据，生成第二图像。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第二编码数据，生成第二图像，包括：
根据所述第一图像的编辑类型，结合所述第二编码数据，得到所述第一图像的待编辑数据；
将所述待编辑数据作为图像生成模型的输入，以通过所述图像生成模型生成所述第二图像。


3.根据权利要求1或2所述的方法，其特征在于，所述对所述第一编码数据进行变换，得到所述第一图像的第二编码数据，包括：
获取所述第一编码数据与所述第二编码数据之间的变换关系；
根据所述变换关系，对所述第一编码数据进行变换，得到所述第一图像的第二编码数据。


4.一种基于如权利要求1所述的图像编辑方法的训练方法，其特征在于，所述根据所述第一图像，得到所述第一图像的第一编码数据，包括：
将所述第一图像作为编码模型的输入，以通过所述编码模型得到所述第一编码数据；
在根据所述第一图像，得到所述第一图像的第一编码数据之前，所述方法还包括：
获取训练数据；
根据所述训练数据，对初始编码模型进行训练，得到所述编码模型；
根据所述训练数据和所述编码模型，对所述第一编码数据与所述第二编码数据之间的初始变换关系进行训练，得到所述变换关系。


5.根据权利要求4所述的方法，其特征在于，所述根据所述训练数据，对初始编码模型进行训练，得到所述编码模型，包括：
将所述训练数据依次通过初始编码模型和所述图像生成模型，得到与每个所述训练数据对应的第一重建结果；
分别将每个所述第一重建结果作为鉴别模型的输入，以通过所述鉴别模型，得到与每个所述训练数据对应的第一鉴别结果；
根据所述训练数据、所述第一重建结果和所述第一鉴别结果，对所述初始编码模型进行训练，得到所述编码模型。


6.根据权利要求5所述的方法，其特征在于，所述根据所述训练数据、所述第一重建结果和所述第一鉴别结果，对所述初始编码模型进行训练，得到所述编码模型，包括：
根据所述训练数据和所述第一重建结果，获取所述初始编码模型的第一误差损失；
根据所述训练数据的特征和所述第一重建结果的特征，获取所述初始编码模型的第二误差损失；
对所述第一鉴别结果进行处理，得到第一处理结果，以根据所述第一处理结果得到所述初始编码模型的第三误差损失；
根据所述第一误差损失、第二误差损失以及所述第三误差损失中的一个或多个，对所述初始编码模型进行训练，得到所述编码模型。


7.根据权利要求5或6所述的方法，其特征在于，所述根据所述训练数据，对初始编码模型进行训练，得到所述编码模型，还包括：
分别将每个所述训练数据作为所述鉴别模型的输入，以通过所述鉴别模型得到与每个所述训练数据对应的第二鉴别结果；
根据所述第一鉴别结果和所述第二鉴别结果，对所述鉴别模型进行训练。


8.根据权利要求7所述的方法，其特征在于，所述根据所述第一鉴别结果和所述第二鉴别结果，对所述鉴别模型进行训练，包括：
对所述第一鉴别结果进行处理，得到第二处理结果，以根据所述第二处理结果得到所述鉴别模型的第四误差损失；
对所述第二鉴别结果进行处理，得到第三处理结果，以根据所述第三处理结果得到所述鉴别模型的第五误差损失；
对所述第二鉴别结果的梯度值进行处理，得到第四处理结果，以根据所述第四处理结果得到所述鉴别模型的第六误差损失；
根据所述第四误差损失、第五误差损失以及所述第六误差损失中的一个或多个，对所述鉴别模型进行训练。


9.根据权利要求4至8中任意一项所述的方法，其特征在于，所述根据所述训练数据和所述编码模型，对所述第一编码数据与所述第二编码数据之间的初始变换关系进行训练，得到所述变换关系，包括：
将所述训练数据作为所述编码模型的输入，以通过所述编码模型，得到与每个所述训练数据对应的第一编码结果；
分别将每个所述第一编码结果作为所述图像生成模型的输入，以通过所述图像生成模型，得到与每个所述训练数据对应的第二重建结果；
分别将每个所述第二重建结果作为所述鉴别模型的输入，以通过鉴别模型，得到与每个所述训练数据对应的第三鉴别结果；
分别将每个所述第二重建结果作为所述编码模型的输入，以通过所述编码模型，得到与每个所述训练数据对应的第二编码结果；
根据所述训练数据、所述第一编码结果、所述第二重建结果、所述第三鉴别结果和所述第二编码结果，对所述初始变换关系进行训练，得到所述变换关系。


10.根据权利要求9所述的方法，其特征在于，所述根据所述训练数据、所述第一编码结果、所述第二...

【专利技术属性】
技术研发人员：祝加鹏，沈宇军，周博磊，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11