图像处理模型训练方法、图像生成方法、装置和设备制造方法及图纸

本公开实施例涉及一种图像处理模型训练方法、图像生成方法、装置和设备，该训练方法包括：确定样本图像上目标对象的第一可调属性特征向量和第一固定属性特征向量；将第一可调属性特征向量和第一固定属性特征向量进行向量融合后，输入生成对抗网络中的生成器，生成目标图像；确定目标图像上目标对象的第二可调属性特征向量和第二固定属性特征向量；基于第一可调属性特征向量和第二可调属性特征向量，确定可调属性差异度；基于第一固定属性特征向量和第二固定属性特征向量，确定固定属性差异度；基于可调属性差异度和固定属性差异度，调整图像处理模型的网络参数。本公开实施例实现了对目标对象属性的连续性处理、对目标对象的特定属性的状态控制。

【技术实现步骤摘要】
图像处理模型训练方法、图像生成方法、装置和设备
本公开涉及图像处理
，尤其涉及一种图像处理模型训练方法、图像生成方法、装置和设备。
技术介绍
目前，图像生成技术被广泛的研究，可以作为一种有效的方式合成新图像。其中，操纵图像上对象实例的特定属性，这种方式不仅有利于更可控的图像编辑，而且有利于许多图像理解任务，例如在无人驾驶或者自动驾驶等领域中，针对图像上对象实例的状态估计和识别。操纵图像上对象实例的特定属性，可以视作属性从一个状态到另一个状态的转换，并且把状态看作域/类型，属性操纵可被建模为域/类型转换。现有基于模型训练的属性转换方案中，一方面，由于模型容积和每种属性状态下训练样本数量的限制，例如利用对象实例处于一些特定属性状态下的样本图像进行模型训练等，训练好的模型只能处理对象实例属性的有限数量的离散状态；另一方面，由于模型只能适应对象实例属性的离散状态，导致模型处理过程中不能很好地把对象实例的待调整属性和其他属性信息进行分离，进而不能实现只针对某一特定属性的状态控制与图像生成。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种图像处理模型训练方法、图像生成方法、装置和设备。第一方面，本公开实施例提供了一种图像处理模型训练方法，图像处理模型包括生成对抗网络，所述方法包括：确定样本图像上目标对象的第一可调属性特征向量和第一固定属性特征向量；其中，所述第一可调属性特征向量根据所述目标对象的属性调整需求确定；将所述第一可调属性特征向量和所述第一固定属性特征向量进行向量融合后，输入所述生成对抗网络中的生成器，生成与所述样本图像对应的目标图像；确定所述目标图像上目标对象的第二可调属性特征向量和第二固定属性特征向量；基于所述第一可调属性特征向量和所述第二可调属性特征向量，确定可调属性差异度；基于所述第一固定属性特征向量和所述第二固定属性特征向量，确定固定属性差异度；基于所述可调属性差异度和所述固定属性差异度，调整所述图像处理模型的网络参数。第二方面，本公开实施例还提供了一种图像生成方法，所述图像生成方法基于预先训练的图像处理模型实现，所述图像处理模型基于本公开实施例提供的任一所述的图像处理模型训练方法得到，所述图像处理模型包括生成对抗网络，所述图像生成方法包括：确定待处理图像上目标对象的第一可调属性特征向量和第一固定属性特征向量；其中，所述第一可调属性特征向量根据所述目标对象的属性调整需求确定；将所述第一可调属性特征向量和所述第一固定属性特征向量进行向量融合后，输入所述生成对抗网络中的生成器，生成与所述待处理图像对应的目标图像。第三方面，本公开实施例还提供了一种图像处理模型训练装置，图像处理模型包括生成对抗网络，所述装置包括：第一特征向量确定模块，用于确定样本图像上目标对象的第一可调属性特征向量和第一固定属性特征向量；其中，所述第一可调属性特征向量根据所述目标对象的属性调整需求确定；目标图像生成模块，用于将所述第一可调属性特征向量和所述第一固定属性特征向量进行向量融合后，输入所述生成对抗网络中的生成器，生成与所述样本图像对应的目标图像；第二特征向量确定模块，用于确定所述目标图像上目标对象的第二可调属性特征向量和第二固定属性特征向量；可调属性差异度确定模块，用于基于所述第一可调属性特征向量和所述第二可调属性特征向量，确定可调属性差异度；固定属性差异度确定模块，用于基于所述第一固定属性特征向量和所述第二固定属性特征向量，确定固定属性差异度；网络参数调整模块，用于基于所述可调属性差异度和所述固定属性差异度，调整所述图像处理模型的网络参数。第四方面，本公开实施例还提供了一种图像生成装置，所述图像生成装置基于预先训练的图像处理模型实现，所述图像处理模型基于本公开实施例提供的任一所述的图像处理模型训练方法得到，所述图像处理模型包括生成对抗网络，所述图像生成装置包括：特征向量确定模块，用于确定待处理图像上目标对象的第一可调属性特征向量和第一固定属性特征向量；其中，所述第一可调属性特征向量根据所述目标对象的属性调整需求确定；目标图像生成模块，用于将所述第一可调属性特征向量和所述第一固定属性特征向量进行向量融合后，输入所述生成对抗网络中的生成器，生成与所述待处理图像对应的目标图像。第五方面，本公开实施例还提供了一种电子设备，包括存储器和处理器，其中，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备实现本公开实施例提供的任一所述的图像处理模型训练方法或者图像生成方法。第六方面，本公开实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现本公开实施例提供的任一所述的图像处理模型训练方法或者图像生成方法。本公开实施例提供的技术方案与现有技术相比至少具有如下优点：在本公开实施例中，通过基于样本图像上目标对象的属性调整需求，将目标对象的可调属性和固定属性进行分离，并基于属性调整需求确定目标对象的第一可调属性特征向量；然后结合目标对象的第一固定属性特征向量，通过向量融合后输入图像处理模型中生成对抗网络的生成器中，得到与样本图像对应的目标图像；最后基于得到的各个可调属性特征向量和各个固定属性特征向量，得到可调属性差异度和固定属性差异度，并对图像处理模型的网络参数进行调整，可以通过重复前述操作执行多次循环的网络参数调整，直至得到符合图像生成需求的图像处理模型。本公开实施例解决了图像处理领域中的现有模型只能处理图像上目标对象属性的有限数量的离散状态的问题，以及模型处理过程中不能将目标对象的可调属性和固定属性进行有效分离，进而不能实现针对目标对象的某一特定属性的状态控制与图像生成的问题；采用本公开实施例技术方案训练得到的图像处理模型可以实现对图像上目标对象属性的连续性处理，而不限于处理目标对象属性的离散状态，可以实现针对目标对象的某一特定属性的状态控制与图像生成，例如可以通过控制目标对象的某特定属性的状态，生成满足目标对象的属性调整需求的图像。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本公开实施例提供的一种图像处理模型训练方法的流程图；图2为本公开实施例提供的一种图像处理模型的训练架构示意图；图3为本公开实施例提供的另一种图像处理模型训练方法的流程图；图4为本公开实施例提供的另一种图像处理模型的训练架构示意图；图5为本公开实施例提供的另一种图像处理模型训练方法的流程图；图本文档来自技高网...

【技术保护点】
1.一种图像处理模型训练方法，其特征在于，图像处理模型包括生成对抗网络，所述方法包括：/n确定样本图像上目标对象的第一可调属性特征向量和第一固定属性特征向量；其中，所述第一可调属性特征向量根据所述目标对象的属性调整需求确定；/n将所述第一可调属性特征向量和所述第一固定属性特征向量进行向量融合后，输入所述生成对抗网络中的生成器，生成与所述样本图像对应的目标图像；/n确定所述目标图像上目标对象的第二可调属性特征向量和第二固定属性特征向量；/n基于所述第一可调属性特征向量和所述第二可调属性特征向量，确定可调属性差异度；/n基于所述第一固定属性特征向量和所述第二固定属性特征向量，确定固定属性差异度；/n基于所述可调属性差异度和所述固定属性差异度，调整所述图像处理模型的网络参数。/n

【技术特征摘要】
1.一种图像处理模型训练方法，其特征在于，图像处理模型包括生成对抗网络，所述方法包括：
确定样本图像上目标对象的第一可调属性特征向量和第一固定属性特征向量；其中，所述第一可调属性特征向量根据所述目标对象的属性调整需求确定；
将所述第一可调属性特征向量和所述第一固定属性特征向量进行向量融合后，输入所述生成对抗网络中的生成器，生成与所述样本图像对应的目标图像；
确定所述目标图像上目标对象的第二可调属性特征向量和第二固定属性特征向量；
基于所述第一可调属性特征向量和所述第二可调属性特征向量，确定可调属性差异度；
基于所述第一固定属性特征向量和所述第二固定属性特征向量，确定固定属性差异度；
基于所述可调属性差异度和所述固定属性差异度，调整所述图像处理模型的网络参数。


2.根据权利要求1所述的方法，其特征在于，所述图像处理模型还包括胶囊网络；
相应的，所述基于所述第一固定属性特征向量和所述第二固定属性特征向量，确定固定属性差异度，包括：
分别将所述第一固定属性特征向量和所述第二固定属性特征向量输入所述胶囊网络，并根据所述胶囊网络的输出结果确定所述固定属性差异度。


3.根据权利要求1所述的方法，其特征在于，所述图像处理模型还包括多分支估计器，所述多分支估计器包括卷积层以及分别与所述卷积层连接的多个分支胶囊网络；
相应的，所述确定所述目标图像上目标对象的第二可调属性特征向量，包括：
将所述目标图像和与所述目标图像对应的图像标签输入所述多分支估计器，得到所述目标图像上目标对象的多个第二可调属性特征向量；其中，所述图像标签用于标记可调属性；
所述基于所述第一可调属性特征向量和所述第二可调属性特征向量，确定可调属性差异度，包括：
确定所述第一可调属性特征向量和每个第二可调属性特征向量之间的向量差异值；
基于多个所述向量差异值确定所述可调属性差异度。


4.根据权利要求1所述的方法，其特征在于，所述图像处理模型还包括编码器和解码器；
相应的，所述确定样本图像上目标对象的第一可调属性特征向量和第一固定属性特征向量，包括：
将所述样本图像输入所述编码器，得到所述目标对象的第一固定属性特征向量；
将根据所述目标对象的属性调整需求预先确定的模长值输入所述解码器，得到所述目标对象的第一可调属性特征向量；
所述确定所述目标图像上目标对象的第二固定属性特征向量，包括：
将所述目标图像输入所述编码器，得到所述目标对象的第二固定属性特征向量。


5.根据权利要求1所述的方法，其特征在于，所述基于所述第一可调属性特征向量和所述第二可调属性特征向量，确定可调属性差异度，包括：
确定所述第二可调属性特征向量的模长值，并确定所述模长值与所述第一可调属性特征向量对应的模长值之间的差值，将所述差值作为所述可调属性差异度；其中，所述第一可调属性特征向量对应的模长值根据所述目标对象的属性调整需求预先确定；
所述基于所述第一固定属性特征向量和所述第二固定属性特征向量，确定固定属性差异度，包括：
分别确定所述第一固定属性特征向量和所述第二固定属性特征向量的模长值，并将两个模长值之间差值作为所述固定属性差异度。


6.根据权利要求1所述的方法，其特征在于，还包括：
获取所述样本图像上目标对象的初始可调属性特征向量；
将所述初始可调属性特征向量和所述第二固定属性特征向量进行向量融合后，输入所述生成对抗网络中的生成器，生成与所述目标图像对应的验证图像；
确定所述验证图像上目标对象的第三可调属性特征向量；
基于所述初始可调属性特征向量和所述第三可调属性特征向量，确定可调属性验证值；
所述基于所述可调属性差异度和所述固定属性差异度，调整所述图像处理模型的网络参数，包括：
基于所述可调属性差异度、所述固定属性差异度和所述可调属性验证值，调整所述图像处理模型的网络参数。


7.根据权利要求6所述的方法，其特征在于，所述图像处理模型还包括解码器；
相应的，所述获取所述样本图...

【专利技术属性】
技术研发人员：郑自强，
申请(专利权)人：驭势科技南京有限公司，
类型：发明
国别省市：江苏;32