多模态边缘实体图像转换方法、装置、计算机设备和介质制造方法及图纸

本申请涉及一种多模态边缘实体图像转换方法、装置、计算机设备和存储介质。所述方法包括：获取终端设备采集的素描边缘图像；将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，多个实体图像中各实体图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。采用本方法能够提升生成的实体图像的多样性。

【技术实现步骤摘要】
多模态边缘实体图像转换方法、装置、计算机设备和介质
本申请涉及图像生成术领域，特别是涉及一种多模态边缘实体图像转换方法、装置、计算机设备和介质。
技术介绍
在图像生成与转换应用中，有时需要根据素描边缘图像生成实体图像，例如，根据手工绘制的包或者是鞋子的边缘轮廓，转换为实体场景对应的包或者是鞋子等。在传统方式中，通常一种素描边缘图像仅能一个实体图像，从而使得输出的实体图像较为单一，缺乏多样性。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提升生成的实体图像的多样性的多模态边缘实体图像转换方法、装置、计算机设备和介质。一种多模态边缘实体图像转换方法，所述方法包括：获取终端设备采集的素描边缘图像；将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，多个实体图像中各实体图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。在其中一个实施例中，将素描边缘图像输入多模态条件生成对抗网络之前，还包括：对素描边缘图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的素描边缘图像；将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，包括：将图像尺寸归一化处理后的素描边缘图像输入多模态条件生成对抗网络，输出对应尺寸归一化处理后的素描边缘图像的多个实体图像。在其中一个实施例中，将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，包括：通过多模态条件生成对抗网络中的编码器对素描边缘图像进行特征提取，生成对应素描边缘图像的特征图；通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应素描边缘图像的多个实体图像。在其中一个实施例中，通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应素描边缘图像的多个实体图像，包括：通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应素描边缘图像的多个实体图像。在其中一个实施例中，多模态条件生成对抗网络的生成方式包括：获取训练集图像；将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实体图像；根据各预测实体图像以及训练集图像，生成对应各预测实体图像的各图像集；将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。在其中一个实施例中，根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还包括：存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值；得到训练完成的多模态条件生成对抗网络，包括：确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。在其中一个实施例中，基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，包括：根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络；根据各鉴别结果为真的预测实体图像以及对应的各生成参数，基于预设的调控函数确定各预测实体图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络；根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。一种多模态边缘实体图像转换装置，所述装置包括：初始图像获取模块，用于获取素描边缘图像；多模态实体图像生成模块，用于将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，多个实体图像中各实体图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中所述方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例中所述的方法的步骤。上述多模态边缘实体图像转换方法、装置、计算机设备和存储介质，通过获取素描边缘图像，并将素描边缘图像输入多模态条件生成对抗网络，输出对应所述素描边缘图像的多个实体图像，多个实体图像中各实体图像的内容模态不同，且多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。由于多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，且预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定，从而在根据多模态条件生成对抗网络生成实体图像的时候，可以提升生成的实体图像的多样性。附图说明图1为一个实施例中多模态边缘实体图像转换方法的应用场景图；图2为一个实施例中多模态边缘实体图像转换方法的流程示意图；图3为另一个实施例中多模态边缘实体图像转换步骤的流程示意图；图4为一个实施例中生成多个实体图像步骤的流程示意图；图5为一个实施例中网络迭代训练步骤的流程示意图；图6为一个实施例中多模态边缘实体图像转换装置的结构框图；图7为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的多模态边缘实体图像转换方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以采集素描边缘图像，并通过网络发送至服务器104。服务器104在接收到素描边缘图像后，可以将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像。其中，多个实体图像中各实体图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。其中，终端102可以本文档来自技高网...

【技术保护点】
1.一种多模态边缘实体图像转换方法，其特征在于，所述方法包括：/n获取终端设备采集的素描边缘图像；/n将所述素描边缘图像输入多模态条件生成对抗网络，输出对应所述素描边缘图像的多个实体图像，所述多个实体图像中各实体图像的内容模态不同，所述多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，所述预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。/n

【技术特征摘要】
1.一种多模态边缘实体图像转换方法，其特征在于，所述方法包括：
获取终端设备采集的素描边缘图像；
将所述素描边缘图像输入多模态条件生成对抗网络，输出对应所述素描边缘图像的多个实体图像，所述多个实体图像中各实体图像的内容模态不同，所述多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，所述预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。


2.根据权利要求1所述的方法，其特征在于，所述将所述素描边缘图像输入多模态条件生成对抗网络之前，还包括：
对所述素描边缘图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的素描边缘图像；
所述将所述素描边缘图像输入多模态条件生成对抗网络，输出对应所述素描边缘图像的多个实体图像，包括：
将所述图像尺寸归一化处理后的素描边缘图像输入多模态条件生成对抗网络，输出对应所述尺寸归一化处理后的素描边缘图像的多个实体图像。


3.根据权利要求1所述的方法，其特征在于，所述将所述素描边缘图像输入多模态条件生成对抗网络，输出对应所述素描边缘图像的多个实体图像，包括：
通过多模态条件生成对抗网络中的编码器对所述素描边缘图像进行特征提取，生成对应所述素描边缘图像的特征图；
通过多模态条件生成对抗网络中的生成器对所述特征图进行解码转换，得到对应所述素描边缘图像的多个实体图像。


4.根据权利要求3所述的方法，其特征在于，所述通过多模态条件生成对抗网络中的生成器对所述特征图进行解码转换，得到对应所述素描边缘图像的多个实体图像，包括：
通过所述生成器配置多个不同的生成参数，并根据各所述生成参数以及所述特征图，生成对应所述素描边缘图像的多个实体图像。


5.根据权利要求1所述的方法，其特征在于，所述多模态条件生成对抗网络的生成方式包括：
获取训练集图像；
将所述训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实体图像；
根据各所述预测实体图像以及所述训练集图像，生成对应各所述预测实体图像的各图像集；
将各所述图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；
基于各所述鉴别结果，调整所述初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生...

【专利技术属性】
技术研发人员：孟云龙，
申请(专利权)人：上海眼控科技股份有限公司，
类型：发明
国别省市：上海;31