语义分割图像转换方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种语义分割图像转换方法、装置、计算机设备和存储介质。所述方法包括：接收采集设备采集的初始实景图像；对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像；将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像，多个实景图像中各实景图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。采用本方法能够提升生成的实景图像的多样性。

【技术实现步骤摘要】
语义分割图像转换方法、装置、计算机设备和存储介质
本申请涉及图像生成术领域，特别是涉及一种语义分割图像转换方法、装置、计算机设备和存储介质。
技术介绍
在应用神经网络模型进行业务处理前，通过需要大量的训练集图像进行模型的训练，当训练集图像难以采集的时候，则可以通过采集的初始图像进行图像转换处理，得到大数据量的转换后的训练集图像。在传统方式中，通常是通过条件生成对抗网络(conditionalgenerativeadversarialnetworks)进行图像的转换。但是，上述方式存在模式坍塌的问题(modecollapseproblem)，使得仅能输出一对一的图像，即基于输入的图像仅能输出一个对应的图像，使得输出图像较为单一，缺乏多样性。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提升语义分割图像转换的实景图像的多样性的语义分割图像转换方法、装置、计算机设备和介质。一种语义分割图像转换方法，所述方法包括：接收采集设备采集的初始实景图像；对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像；将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像，多个实景图像中各实景图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。在其中一个实施例中，对初始实景图像进行语义分割处理，生成语义分割图像之前，还包括：对初始实景图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始实景图像；对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像，包括：对图像尺寸归一化处理后的初始实景图像进行语义分割处理，生成对应图像尺寸归一化处理后的初始实景图像的语义分割图像。在其中一个实施例中，将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像，包括：通过多模态条件生成对抗网络中的编码器对语义分割图像进行特征提取，生成对应语义分割图像的特征图；通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应语义分割图像的多个实景图像。在其中一个实施例中，通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应语义分割图像的多个实景图像，包括：通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应语义分割图像的多个实景图像。在其中一个实施例中，多模态条件生成对抗网络的生成方式包括：获取训练集图像；将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实景图像；根据各预测实景图像以及训练集图像，生成对应各预测实景图像的各图像集；将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。在其中一个实施例中，根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还包括：存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值；得到训练完成的多模态条件生成对抗网络，包括：确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。在其中一个实施例中，基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，包括：根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络；根据各鉴别结果为真的预测实景图像以及对应的各生成参数，基于预设的调控函数确定各预测实景图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络；根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。一种语义分割图像转换装置，所述装置包括：初始实景图像接收模块，用于接收采集设备采集的初始实景图像；语义分割处理模块，用于对初始实景图像进行语义分割处理，生成对应初始实景图像的语义分割图像；多模态实景图像生成模块，用于将语义分割图像输入多模态条件生成对抗网络，输出对应语义分割图像的多个实景图像，多个实景图像中各实景图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中所述方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例中所述的方法的步骤。上述语义分割图像转换方法、装置、计算机设备和存储介质，通过获取语义分割图像，并将语义分割图像输入多模态条件生成对抗网络，输出对应所述语义分割图像的多个实景图像，多个实景图像中各实景图像的内容模态不同，且多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。由于多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，且预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定，从而在根据多模态条件生成对抗网络生成实景图像的时候，可以提升生成的实景图像的多样性。附图说明图1为一个实施例中语义分割图像转换方法的应用场景图；图2为一个实施例中语义分割图像转换方法的流程示意图；图3为另一个实施例中语义分割图像转换步骤的流程示意图；图4为一个实施例中生成多个实景图像步骤的流程示意图；图5为一个实施例中网络迭代训练步骤的流程示意图；图6为一个实施例中语义分割图像转换装置的结构框图；图7为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的语义分割图像转换方法，可以应用于如图1所示的应用环境中。其中，采集设备102通过网络与服务器104进行通本文档来自技高网...

【技术保护点】
1.一种语义分割图像转换方法，其特征在于，所述方法包括：/n接收采集设备采集的初始实景图像；/n对所述初始实景图像进行语义分割处理，生成对应所述初始实景图像的语义分割图像；/n将所述语义分割图像输入多模态条件生成对抗网络，输出对应所述语义分割图像的多个实景图像，所述多个实景图像中各实景图像的内容模态不同，所述多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，所述预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。/n

【技术特征摘要】
1.一种语义分割图像转换方法，其特征在于，所述方法包括：
接收采集设备采集的初始实景图像；
对所述初始实景图像进行语义分割处理，生成对应所述初始实景图像的语义分割图像；
将所述语义分割图像输入多模态条件生成对抗网络，输出对应所述语义分割图像的多个实景图像，所述多个实景图像中各实景图像的内容模态不同，所述多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，所述预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。


2.根据权利要求1所述的方法，其特征在于，所述对所述初始实景图像进行语义分割处理，生成语义分割图像之前，还包括：
对所述初始实景图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始实景图像；
所述对所述初始实景图像进行语义分割处理，生成对应所述初始实景图像的语义分割图像，包括：
对所述图像尺寸归一化处理后的初始实景图像进行语义分割处理，生成对应所述图像尺寸归一化处理后的初始实景图像的语义分割图像。


3.根据权利要求1所述的方法，其特征在于，所述将所述语义分割图像输入多模态条件生成对抗网络，输出对应所述语义分割图像的多个实景图像，包括：
通过多模态条件生成对抗网络中的编码器对所述语义分割图像进行特征提取，生成对应所述语义分割图像的特征图；
通过多模态条件生成对抗网络中的生成器对所述特征图进行解码转换，得到对应所述语义分割图像的多个实景图像。


4.根据权利要求3所述的方法，其特征在于，所述通过多模态条件生成对抗网络中的生成器对所述特征图进行解码转换，得到对应所述语义分割图像的多个实景图像，包括：
通过所述生成器配置多个不同的生成参数，并根据各所述生成参数以及所述特征图，生成对应所述语义分割图像的多个实景图像。


5.根据权利要求1所述的方法，其特征在于，所述多模态条件生成对抗网络的生成方式包括：
获取训练集图像；
将所述训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实景图像；
根据各所述预测实景图像以及所述训练集图像，生成对应各所述预测实景图像的各图像集；
将各所述图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；
基于各所述鉴别结果，调整所述初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练...

【专利技术属性】
技术研发人员：孟云龙，
申请(专利权)人：上海眼控科技股份有限公司，
类型：发明
国别省市：上海;31