图像的生成方法及装置制造方法及图纸

本发明专利技术公开了一种图像的生成方法及装置，涉及图像处理技术领域，其目的在于降低生成特殊驾驶场景下的逼真仿真图像的成本。本发明专利技术的方法包括：获取多个样本图像和多个目标仿真图像，并生成每个样本图像对应的语义分割图像和每个目标仿真图像对应的语义分割图像；将多个样本图像和每个样本图像对应的语义分割图像作为训练样本集，对预置模型进行训练，直至预置模型的总损失函数收敛，以获得生成式对抗模型；将每个目标仿真图像对应的语义分割图像输入至生成式对抗模型中，以获得每个目标仿真图像对应的合成仿真图像。本发明专利技术适用于生成特殊驾驶场景下的逼真仿真图像的过程中。驾驶场景下的逼真仿真图像的过程中。驾驶场景下的逼真仿真图像的过程中。

【技术实现步骤摘要】
图像的生成方法及装置


[0001]本专利技术涉及图像处理
，特别是涉及一种图像的生成方法及装置。

技术介绍

[0002]随着社会的不断发展，人们生活水平的不断提高，人们对汽车的需求与日俱增。伴随着汽车保有量的快速增长，汽车给人们日常生活带来的问题也日益明显，其中，交通安全问题尤为突出。为了有效解决交通安全问题，自动驾驶技术应运而生，汽车基于自动驾驶模型便可实现自动驾驶。为了保证自动驾驶模型的性能，需要预先使用各种驾驶场景下的真实场景图像作为训练样本集对自动驾驶模型进行训练。由于，特殊驾驶场景(如车祸场景、山体滑坡场景等等)下的真实场景图像较为稀缺，因此，需要模拟出特殊驾驶场景下的、逼真的仿真图像，再将逼真的仿真图像作为训练样本集对自动驾驶模型进行训练。
[0003]目前，通常是先搭建性能较强的仿真平台，再通过性能较强的仿真平台模拟出逼真的仿真图像。然而，搭建性能较强的仿真平台的投入成本较高；并且，运行性能较强的仿真平台，消耗的资源也比较高，因此，通过搭建性能较强的仿真平台模拟特殊驾驶场景下的逼真仿真图像的成本较高。

技术实现思路

[0004]有鉴于此，本专利技术提供一种图像的生成方法及装置，主要目的在于降低生成特殊驾驶场景下的逼真仿真图像的成本。
[0005]为了达到上述目的，本专利技术主要提供如下技术方案：
[0006]第一方面，本专利技术提供了一种图像的生成方法，该方法包括：
[0007]获取多个样本图像和多个目标仿真图像，并生成每个所述样本图像对应的语义分割图像和每个所述目标仿真图像对应的语义分割图像，其中，所述样本图像为任意驾驶场景下的真实场景图像，所述目标仿真图像为任意特殊驾驶场景下的简易仿真图像；
[0008]将多个所述样本图像和每个所述样本图像对应的语义分割图像作为训练样本集，对预置模型进行训练，直至所述预置模型的总损失函数收敛，以获得生成式对抗模型；
[0009]将每个所述目标仿真图像对应的语义分割图像输入至所述生成式对抗模型中，以获得每个所述目标仿真图像对应的合成仿真图像。
[0010]可选的，所述预置模型包括生成模型和判别模型；所述将多个所述样本图像和每个所述样本图像对应的语义分割图像作为训练样本集，对预置模型进行训练，直至所述预置模型的总损失函数收敛，以获得生成式对抗模型，包括：
[0011]基于所述训练样本集对所述预置模型进行迭代训练；其中，
[0012]在每轮训练后，判断所述预置模型的总损失函数是否收敛；
[0013]若所述总损失函数收敛，则将本轮训练后得到的所述预置模型确定为所述生成式对抗模型；
[0014]若所述总损失函数未收敛，则对所述总损失函数进行反向传播处理，并根据经过
反向传播处理后的所述总损失函数，对所述生成模型的模型参数和所述判别模型的模型参数进行优化调整，以及基于优化调整后的所述生成模型和所述判别模型进入下一轮训练。
[0015]可选的，所述总损失函数包括生成模型损失函数、判别模型损失函数和循环重建损失函数；所述判断所述预置模型的总损失函数是否收敛，包括：
[0016]获取所述生成模型损失函数对应的损失值、所述判别模型损失函数对应的损失值和所述循环重建损失函数对应的损失值；
[0017]对所述生成模型损失函数对应的损失值、所述判别模型损失函数对应的损失值和所述循环重建损失函数对应的损失值进行求和计算，以获得所述总损失函数对应的总损失值；
[0018]判断所述总损失值是否小于预设阈值。
[0019]可选的，所述获取多个目标仿真图像，包括：
[0020]构建目标仿真场景，并根据预置相机参数设置仿真相机；
[0021]通过所述仿真相机采集所述目标仿真场景对应的仿真视频；
[0022]从所述仿真视频中提取多个所述目标仿真图像。
[0023]可选的，所述生成每个所述样本图像对应的语义分割图像和每个所述目标仿真图像对应的语义分割图像，包括：
[0024]通过预置语义分割模型生成每个所述样本图像对应的语义分割图像；
[0025]通过所述预置语义分割模型生成每个所述目标仿真图像对应的语义分割图像。
[0026]可选的，所述方法还包括：
[0027]若所述总损失函数未收敛，则判断当前累计迭代训练时长是否达到预设时长阈值；
[0028]若达到所述预设时长阈值，则将本轮训练后得到的所述预置模型确定为所述生成式对抗模型；
[0029]若未达到所述预设时长阈值，则进入对所述总损失函数进行反向传播处理，并根据经过反向传播处理后的所述总损失函数，对所述生成模型的模型参数和所述判别模型的模型参数进行优化调整，以及基于优化调整后的所述生成模型和所述判别模型进入下一轮训练的步骤。
[0030]可选的，所述方法还包括：
[0031]若所述总损失函数未收敛，则判断当前累计迭代训练次数是否达到预设次数阈值；
[0032]若达到所述预设次数阈值，则将本轮训练后得到的所述预置模型确定为所述生成式对抗模型；
[0033]若未达到所述预设次数阈值，则进入对所述总损失函数进行反向传播处理，并根据经过反向传播处理后的所述总损失函数，对所述生成模型的模型参数和所述判别模型的模型参数进行优化调整，以及基于优化调整后的所述生成模型和所述判别模型进入下一轮训练的步骤。
[0034]可选的，所述预置模型为采用预置算法建立的模型，所述预置算法可以但不限于为：cycleGAN算法、vid2vid算法和GigGAN算法中的任意一种。
[0035]第二方面，本专利技术还提供一种图像的生成装置，该装置包括：
[0036]获取单元，用于获取多个样本图像和多个目标仿真图像，其中，所述样本图像为任意驾驶场景下的真实场景图像，所述目标仿真图像为任意特殊驾驶场景下的简易仿真图像；
[0037]生成单元，用于生成每个所述样本图像对应的语义分割图像和每个所述目标仿真图像对应的语义分割图像；
[0038]训练单元，用于将多个所述样本图像和每个所述样本图像对应的语义分割图像作为训练样本集，对预置模型进行训练，直至所述预置模型的总损失函数收敛，以获得生成式对抗模型；
[0039]输入单元，用于将每个所述目标仿真图像对应的语义分割图像输入至所述生成式对抗模型中，以获得每个所述目标仿真图像对应的合成仿真图像。
[0040]可选的，所述预置模型包括生成模型和判别模型；
[0041]所述训练单元，具体用于基于所述训练样本集对所述预置模型进行迭代训练；其中，
[0042]在每轮训练后，判断所述预置模型的总损失函数是否收敛；
[0043]若所述总损失函数收敛，则将本轮训练后得到的所述预置模型确定为所述生成式对抗模型；
[0044]若所述总损失函数未收敛，则对所述总损失函数进行反向传播处理，并根据经过反向传播处理后的所述总损失函数，对所述生成模型的模型参数和所述判别模型的模型参数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像的生成方法，其特征在于，包括：获取多个样本图像和多个目标仿真图像，并生成每个所述样本图像对应的语义分割图像和每个所述目标仿真图像对应的语义分割图像，其中，所述样本图像为任意驾驶场景下的真实场景图像，所述目标仿真图像为任意特殊驾驶场景下的简易仿真图像；将多个所述样本图像和每个所述样本图像对应的语义分割图像作为训练样本集，对预置模型进行训练，直至所述预置模型的总损失函数收敛，以获得生成式对抗模型；将每个所述目标仿真图像对应的语义分割图像输入至所述生成式对抗模型中，以获得每个所述目标仿真图像对应的合成仿真图像。2.根据权利要求1所述的方法，其特征在于，所述预置模型包括生成模型和判别模型；所述将多个所述样本图像和每个所述样本图像对应的语义分割图像作为训练样本集，对预置模型进行训练，直至所述预置模型的总损失函数收敛，以获得生成式对抗模型，包括：基于所述训练样本集对所述预置模型进行迭代训练；其中，在每轮训练后，判断所述预置模型的总损失函数是否收敛；若所述总损失函数收敛，则将本轮训练后得到的所述预置模型确定为所述生成式对抗模型；若所述总损失函数未收敛，则对所述总损失函数进行反向传播处理，并根据经过反向传播处理后的所述总损失函数，对所述生成模型的模型参数和所述判别模型的模型参数进行优化调整，以及基于优化调整后的所述生成模型和所述判别模型进入下一轮训练。3.根据权利要求2所述的方法，其特征在于，所述总损失函数包括生成模型损失函数、判别模型损失函数和循环重建损失函数；所述判断所述预置模型的总损失函数是否收敛，包括：获取所述生成模型损失函数对应的损失值、所述判别模型损失函数对应的损失值和所述循环重建损失函数对应的损失值；对所述生成模型损失函数对应的损失值、所述判别模型损失函数对应的损失值和所述循环重建损失函数对应的损失值进行求和计算，以获得所述总损失函数对应的总损失值；判断所述总损失值是否小于预设阈值。4.根据权利要求1所述的方法，其特征在于，所述获取多个目标仿真图像，包括：构建目标仿真场景，并根据预置相机参数设置仿真相机；通过所述仿真相机采集所述目标仿真场景对应的仿真视频；从所述仿真视频中提取多个所述目标仿真图像。5.根据权利要求1所述的方法，其特征在于，所述生成每个所述样本图像对应的语义分割图像和每个所述目标仿真图像对应的语义分割图像，包括：通过预置语义分割模型生成每个所述样本图像对应的语义分割图像；通过所述预置语义分割模型生成每个所述目标仿真图像对应的语义分割图像。6.根据权利要求2所述的方法，其特征在于，所述方法还包括：若所述总损失函数未收敛，则判断当前累计迭代训练时长是否达到预设时长阈值；若达到所述预设时长阈值，则将本轮训练后得到的所述预置模型确定为所述生成式对抗模型；若未达到所述预设时长阈值，则进入对所述总损失函数进行反向传播处理，并根据经
过反向传播处理后的所述总损失函数，对所述生成模型的模型参数和所述判别模型的模型参数进行优化调整，以及基于优化调整后的所述生成模型和所述判别模型进入下一轮训练的步骤。7.根据权利要求2所述的方法，其特征在于，所述方法还包括：若所述总损失函数未收敛，则判断当前累计迭代训练次数是否达到预设次数阈值；若达到所述预设次数阈值，则将本轮训练后得到的所述预置模型确定为所述生成式对抗模型；若未达到所述预设次数阈值，则进入对所述总损失函数进行反向传播处理，并根据经过反向传播处理后的所述总损失函数，对所述生成模型的模型参数和所述判别模型的模型参数进行优化调整，以及基于优化调整后的所述生成模型和所述判别模型进入下一轮训练的步骤。8.根据权利要求1-7中任一项所述的方法，其特征在于，所述预置模型为采用预置算法建立的模型，所述预置算法可以但不限于为：cycleGAN算法、vid2vid算法和GigGAN算法中的任意一种。9.一种图像的生成装置，其特征在于，包括：获取单元，用于获取多个样本图像和多个目标仿真图像，其中，所述样本图像为任意驾驶场景下的真实场景图像，所述目标仿真图像为任意特殊驾驶场景下的简易仿真图像；生成单元，用于生成每个所述样本图像对应的语义分割图像和每个所述目标仿真图像对应的语义分割图像...

【专利技术属性】
技术研发人员：段雄，
申请(专利权)人：北京罗克维尔斯科技有限公司，
类型：发明
国别省市：