一种真实场景图像合成方法及系统技术方案

本发明专利技术公开了一种真实场景图像合成方法及系统。该方法包括：获取由语义图和与语义图对应的真实场景参考图构成的图像训练集；依据U‑net卷积神经网络模型和激励残差块建立真实场景图像合成网络模型；利用预训练好的VGG‑19卷积神经网络模型建立真实场景图像合成网络模型的损失函数；将图像训练集作为真实场景图像合成网络模型的输入，依据损失函数，对真实场景图像合成网络模型进行训练，得到训练好的真实场景图像合成网络模型；获取多幅待合成的语义图；将待合成的语义图输入到训练好的真实场景图像合成网络模型中，得到与待合成的语义图对应的真实场景合成图。本发明专利技术能够快速有效的合成真实感更强的摄影级场景图像，提高合成图像的真实感和视觉质量。

【技术实现步骤摘要】
一种真实场景图像合成方法及系统
本专利技术涉及图像合成
，特别是涉及一种真实场景图像合成方法及系统。
技术介绍
在图像合成领域中，基于深度学习的真实场景图像合成技术正逐渐应用的越来越广。真实场景图像合成是基于语义布局图中物体对象分割的信息来合成逼近于真实场景图像的一种视觉图像合成技术。真实场景图像合成方法集成了深度学习、模式识别和数字图像处理等多种专业技术。真实场景图像合成的关键有三点：(1)全局的协调性；(2)网络模型的存储容量；(3)高分辨率。深度学习能够实现图像全局的特征提取，同时也能提高网络模型的参数数量即网络模型的存储容量和生成高分辨率的图像，极大的提高了真实场景图像合成的真实性。真实场景图像合成方法所使用的深度学习网络结构的设计往往会直接影响到真实场景图像合成的效果。因此设计一种合适的深度学习网络结构是提高场景图像合成真实度的重要任务之一。目前，真实场景图像合成方法包括：(1)使用U-net(U网)作为条件生成对抗网络(GenerativeAdversarialNets，GANs)的生成器，并且当将灰度和二值边缘图像转换为彩色图像时，该方法可以实现期望的性能。然而，当该方法将语义图转换为摄影级真实感图像(即真实场景图像)时，其合成速度和视觉质量有待提高。(2)采用用于合成摄影级图像的级联细化网络(Cascadedrefinementnetworks，CRNs)，将语义布局转换为摄影级真实感图像。尽管CRNs具有巨大的存储容量，它可以生成比方法(1)更逼真的图像，但是在训练和预测阶段花费了大量时间，不能实现真实场景图像的快速高效合成。总之，现有的合成方法效率较低，且合成的摄影级真实感图像的真实度和图像的视觉质量也有待于提高。
技术实现思路
基于此，有必要提供一种真实场景图像合成方法及系统，以快速有效的合成真实感更强的摄影级场景图像，提高合成图像的真实感和视觉质量，扩大应用范围与应用场景。为实现上述目的，本专利技术提供了如下方案：一种真实场景图像合成方法，包括：获取图像训练集；所述图像训练集由多个图像对构成；各所述图像对均由一幅语义图和与所述语义图对应的真实场景参考图构成；依据U-net卷积神经网络模型和激励残差块建立真实场景图像合成网络模型；所述激励残差块是由卷积层和激活层构成的；利用预训练好的VGG-19卷积神经网络模型建立所述真实场景图像合成网络模型的损失函数；将所述图像训练集作为所述真实场景图像合成网络模型的输入，依据所述损失函数，对所述真实场景图像合成网络模型进行训练，得到训练好的真实场景图像合成网络模型；获取多幅待合成的语义图；将所述待合成的语义图输入到所述训练好的真实场景图像合成网络模型中，得到与所述待合成的语义图对应的真实场景合成图。可选的，所述依据U-net卷积神经网络模型和激励残差块建立真实场景图像合成网络模型，具体包括：建立U-net卷积神经网络模型；所述U-net卷积神经网络模型包括多个层级；建立激励残差块；在所述U-net卷积神经网络模型的每两个相邻的层级之间嵌入所述激励残差块，构成真实场景图像合成网络模型。可选的，所述将所述图像训练集作为所述真实场景图像合成网络模型的输入，依据所述损失函数，对所述真实场景图像合成网络模型进行训练，得到训练好的真实场景图像合成网络模型，具体包括：将所述训练集中的第i张语义图输入到当前的真实场景图像合成网络模型中，得到所述第i幅语义图对应的真实场景合成图；其中i为大于或等于1的整数；所述当前的真实场景图像合成网络模型是第j次训练更新后的真实场景图像合成网络模型；其中j为大于或等于0的整数；判断j是否小于预设最大训练次数；若是，则将所述真实场景合成图和所述第i幅语义图对应的真实场景参考图输入到所述损失函数中，得到损失值；将所述损失值输入到Adam优化器中，采用Adam优化算法更新所述真实场景图像合成网络模型；再令i＝i+1，j＝j+1，并返回所述将所述训练集中的第i幅语义图输入到当前的真实场景图像合成网络模型中，得到所述第i幅语义图对应的真实场景合成图；若否，则将当前的真实场景图像合成网络模型作为训练好的真实场景图像合成网络模型。可选的，所述激励残差块，具体为：f(x)＝x·sigmoid(β(x))其中，x表示输入的语义图；sigmoid是一个激活函数，其函数表达式为sigmoid(x)＝1/(1+exp(-x))；β表示激励残差块中的卷积层；β(x)表示对输入的语义图做卷积操作后的图像。可选的，所述损失函数，具体为：其中，Lf表示损失值；F表示真实场景图像合成网络模型输出的真实场景合成图，G表示真实场景参考图；φ表示预训练好的VGG-19卷积神经网络模型，φl表示预训练好的VGG-19卷积神经网络模型中的第l层，φl(F)表示将F输入到预训练好的VGG-19卷积神经网络中，第l层卷积层后输出的特征图，φl(G)表示将G输入到预训练好的VGG-19卷积神经网络中，第l层卷积层输出的特征图；l的取值为{0，1，2，3，4，5}；φ0表示预训练好的VGG-19网络的输入图，φ1至φ5表示预训练好的VGG-19中五个卷积层对应输出的特征图；λl表示第l层的损失值对应的权重系数，λl的取值为{1/1.6,1/2.3,1/1.8,1/2.8,10/0.8}。可选的，在所述将所述图像训练集作为所述真实场景图像合成网络模型的输入，依据所述损失函数，对所述真实场景图像合成网络模型进行训练，得到训练好的真实场景图像合成网络模型之前，还包括：确定所述真实场景图像合成网络模型的初始化参数；所述初始化参数包括学习率、最大训练次数、语义图的个数、语义图的宽度和语义图的高度。本专利技术还提供了一种真实场景图像合成系统，包括：第一获取模块，用于获取图像训练集；所述图像训练集由多个图像对构成；各所述图像对均由一幅语义图和与所述语义图对应的真实场景参考图构成；合成模型建立模块，用于依据U-net卷积神经网络模型和激励残差块建立真实场景图像合成网络模型；所述激励残差块是由卷积层和激活层构成的；损失函数建立模块，用于利用预训练好的VGG-19卷积神经网络模型建立所述真实场景图像合成网络模型的损失函数；训练模块，用于将所述图像训练集作为所述真实场景图像合成网络模型的输入，依据所述损失函数，对所述真实场景图像合成网络模型进行训练，得到训练好的真实场景图像合成网络模型；第二获取模块，用于获取多幅待合成的语义图；合成模块，用于将所述待合成的语义图输入到所述训练好的真实场景图像合成网络模型中，得到与所述待合成的语义图对应的真实场景合成图。可选的，所述合成模型建立模块，具体包括：第一建立单元，用于建立U-net卷积神经网络模型；所述U-net卷积神经网络模型包括多个层级；第二建立单元，用于建立激励残差块；合成模型建立单元，用于在所述U-net卷积神经网络模型的每两个相邻的层级之间嵌入所述激励残差块，构成真实场景图像合成网络模型。可选的，所述训练模块，具体包括：合成图获取单元，用于将所述训练集中的第i张语义图输入到当前的真实场景图像合成网络模型中，得到所述第i幅语义图对应的真实场景合成图；其中i为大于或等于1的整数；所述当前的真实场景图像合成网络模型是第j次训练更新后的真实场景图像合本文档来自技高网...

【技术保护点】
1.一种真实场景图像合成方法，其特征在于，包括：获取图像训练集；所述图像训练集由多个图像对构成；各所述图像对均由一幅语义图和与所述语义图对应的真实场景参考图构成；依据U‑net卷积神经网络模型和激励残差块建立真实场景图像合成网络模型；所述激励残差块是由卷积层和激活层构成的；利用预训练好的VGG‑19卷积神经网络模型建立所述真实场景图像合成网络模型的损失函数；将所述图像训练集作为所述真实场景图像合成网络模型的输入，依据所述损失函数，对所述真实场景图像合成网络模型进行训练，得到训练好的真实场景图像合成网络模型；获取多幅待合成的语义图；将所述待合成的语义图输入到所述训练好的真实场景图像合成网络模型中，得到与所述待合成的语义图对应的真实场景合成图。

【技术特征摘要】
1.一种真实场景图像合成方法，其特征在于，包括：获取图像训练集；所述图像训练集由多个图像对构成；各所述图像对均由一幅语义图和与所述语义图对应的真实场景参考图构成；依据U-net卷积神经网络模型和激励残差块建立真实场景图像合成网络模型；所述激励残差块是由卷积层和激活层构成的；利用预训练好的VGG-19卷积神经网络模型建立所述真实场景图像合成网络模型的损失函数；将所述图像训练集作为所述真实场景图像合成网络模型的输入，依据所述损失函数，对所述真实场景图像合成网络模型进行训练，得到训练好的真实场景图像合成网络模型；获取多幅待合成的语义图；将所述待合成的语义图输入到所述训练好的真实场景图像合成网络模型中，得到与所述待合成的语义图对应的真实场景合成图。2.根据权利要求1所述的一种真实场景图像合成方法，其特征在于，所述依据U-net卷积神经网络模型和激励残差块建立真实场景图像合成网络模型，具体包括：建立U-net卷积神经网络模型；所述U-net卷积神经网络模型包括多个层级；建立激励残差块；在所述U-net卷积神经网络模型的每两个相邻的层级之间嵌入所述激励残差块，构成真实场景图像合成网络模型。3.根据权利要求1所述的一种真实场景图像合成方法，其特征在于，所述将所述图像训练集作为所述真实场景图像合成网络模型的输入，依据所述损失函数，对所述真实场景图像合成网络模型进行训练，得到训练好的真实场景图像合成网络模型，具体包括：将所述训练集中的第i张语义图输入到当前的真实场景图像合成网络模型中，得到所述第i幅语义图对应的真实场景合成图；其中i为大于或等于1的整数；所述当前的真实场景图像合成网络模型是第j次训练更新后的真实场景图像合成网络模型；其中j为大于或等于0的整数；判断j是否小于预设最大训练次数；若是，则将所述真实场景合成图和所述第i幅语义图对应的真实场景参考图输入到所述损失函数中，得到损失值；将所述损失值输入到Adam优化器中，采用Adam优化算法更新所述真实场景图像合成网络模型；再令i＝i+1，j＝j+1，并返回所述将所述训练集中的第i幅语义图输入到当前的真实场景图像合成网络模型中，得到所述第i幅语义图对应的真实场景合成图；若否，则将当前的真实场景图像合成网络模型作为训练好的真实场景图像合成网络模型。4.根据权利要求1所述的一种真实场景图像合成方法，其特征在于，所述激励残差块，具体为：f(x)＝x·sigmoid(β(x))其中，x表示输入的语义图；sigmoid是一个激活函数，其函数表达式为sigmoid(x)＝1/(1+exp(-x))；β表示激励残差块中的卷积层；β(x)表示对输入的语义图做卷积操作后的图像。5.根据权利要求1所述的一种真实场景图像合成方法，其特征在于，所述损失函数，具体为：其中，Lf表示损失值；F表示真实场景图像合成网络模型输出的真实场景合成图，G表示真实场景参考图；φ表示预训练好的VGG-19卷积神经网络模型，φl表示预训练好的VGG-19卷积神经网络模型中的第l层，φl(F)表示将F输入到预训练好的VGG-19卷积神经网络中，第l层卷积层后输出的特征图，φl(G)表示将G输入到预训练好的VGG-19卷积神经网络中，第l层卷积层输出的特征图；l的取值为{0，1，2，3，4，5}；φ0表示预训练好的VGG-19网络的输入图...

【专利技术属性】
技术研发人员：饶鉴，陈欣，刘罡，
申请(专利权)人：文创智慧科技武汉有限公司，
类型：发明
国别省市：湖北,42