一种基于关系嵌入的图像合成的方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于关系嵌入的图像合成的方法、装置及存储介质，方法包括：将图像合成和图像修复间的互逆关系嵌入到图像合成模型中；基于所述互逆关系对图像进行互监督学习，使得图像合成模型学习到前景图像的物体和背景图像的特征；对关系嵌入的图像合成模型进行训练获取到图像合成器，所述图像合成器包括：生成器和判别器；基于合成图像的数据集，训练合成图像得分分类器对合成图像进行自动评分；基于图像合成器、合成图像得分分类器、前景图像、背景图像、以及训练好的关系嵌入的图像合成模型，进行图像合成工作并对合成图像进行评分。装置包括：处理器和存储器。通过本发明专利技术设计的图像合成关系，使得前景和背景图像完成较好的图像合成。好的图像合成。好的图像合成。

【技术实现步骤摘要】
一种基于关系嵌入的图像合成的方法、装置及存储介质


[0001]本专利技术涉及图像合成领域，尤其涉及一种基于关系嵌入的图像合成的方法、装置及存储介质。

技术介绍

[0002]图像合成早期工作中，研究者使用图形学和数学思想结合的方法来实现图像合成。其中最经典的是应用泊松融合来做图像合成，其思想是基于求解Poisson(泊松)方程的通用插值机制，引入图像梯度域，在图像融合时，用色彩梯度代替色彩强度产生更真实的合成效果。之后随着深度学习研究的发展，数据不足是个比较严峻的问题，模型不能从数据中学到有价值的表征，研究者则将关注点聚焦在了使用深度学习的方法来解决图像合成，从而从一定程度上解决数据不足和人工标注耗时费力的问题。GAN(生成对抗网络)帮助解决了图像生成的问题，DCGAN(深度卷积生成对抗网络)可以生成属于特定类的图像，LAPGAN(基于拉普拉斯金字塔的生成对抗网络)使用拉普拉斯金字塔可以从粗到细生成图像。
[0003]GAN确实可以帮助模型学习到有价值的表征，但是只使用GAN却无法将两张独立图像进行合成。研究者从数据合成角度提出一种简单的剪切粘贴方法，在框级别的标注下提取物体并粘贴到可能的场景中去，从而得到新的更真实的合成数据，但是更真实并不能确保数据一定会增强训练模型的性能。因此，之后的研究结合了图像合成和对抗两种方法，提出了新的图像合成网络去学习合成图像，然后使用该方法训练一个合成器来生成有用的合成样本，从而帮助提高目标网络的性能。目前，完全使用复制粘贴方法进行图像合成工作做得比较少。人们更愿意使用虚拟引擎来产生大量的合成数据，有的还工作基于虚拟图像场景，得到合成数据集。另外，合成数据也帮助人们更好的认识真实世界。可以将合成图像分为真实与非真实图像，并且为真实合成图像区域进行重新着色，有助于更好地理解自然颜色统计和颜色感知。人们基于对真实世界理解的先验知识，可以发现合成图像的前景与背景不兼容，合成数据集和真实数据集的数据分布之间会有差异。
[0004]总得来说，图像合成领域目前主要存在如下问题：
[0005]1、合成数据和真实数据之间存在数据分布差异，导致模型学习难度增大；
[0006]2、合成前景和背景的关系不能规则化，无法很好的使用深度学习来刻画前景和背景的关系；
[0007]3、设计特定的3D模型花费较大，导致使用3D模型合成数据变得昂贵；
[0008]4、难以评估合成数据和真实数据集的差异，导致合成数据后，无法量化合成模型的有效性；
[0009]5、无法自动合成海量图像，并完成质量评测。

技术实现思路

[0010]本专利技术提供了一种基于关系嵌入的图像合成的方法、装置及存储介质，通过本专利技术设计的图像合成关系，使得前景和背景图像完成较好的图像合成；并基于关系嵌入的图
像合成模型的训练学习，提高了合成图像的一致性；使用本专利技术的图像合成可以按需扩充有用的数据集，详见下文描述：
[0011]第一方面，一种基于关系嵌入的图像合成的方法，所述方法包括以下步骤：
[0012]将图像合成和图像修复间的互逆关系嵌入到图像合成模型中；
[0013]基于所述互逆关系对图像进行互监督学习，使得图像合成模型学习到前景图像的物体和背景图像的特征；
[0014]对关系嵌入的图像合成模型进行训练获取到图像合成器，所述图像合成器包括：生成器和判别器；
[0015]基于合成图像的数据集，训练合成图像得分分类器对合成图像进行自动评分；
[0016]基于图像合成器、合成图像得分分类器、前景图像、背景图像、以及训练好的关系嵌入的图像合成模型，进行图像合成工作并对合成图像进行评分。
[0017]在一种实施方式中，所述互逆关系为：
[0018]RSI＝Relation(B，B+F)
[0019]其中，B表示修复好的背景图像，F表示合成所需要的前景图像，Relation表示关系。
[0020]其中，所述图像合成模型的输入包括：背景图x，有前景图像的背景图y，其中x，R为特征空间，H为人脸图像高度，W为宽度，C为通道数。
[0021]在一种实施方式中，所述图像合成模型包括：生成器和判别器，
[0022]生成器由背景图像外观编码器前景图像物体编码器和解码器(G
x
，G
y
)组成；
[0023]编码器用于通过对背景图像编码，获取到背景外观特征向量同理获得前景图像中物体的特征向量与解码器(G
x
，G
y
)组合生成新的图像，G
x
为生成修复图像，G
y
为生成合成图像；
[0024](D
x
，D
y
)分别是生成修复图像和生成合成图像的两个判别器，D
x
用于将解码器生成的修复图像与自然图像区分，D
y
用于将解码器生成的合成图像与自然图像区分。
[0025]优选地，所述图像合成工作包括修复路线方式和合成路线方式：
[0026]所述修复路线方式为：
[0027]从目标背景图像B中提取目标位置特征f1；从自然图像F+B中提取目标背景特征B2；
[0028]将f1和B2作为生成器的输入，生成f1+B2的一张合成图像；
[0029]所述合成路线方式为：
[0030]从目标背景图像B中提取背景特征B1；从自然图像F+B中提取前景特征f2；
[0031]将f2+B1作为生成器的输入，生成f2+B1的一张合成图像。
[0032]进一步地，所述方法还包括：基于自动合成得分指标和理想合成得分指标对图像合成的质量进行评估；
[0033]所述自动合成得分用于使用复制粘贴合成图像，人工进行外观、大小和位置的评分标注后完成训练，对合成图像自动打分；
[0034]所述理想合成得分的比例系数均为最大值1。
[0035]第二方面，一种基于关系嵌入的图像合成的装置，所述装置包括：
[0036]嵌入模块，用于将图像合成和图像修复间的互逆关系嵌入到图像合成模型中；
[0037]学习模块，用于基于所述互逆关系对图像进行互监督学习，使得图像合成模型学习到前景图像的物体和背景图像的特征；
[0038]获取模块，用于对关系嵌入的图像合成模型进行训练获取到图像合成器，所述图像合成器包括：生成器和判别器；
[0039]训练模块，用于基于合成图像的数据集，训练合成图像得分分类器对合成图像进行自动评分；
[0040]评分模块，用于基于图像合成器、合成图像得分分类器、前景图像、背景图像、以及训练好的关系嵌入的图像合成模型，进行图像合成工作并对合成图像进行评分。
[0041]第三方面、一种基于关系嵌入的图像合成的装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求第一方面中的任一项所述的方法步骤。...

【技术保护点】

【技术特征摘要】
1.一种基于关系嵌入的图像合成的方法，其特征在于，所述方法包括以下步骤：将图像合成和图像修复间的互逆关系嵌入到图像合成模型中；基于所述互逆关系对图像进行互监督学习，使得图像合成模型学习到前景图像的物体和背景图像的特征；对关系嵌入的图像合成模型进行训练获取到图像合成器，所述图像合成器包括：生成器和判别器；基于合成图像的数据集，训练合成图像得分分类器对合成图像进行自动评分；基于图像合成器、合成图像得分分类器、前景图像、背景图像、以及训练好的关系嵌入的图像合成模型，进行图像合成工作并对合成图像进行评分。2.根据权利要求1所述的一种基于关系嵌入的图像合成的方法，其特征在于，所述互逆关系为：RSI＝Relation(B，B+F)其中，B表示修复好的背景图像，F表示合成所需要的前景图像，Relation表示关系。3.根据权利要求1所述的一种基于关系嵌入的图像合成的方法，其特征在于，所述图像合成模型的输入包括：背景图x，有前景图像的背景图y，其中R为特征空间，H为人脸图像高度，W为宽度，C为通道数。4.根据权利要求2所述的一种基于关系嵌入的图像合成的方法，其特征在于，所述图像合成模型包括：生成器和判别器，生成器由背景图像外观编码器前景图像物体编码器和解码器(G
x
，G
y
)组成；编码器用于通过对背景图像编码，获取到背景外观特征向量同理获得前景图像中物体的特征向量与解码器(G
x
，G
y
)组合生成新的图像，G
x
为生成修复图像，G
y
为生成合成图像；(D
x
，D
y
)分别是生成修复图像和生成合成图像的两个判别器，D
x
用于将解码器生成的修复图像与自然图像区分，D
y
用于将解码器生成的合成图像与自然图像区分。5.根据权利要求4所述的一种基于关系嵌入的图像合成的方法，其特征在于，所述图像合成工作包括修复路线方式和合成路线方式：所述修复路线方式为：从目标背景图像B中提取目标位置特征f1；从自然图像F+B中提取目标背景特征B2；将f1和B2作为生成器的输入，生成f1+B2的一张修复图像；所述合成路线方式为：从目标背景图像B中提取背景特征B1；从自然图像F+B中提取前景特征f2；将f2+B1作为生成器的输入，生成f2+B1的一张合成图像。6.根据权利要求5所述的一种基于关系嵌入的图像合成的方法，其特征在于，所述图像合成模型的损失函数为：1)f1+B2相关的损失函数loss1约束f1+B2合成图像的前景特征，loss2约束f1+B2合成图像的背景特征：
2)f2+B1相关的损失函数loss3约束f2+B1合成图像的前景特征，loss4约束f2+B...

【专利技术属性】
技术研发人员：朱鹏飞，贾安，汪廉杰，刘洋，
申请(专利权)人：天津大学，
类型：发明
国别省市：