图像生成模型的训练方法、装置及图像生成方法、装置制造方法及图纸

本申请公开了一种图像生成模型的训练方法、装置及图像生成方法、装置，所述图像生成模型的训练方法包括：对第一样本图像和第二样本图像分别进行特征提取，得到各样本图像的特征；对第一样本图像和第二样本图像进行特征交叉融合，得到第一样本图像的第一生成图像及第二样本图像的第二生成图像；对第一生成图像和第二生成图像分别进行特征提取，得到各生成图像的特征；对第一生成图像和第二生成图像进行特征交叉融合，得到第一生成图像的第一重建图像及第二生成图像的第二重建图像；根据第一样本图像与第一重建图像、第二样本图像与第二重建图像确定回归损失，以对图像生成模型的参数进行优化。通过本申请，能够生成更加逼真且细节更丰富的图像。

【技术实现步骤摘要】
图像生成模型的训练方法、装置及图像生成方法、装置
本申请涉及图像处理
，具体涉及一种图像生成模型的训练方法、装置及图像生成方法、装置。
技术介绍
现今，在目标检测识别
，深度学习方法已经占据主流优势，而大部分深度学习方法都需要通过数据驱动，借助大量训练数据对模型进行训练，数据的丰富程度以及与实际应用场景的相关性都会直接影响到模型的使用效果。然而，很多模型采集到的数据集经常存在场景多样性不足的问题，此外，在采集数据的基础上，针对数据后期的标注过程，还需要进一步付出额外的标注成本。
技术实现思路
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的图像生成模型的训练方法、装置及图像生成方法、装置。依据本申请的第一方面，提供了一种图像生成模型的训练方法，包括：对第一样本图像和第二样本图像分别进行特征提取，得到各样本图像的特征，所述特征包括内容特征和风格特征；对所述第一样本图像和所述第二样本图像进行特征交叉融合，根据特征交叉融合结果得到第一样本图像的第一生成图像，本文档来自技高网...

【技术保护点】
1.一种图像生成模型的训练方法，其特征在于，包括：/n对第一样本图像和第二样本图像分别进行特征提取，得到各样本图像的特征，所述特征包括内容特征和风格特征；/n对所述第一样本图像和所述第二样本图像进行特征交叉融合，根据特征交叉融合结果得到第一样本图像的第一生成图像，以及得到第二样本图像的第二生成图像；/n对所述第一生成图像和所述第二生成图像分别进行所述特征提取，得到各生成图像的特征；/n对所述第一生成图像和所述第二生成图像进行特征交叉融合，根据特征交叉融合结果得到第一生成图像的第一重建图像，以及得到第二生成图像的第二重建图像；/n根据所述第一样本图像与所述第一重建图像、所述第二样本图像与所述第二...

【技术特征摘要】
1.一种图像生成模型的训练方法，其特征在于，包括：
对第一样本图像和第二样本图像分别进行特征提取，得到各样本图像的特征，所述特征包括内容特征和风格特征；
对所述第一样本图像和所述第二样本图像进行特征交叉融合，根据特征交叉融合结果得到第一样本图像的第一生成图像，以及得到第二样本图像的第二生成图像；
对所述第一生成图像和所述第二生成图像分别进行所述特征提取，得到各生成图像的特征；
对所述第一生成图像和所述第二生成图像进行特征交叉融合，根据特征交叉融合结果得到第一生成图像的第一重建图像，以及得到第二生成图像的第二重建图像；
根据所述第一样本图像与所述第一重建图像、所述第二样本图像与所述第二重建图像确定回归损失，根据回归损失对图像生成模型的参数进行优化。


2.根据权利要求1所述的图像生成模型的训练方法，其特征在于，所述第一样本图像和第二样本图像均包括全局场景图像和目标区域图像，所述对所述第一样本图像和所述第二样本图像进行特征交叉融合，根据特征交叉融合结果得到第一样本图像的第一生成图像，以及得到第二样本图像的第二生成图像包括：
基于所述全局场景图像和所述目标区域图像，将所述第一样本图像的内容特征与所述第二样本图像的风格特征，以及所述第一样本图像的风格特征与所述第二样本图像的内容特征分别进行交叉融合；
利用所述图像生成模型的解码器对交叉融合后的特征进行解码，得到所述第一样本图像的第一生成图像以及所述第二样本图像的第二生成图像。


3.根据权利要求1所述的图像生成模型的训练方法，其特征在于，所述第一样本图像包括第一全局场景图像和第一目标区域图像，所述第二样本图像包括第二全局场景图像和第二目标区域图像，所述对第一样本图像和第二样本图像分别进行特征提取，得到各样本图像的特征包括：
利用所述图像生成模型的第一编码器和第二编码器，分别提取所述第一全局场景图像的内容特征和风格特征，以及所述第一目标区域图像的内容特征和风格特征；
利用所述图像生成模型的第三编码器和第四编码器，分别提取所述第二全局场景图像的内容特征和风格特征，以及所述第二目标区域图像的内容特征和风格特征。


4.根据权利要求3所述的图像生成模型的训练方法，其特征在于，所述对所述第一样本图像和所述第二样本图像进行特征交叉融合，根据特征交叉融合结果得到第一样本图像的第一生成图像，以及得到第二样本图像的第二生成图像包括：
将所述第一全局场景图像的内容特征和所述第二全局场景图像的风格特征进行融合，得到第一融合特征；
将所述第一目标区域图像的内容特征和所述第二目标区域图像的风格特征进行融合，得到第二融合特征；
利用所述图像生成模型的解码器，对所述第一融合特征和所述第二融合特征进行解码。


5.根据权利要求1所述的图像生成模型的训练方法，其特征在于，所述对第一样本图像和第二样本图像分别进行特征提取，得到各样本图像的特征包括：
利用编码器的卷积层分别提取所述第一样本图像和所述第二样本图像的原始风格特征；
基于注意力机制，分别确定所述第一样本图像和所述第二样本图像的原始风格特征的特征权重；
基于各特征权重和对应的所述原始风格特征确定选定风格特征。


6.根据权利要求5所述的图像生成模型的训练方法，其特征在于，所述基于注意力机制，分别确定所述第一样本图像和所述第二样本图像的原始风格特征的特征权重包括：
利用所述编码器的全局池化层，对所述原始风格特征进行全局池化处理，得到全局池化特征；
利用所述编码器的全连接层对所述全局池化特征进行处理，得到所述原始风格特征的特征权重。


7.根据权...

【专利技术属性】
技术研发人员：李蒙，周高景，刘曦，王雷，张睿，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11