图像风格迁移方法、装置、电子设备及存储介质制造方法及图纸

本申请示出了一种图像风格迁移方法、装置、电子设备及存储介质，其中图像风格迁移方法包括：获取待处理图像；采用风格迁移模型，对待处理图像进行处理，得到第一风格化图像；风格迁移模型是预先根据内容图像、第二风格化图像以及第三风格化图像进行模型训练得到的，第二风格化图像是对内容图像进行风格化处理得到的，第三风格化图像是采用神经网络模型对内容图像进行处理得到的。本申请采用预先训练得到的风格迁移模型对待处理图像进行风格迁移处理，避免在执行风格迁移的过程中对损失函数进行求解优化等过程，从而实现快速风格迁移；并且，风格迁移模型是采用成对的输入输出样本对神经网络模型进行监督训练得到的，可以提升模型的风格化效果。

Image style migration methods, devices, electronic devices and storage media

This application shows an image style migration method, device, electronic device and storage medium, in which the image style migration method includes: acquiring the image to be processed; using the style migration model to process the processed image to obtain the first style image; and the style migration model is to model the content image, the second style image and the third style image in advance. The second style image is obtained by the style processing of the content image, and the third style image is obtained by using the neural network model to process the content image. This application adopts the pre-trained style migration model to process the image, avoiding solving and optimizing the loss function in the process of executing style migration, so as to realize fast style migration. Moreover, the style migration model is obtained by supervising and training the neural network model with pairs of input and output samples, which can improve the model. Stylistic effect.

【技术实现步骤摘要】
图像风格迁移方法、装置、电子设备及存储介质
本申请涉及计算机
，尤其涉及一种图像风格迁移方法、装置、电子设备及存储介质。
技术介绍
在图像处理和计算机图形学领域，图像风格迁移(IST，ImageStyleTransfer)是一项非常重要且富有挑战性的课题。根据实际处理的不同问题场景，IST又分为艺术风格迁移、保真风格迁移、语义风格迁移等子课题。IST具有广阔的应用场景，包括图像编辑、图像合成、图像特效等。目前研究IST的方法一般运用卷积神经网络(CNN，ConvolutionalNeuralNetworks)提取内容(content)和风格(style)图的特征并构建Gram矩阵，从而定义内容损失和风格损失，然后优化求解得到风格化图。这种方法虽然可以得到不错的风格化结果，但往往求解优化问题需要很长时间，不能快速实现风格迁移。
技术实现思路
为克服相关技术中存在的问题，本申请提供一种图像风格迁移方法、装置、电子设备及存储介质。根据本申请的第一方面，提供一种图像风格迁移方法，所述方法包括：获取待处理图像；采用风格迁移模型，对所述待处理图像进行处理，得到第一风格化图像；所述风格迁移模型是预先根据内容图像、第二风格化图像以及第三风格化图像进行模型训练得到的，其中，所述第二风格化图像是对所述内容图像进行风格化处理得到的，所述第三风格化图像是采用神经网络模型对所述内容图像进行处理得到的。在一个可选的实现方式中，在所述采用风格迁移模型，对所述待处理图像进行处理，得到第一风格化图像的步骤之前，还包括：获得所述风格迁移模型；所述获得所述风格迁移模型的步骤，包括：获取所述内容图像以及所述第二风格化图像；采用神经网络模型，对所述内容图像进行处理，得到第三风格化图像；根据所述内容图像、所述第二风格化图像以及所述第三风格化图像的关联特征，对所述神经网络模型进行训练，得到所述风格迁移模型；其中，所述关联特征包括内容特征、风格特征、像素点特征以及语义特征中的至少一种。在一个可选的实现方式中，所述根据所述内容图像、所述第二风格化图像以及所述第三风格化图像的关联特征，对所述神经网络模型进行训练，得到所述风格迁移模型的步骤，包括：根据所述第三风格化图像以及所述内容图像的内容特征差异，确定内容损失函数；根据所述第三风格化图像以及所述第二风格化图像的风格特征差异，确定风格损失函数；根据所述第三风格化图像以及所述第二风格化图像的像素点特征差异，确定像素损失函数；根据所述内容损失函数、所述风格损失函数以及所述像素损失函数，确定所述神经网络模型的参数，得到所述风格迁移模型。在一个可选的实现方式中，所述根据所述内容图像、所述第二风格化图像以及所述第三风格化图像的关联特征，对所述神经网络模型进行训练，得到所述风格迁移模型的步骤，包括：对所述内容图像、所述第二风格化图像以及所述第三风格化图像进行语义分割，得到多个语义类别；根据所述内容图像、所述第二风格化图像以及所述第三风格化图像，计算各所述语义类别对应的损失函数；根据各所述语义类别对应的损失函数，确定所述神经网络模型的参数，得到所述风格迁移模型。在一个可选的实现方式中，所述根据所述内容图像、所述第二风格化图像以及所述第三风格化图像的关联特征，对所述神经网络模型进行训练，得到所述风格迁移模型的步骤，包括：对所述内容图像、所述第二风格化图像以及所述第三风格化图像进行语义分割，得到多个语义类别；根据所述第三风格化图像以及所述内容图像中各语义类别对应的内容特征差异，确定内容损失函数；根据所述第三风格化图像以及所述第二风格化图像中各语义类别对应的风格特征差异，确定风格损失函数；根据所述第三风格化图像以及所述第二风格化图像中各语义类别对应的像素点特征差异，确定像素损失函数；根据所述内容损失函数、所述风格损失函数以及所述像素损失函数，确定所述神经网络模型的参数，得到所述风格迁移模型。根据本申请的第二方面，提供一种图像风格迁移装置，所述装置包括：获取模块，被配置为获取待处理图像；风格化模块，被配置为采用风格迁移模型，对所述待处理图像进行处理，得到第一风格化图像；所述风格迁移模型是预先根据内容图像、第二风格化图像以及第三风格化图像进行模型训练得到的，其中，所述第二风格化图像是对所述内容图像进行风格化处理得到的，所述第三风格化图像是采用神经网络模型对所述内容图像进行处理得到的。在一个可选的实现方式中，所述装置还包括：模型训练模块，被配置为获得所述风格迁移模型；所述模型训练模块，包括：获取单元，被配置为获取所述内容图像以及所述第二风格化图像；风格化单元，被配置为采用神经网络模型，对所述内容图像进行处理，得到第三风格化图像；训练单元，被配置为根据所述内容图像、所述第二风格化图像以及所述第三风格化图像的关联特征，对所述神经网络模型进行训练，得到所述风格迁移模型；其中，所述关联特征包括内容特征、风格特征、像素点特征以及语义特征中的至少一种。在一个可选的实现方式中，所述训练单元还被配置为：根据所述第三风格化图像以及所述内容图像的内容特征差异，确定内容损失函数；根据所述第三风格化图像以及所述第二风格化图像的风格特征差异，确定风格损失函数；根据所述第三风格化图像以及所述第二风格化图像的像素点特征差异，确定像素损失函数；根据所述内容损失函数、所述风格损失函数以及所述像素损失函数，确定所述神经网络模型的参数，得到所述风格迁移模型。在一个可选的实现方式中，所述训练单元还被配置为：对所述内容图像、所述第二风格化图像以及所述第三风格化图像进行语义分割，得到多个语义类别；根据所述内容图像、所述第二风格化图像以及所述第三风格化图像，计算各所述语义类别对应的损失函数；根据各所述语义类别对应的损失函数，确定所述神经网络模型的参数，得到所述风格迁移模型。在一个可选的实现方式中，所述训练单元还被配置为：对所述内容图像、所述第二风格化图像以及所述第三风格化图像进行语义分割，得到多个语义类别；根据所述第三风格化图像以及所述内容图像中各语义类别对应的内容特征差异，确定内容损失函数；根据所述第三风格化图像以及所述第二风格化图像中各语义类别对应的风格特征差异，确定风格损失函数；根据所述第三风格化图像以及所述第二风格化图像中各语义类别对应的像素点特征差异，确定像素损失函数；根据所述内容损失函数、所述风格损失函数以及所述像素损失函数，确定所述神经网络模型的参数，得到所述风格迁移模型。根据本申请的第三方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行如第一方面所述的图像风格迁移方法。根据本申请的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面所述的图像风格迁移方法。根据本申请的第五方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面所述的图像风格迁移方法。本申请提供的技术方案可以包括以下有益效果：在本申请中，提供了一种图像风格迁移方法、装置、电子设备及存储介质，其中图像风格迁移方法包括：获取待处理图像；采用风格迁移模型，对待处理图像进行处理，得到第本文档来自技高网...

【技术保护点】
1.一种图像风格迁移方法，其特征在于，所述方法包括：获取待处理图像；采用风格迁移模型，对所述待处理图像进行处理，得到第一风格化图像；所述风格迁移模型是预先根据内容图像、第二风格化图像以及第三风格化图像进行模型训练得到的，其中，所述第二风格化图像是对所述内容图像进行风格化处理得到的，所述第三风格化图像是采用神经网络模型对所述内容图像进行处理得到的。

【技术特征摘要】
1.一种图像风格迁移方法，其特征在于，所述方法包括：获取待处理图像；采用风格迁移模型，对所述待处理图像进行处理，得到第一风格化图像；所述风格迁移模型是预先根据内容图像、第二风格化图像以及第三风格化图像进行模型训练得到的，其中，所述第二风格化图像是对所述内容图像进行风格化处理得到的，所述第三风格化图像是采用神经网络模型对所述内容图像进行处理得到的。2.根据权利要求1所述的图像风格迁移方法，其特征在于，在所述采用风格迁移模型，对所述待处理图像进行处理，得到第一风格化图像的步骤之前，还包括：获得所述风格迁移模型；所述获得所述风格迁移模型的步骤，包括：获取所述内容图像以及所述第二风格化图像；采用神经网络模型，对所述内容图像进行处理，得到第三风格化图像；根据所述内容图像、所述第二风格化图像以及所述第三风格化图像的关联特征，对所述神经网络模型进行训练，得到所述风格迁移模型；其中，所述关联特征包括内容特征、风格特征、像素点特征以及语义特征中的至少一种。3.根据权利要求2所述的图像风格迁移方法，其特征在于，所述根据所述内容图像、所述第二风格化图像以及所述第三风格化图像的关联特征，对所述神经网络模型进行训练，得到所述风格迁移模型的步骤，包括：根据所述第三风格化图像以及所述内容图像的内容特征差异，确定内容损失函数；根据所述第三风格化图像以及所述第二风格化图像的风格特征差异，确定风格损失函数；根据所述第三风格化图像以及所述第二风格化图像的像素点特征差异，确定像素损失函数；根据所述内容损失函数、所述风格损失函数以及所述像素损失函数，确定所述神经网络模型的参数，得到所述风格迁移模型；或者所述根据所述内容图像、所述第二风格化图像以及所述第三风格化图像的关联特征，对所述神经网络模型进行训练，得到所述风格迁移模型的步骤，包括：对所述内容图像、所述第二风格化图像以及所述第三风格化图像进行语义分割，得到多个语义类别；根据所述内容图像、所述第二风格化图像以及所述第三风格化图像，计算各所述语义类别对应的损失函数；根据各所述语义类别对应的损失函数，确定所述神经网络模型的参数，得到所述风格迁移模型。4.根据权利要求2所述的图像风格迁移方法，其特征在于，所述根据所述内容图像、所述第二风格化图像以及所述第三风格化图像的关联特征，对所述神经网络模型进行训练，得到所述风格迁移模型的步骤，包括：对所述内容图像、所述第二风格化图像以及所述第三风格化图像进行语义分割，得到多个语义类别；根据所述第三风格化图像以及所述内容图像中各语义类别对应的内容特征差异，确定内容损失函数；根据所述第三风格化图像以及所述第二风格化图像中各语义类别对应的风格特征差异，确定风格损失函数；根据所述第三风格化图像以及所述第二风格化图像中各语义类别对应的像素点特征差异，确定像素损失函数；根据所述内容损失函数、所述风格损失函数以及所述像素损失函数，确定所述神经网络模型的参数，得到所述风格迁移模型。5.一种...

【专利技术属性】
技术研发人员：李强，张雄，张雷，郑文，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京,11