图像风格迁移方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种图像风格迁移方法、装置、电子设备及存储介质。该方法包括：将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像；获取所述待处理图像的第一下采样图像，输入全图风格迁移模型，得到全图风格化图像；获取所述待处理图像的第二下采样图像，将所述全图风格化图像采样至所述第二下采样图像的大小，得到第一采样图像；以所述第二下采样图像作为引导图、所述第一采样图像作为输入图进行引导滤波处理，得到滤波图像；将所述滤波图像上采样至所述待处理图像的大小后的图像与所述人脸风格化图像进行融合，得到目标风格化图像。利用本公开实施例方案，可以提高图像风格迁移后的风格一致性，提高处理效率。

【技术实现步骤摘要】
图像风格迁移方法、装置、电子设备及存储介质
本公开涉及图像数据处理
，尤其涉及一种图像风格迁移方法、装置、电子设备及存储介质。
技术介绍
目前，用户可以使用手机等终端设备进行拍照或视频拍摄等，然后可以根据不同的喜好将图像(视频可以视为连续图像的集合)转换为不同风格效果，进而实现用户不同的风格体验。一般的，终端设备进行不同风格的迁移转换，其风格模型的计算量通常与图像的分辨率直接相关。为减少终端计算量、提高终端处理效率，目前在人像图像风格迁移处理时，通常会对人脸区域进行裁剪后单独处理，然后再融合到原图像中。然而，这样常常会造成图像中局部区域风格一致性较差，出现过渡不自然引起的视觉效果较差的问题。
技术实现思路
本公开提供一种图像风格迁移方法、装置、电子设备及存储介质，以至少解决相关技术中图像风格迁移后局部图像风格一致性较差的技术问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种图像风格迁移方法，包括：将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像；获取所述待处理图像的第一下采样图像，将所述第一下采样图像输入全图风格迁移模型，得到与所述人脸风格化图像的风格类型相同的全图风格化图像；获取所述待处理图像的第二下采样图像，将所述全图风格化图像采样至所述第二下采样图像的大小，得到第一采样图像；以所述第二下采样图像作为引导图、所述第一采样图像作为输入图进行引导滤波处理，得到滤波图像；将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像。可选的，所述方法中，所述以所述第二下采样图像作为引导图、所述第一采样图像作为输入图进行引导滤波处理，得到滤波图像包括：将所述第一采样图像转换为第一YUV图像，提取所述第一YUV图像的Y通道，得到第一灰度图，将所述第二下采样图像转换为第二YUV图像，提取所述第二YUV图像的Y通道，得到第二灰度图；以所述第二灰度图作为引导图、所述第一灰度图作为输入图进行Y通道的引导滤波处理，得到引导滤波后Y通道；将所述引导滤波后Y通道与所述第二YUV图像中的UV通道进行合并，得到合并后YUV图像；将所述合并后YUV图像转换为RGB图像，得到滤波图像。可选的，所述方法中，所述将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像包括：将所述滤波图像上采样至所述待处理图像的大小，得到第二采样图像；确定所述第二采样图像中与所述人脸风格化图像对应的人脸区域图像；根据设置的所述人脸风格化图像和所述人脸区域图像的融合权重值，对所述人脸风格化图像和所述人脸区域图像进行融合处理，得到目标风格化图像。可选的，所述方法中，所述第二下采样图像的大小与所述待处理图像的大小相同；将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像包括：将所述滤波图像与所述人脸风格化图像进行融合，得到目标风格化图像。根据本公开实施例的第二方面，还供一种图像风格迁移装置，包括：人脸风格模块，其被配置为，将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像；全图风格模块，其被配置为，获取所述待处理图像的第一下采样图像，将所述第一下采样图像输入全图风格迁移模型，得到与所述人脸风格化图像的风格类型相同的全图风格化图像；第一采样模块，其被配置为，获取所述待处理图像的第二下采样图像，将所述全图风格化图像采样至所述第二下采样图像的大小，得到第一采样图像；引导滤波模块，其被配置为，以所述第二下采样图像作为引导图、所述第一采样图像作为输入图进行引导滤波处理，得到滤波图像；融合模块，其被配置为，将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像。可选的，所述装置中，所述引导滤波模块包括：转换模块，用于将所述第一采样图像转换为第一YUV图像，提取所述第一YUV图像的Y通道，得到第一灰度图，将所述第二下采样图像转换为第二YUV图像，提取所述第二YUV图像的Y通道，得到第二灰度图；通道滤波模块，用于以所述第二灰度图作为引导图、所述第一灰度图作为输入图进行Y通道的引导滤波处理，得到引导滤波后Y通道；合并模块，用于将所述引导滤波后Y通道与所述第二YUV图像中的UV通道进行合并，得到合并后YUV图像；还原模块，用于将所述合并后YUV图像转换为RGB图像，得到滤波图像。可选的，所述装置中，所述融合模块包括：上采样模块，用于将所述滤波图像上采样至所述待处理图像的大小，得到第二采样图像；人脸区域模块，用于确定所述第二采样图像中与所述人脸风格化图像对应的人脸区域图像；权重融合模块，用于根据设置的所述人脸风格化图像和所述人脸区域图像的融合权重值，对所述人脸风格化图像和所述人脸区域图像进行融合处理，得到目标风格化图像。可选的，所述装置中，所述引导滤波模块中的第二下采样图像的大小与所述待处理图像的大小相同，所述融合模块将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像包括：将所述滤波图像与所述人脸风格化图像进行融合，得到目标风格化图像。本公开实施例的第三方面，还提供一种电子设备，包括：至少一个处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现本公开第一方面任一所述的方法。本公开实施例的第四方面，还提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令被电子设备的处理器执行时，使得所述电子设备能够执行本公开第一方面任一所述的方法。本公开实施例的第五方面，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开第一方面任一所述的方法。本公开的实施例提供的技术方案至少带来以下有益效果：本公开实施例方案中，可以对人脸区域和全图均进行风格化处理，之后再进行融合。人脸风格化图像与全图风格化图像融合后可以有效减少融合后的图像融合交界区域的过渡差异，有效提升融合后目标风格化图像风格的一致性。并且，本公开实施例中，由于在全图风格化图像的风格化处理时使用的是待处理图像下采样的第一下采样图像，将原始的待处理图像较大的分辨率缩放至小图，再输入全图风格迁移模型，可以减少全图风格化处理的数据处理量，提高处理效率。本公开实施方案可以更加适应于例如手机的硬件条件有限的终端设备上，运行效率提升更为明显。本公开提供的技术方案，不仅可以解决风格一致性差的问题，同时也可解决全图风格化运行效率低的问题。应当理解的是，以上的一般描述和后文的细节描本文档来自技高网...

【技术保护点】
1.一种图像风格迁移方法，其特征在于，包括：/n将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像；/n获取所述待处理图像的第一下采样图像，将所述第一下采样图像输入全图风格迁移模型，得到与所述人脸风格化图像的风格类型相同的全图风格化图像；/n获取所述待处理图像的第二下采样图像，将所述全图风格化图像采样至所述第二下采样图像的大小，得到第一采样图像；/n以所述第二下采样图像作为引导图、所述第一采样图像作为输入图进行引导滤波处理，得到滤波图像；/n将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像。/n

【技术特征摘要】
1.一种图像风格迁移方法，其特征在于，包括：
将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像；
获取所述待处理图像的第一下采样图像，将所述第一下采样图像输入全图风格迁移模型，得到与所述人脸风格化图像的风格类型相同的全图风格化图像；
获取所述待处理图像的第二下采样图像，将所述全图风格化图像采样至所述第二下采样图像的大小，得到第一采样图像；
以所述第二下采样图像作为引导图、所述第一采样图像作为输入图进行引导滤波处理，得到滤波图像；
将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像。


2.根据权利要求1所述的方法，其特征在于，所述以所述第二下采样图像作为引导图、所述第一采样图像作为输入图进行引导滤波处理，得到滤波图像包括：
将所述第一采样图像转换为第一YUV图像，提取所述第一YUV图像的Y通道，得到第一灰度图，将所述第二下采样图像转换为第二YUV图像，提取所述第二YUV图像的Y通道，得到第二灰度图；
以所述第二灰度图作为引导图、所述第一灰度图作为输入图进行Y通道的引导滤波处理，得到引导滤波后Y通道；
将所述引导滤波后Y通道与所述第二YUV图像中的UV通道进行合并，得到合并后YUV图像；
将所述合并后YUV图像转换为RGB图像，得到滤波图像。


3.根据权利要求1所述的方法，其特征在于，所述将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像包括：
将所述滤波图像上采样至所述待处理图像的大小，得到第二采样图像；
确定所述第二采样图像中与所述人脸风格化图像对应的人脸区域图像；
根据设置的所述人脸风格化图像和所述人脸区域图像的融合权重值，对所述人脸风格化图像和所述人脸区域图像进行融合处理，得到目标风格化图像。


4.根据权利要求1所述的方法，其特征在于，所述第二下采样图像的大小与所述待处理图像的大小相同；
将所述滤波图像上采样至所述待处理图像的大小，得到上采样图像，将所述上采样图像与所述人脸风格化图像进行融合，得到目标风格化图像包括：将所述滤波图像与所述人脸风格化图像进行融合，得到目标风格化图像。


5.一种图像风格迁移装置，其特征在于，包括：
人脸风格模块，其被配置为，将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格...

【专利技术属性】
技术研发人员：张雷，方慕园，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11