图像风格转换方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种图像风格转换方法、装置、电子设备及存储介质，其中，方法包括：提取待转换图像的全局特征；根据全局特征得到待转换图像的背景特征和前景特征；根据背景特征、前景特征和目标风格转换图像对待转换图像进行风格转换，得到风格转换图像。由此，解决了未区分前景和背景，容易对图像中的内容造成过度的破坏，导致转换图像失去原有含义，风格转换的实用性较低、使用体验较低的问题。

Image style conversion method, device, electronic equipment and storage medium

【技术实现步骤摘要】
图像风格转换方法、装置、电子设备及存储介质
本专利技术涉及图像处理
，特别涉及一种图像风格转换方法、装置、电子设备及存储介质。
技术介绍
图像风格转换是指利用算法模型学习著名画作的风格，以把其应用到另外一幅图像上的技术，如将普通用户上传的图像自动变换为具有艺术家风格的图像。其中，风格转换使用卷积层的中间特征还原出对应的原始图像，并且利用内容损失还原图像内容和图像风格。相关技术中，在风格转换过程中，不注重图像前景和背景的区分，而是直接将风格转换作用在整幅图像上，容易对原始图像中的内容造成过度的破坏，导致转换后图像失去原有含义，尤其是广告海报，一旦整体风格的过度转换，那么海报将失去使用价值。
技术实现思路
本专利技术提供一种图像风格转换方法、装置、电子设备及存储介质，以解决了未区分前景和背景，容易对图像中的内容造成过度的破坏，导致转换图像失去原有含义，风格转换的实用性较低、使用体验较低的问题。本专利技术第一方面实施例提供一种图像风格转换方法，包括以下步骤：提取待转换图像的全局特征；根据所述全局特征得到所述待转换图像的背景特征和前景特征；根据所述背景特征、所述前景特征和目标风格转换图像对所述待转换图像进行风格转换，得到风格转换图像。本专利技术第二方面实施例提供一种图像风格转换装置，包括：提取模块，用于提取待转换图像的全局特征；获取模块，用于根据所述全局特征得到所述待转换图像的背景特征和前景特征；转换模块，用于根据所述背景特征、所述前景特征和目标风格转换图像对所述待转换图像进行风格转换，得到风格转换图像。本专利技术第三方面实施例提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行如上述实施例所述的图像风格转换方法。本专利技术第四方面实施例提供一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的图像风格转换方法。由背景特征、前景特征和目标风格转换图像对待转换图像进行风格转换，获取风格转换图像，在前景信息不过度破坏的同时，注重背景的转换，有效保留待转换图像的原有含义，提高图像转换效果，并且提高风格转换的适用性，提升用户使用体验。由此，解决了未区分前景和背景，容易对图像中的内容造成过度的破坏，导致转换图像失去原有含义，风格转换的实用性较低、使用体验较低的问题。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的图像风格转换方法的流程图；图2为根据本专利技术一个实施例的待转换图像的示意图；图3为根据本专利技术一个实施例的风格转换图像的示意图；图4为根据本专利技术另一个实施例的风格转换图像的示意图；图5为根据本专利技术又一个实施例的风格转换图像的示意图；图6为根据本专利技术一个具体实施例的图像风格转换方法的原理示意图；图7为根据本专利技术实施例的图像风格转换装置的结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参考附图描述本专利技术实施例的图纸的图像风格转换方法、装置、电子设备及存储介质。针对上述
技术介绍
中心提到的由于不注重图像前景和背景的区分，而是直接将风格转换作用在整幅图像上，容易对原始图像中的内容造成过度的破坏，导致转换后图像失去原有含义的问题，本专利技术提出了一种图像风格转换方法。在该方法中，由背景特征、前景特征和目标风格转换图像对待转换图像进行风格转换，获取风格转换图像，在前景信息不过度破坏的同时，注重背景的转换，有效保留待转换图像的原有含义，提高图像转换效果，并且提高风格转换的适用性，提升用户使用体验。由此，解决了未区分前景和背景，容易对图像中的内容造成过度的破坏，导致转换图像失去原有含义，风格转换的实用性较低、使用体验较低的问题。具体而言，图1为本专利技术实施例所提供的一种图像风格转换方法的流程示意图。如图1所示，该图像风格转换方法包括以下步骤：在步骤S101中，提取待转换图像的全局特征。其中，在本专利技术的一个实施例中，提取待转换图像的全局特征，包括：通过风格转换网络的编码网络提取待转换图像的全局特征。可以理解的是，本专利技术实施例可以为全局特征融合网络，如图2所示，以海报为例，其用于海报背景风格转换的新型网络模型。具体地，将待转换图像如原始海报图像和目标风格图像输入到网络模型中，经过计算可以获得风格转换图像。由于在海报风格转换中需要更加注重背景的转换，同时保留原图像的含义，那么要求原图像中的前景信息不能被过度的破坏。因此，本专利技术实施例先提取待转换图像的全局特征，全局特征中包含有更多的图像背景信息，前景信息相对被弱化。例如，算法模型分为两个部分，第一部分为风格转换网络，以用于图像风格的转换。其中，本专利技术实施例可以使用编码网络提取图像中的全局特征。需要说明的是，相比较于现有一些技术中背景区分是基于标签和颜色域的有监督的人为标定和区分方法，存在受标签类别制约而不能识别相应背景的问题，本专利技术实施例的背景是基于图像自身的全局特征，全局特征能够更好的表征整体图像的特点，从而可以包含更多背景信息，即本专利技术实施例的背景区别是无监督的，不存在因人为标定而造成的局限性，有效提升适用性的同时，保证转换效果。在步骤S102中，根据全局特征得到待转换图像的背景特征和前景特征。其中，在本专利技术的一个实施例中，根据全局特征得到待转换图像的背景特征和前景特征，包括：通过风格转换网络的解码网络对全局特征进行重构，生成用于风格转换特征；对全局特征进行特征调整，并与风格转换特征进行元素级求和，融合得到背景特征与前景特征。可以理解的是，在使用编码网络提取图像中的全局特征后，解码网络对编码网络提取的特征进行重构，同时编码网络与解码网络通过跳变连接相连，重用中间层特征，并且通过全局特征融合，利用全局特征包含更多图像背景信息的优势来强化背景信息，同时弱化前景信息，以实现下述的海报背景风格的转换。需要说明的是，相比较于现有技术中使用的是检测技术，区分背景的方式停留在图像层面，本专利技术实施例区分背景的方式为特征提取，使用特征可以更好地区分背景，而不是仅仅停留在图像的层面，因此在技术层面，完全是两种不同的技术，有效提升转换的可靠性和准确性。在步骤S103中，根据背景特征、前景特征和目标风格转换图像对待转换图像进行风格转换，得到风格转换图像。如图3、图4和图5所示，在将全局特征通过上采样以及特征融合(下面会进行详细描述)等本文档来自技高网...

【技术保护点】
1.一种图像风格转换方法，其特征在于，包括以下步骤：/n提取待转换图像的全局特征；/n根据所述全局特征得到所述待转换图像的背景特征和前景特征；以及/n根据所述背景特征、所述前景特征和目标风格转换图像对所述待转换图像进行风格转换，得到风格转换图像。/n

【技术特征摘要】
1.一种图像风格转换方法，其特征在于，包括以下步骤：
提取待转换图像的全局特征；
根据所述全局特征得到所述待转换图像的背景特征和前景特征；以及
根据所述背景特征、所述前景特征和目标风格转换图像对所述待转换图像进行风格转换，得到风格转换图像。


2.根据权利要求1所述的方法，其特征在于，所述提取待转换图像的全局特征，包括：
通过风格转换网络的编码网络提取所述待转换图像的全局特征。


3.根据权利要求2所述的方法，其特征在于，所述根据所述全局特征得到所述待转换图像的背景特征和前景特征，包括：
通过所述风格转换网络的解码网络对所述全局特征进行重构，生成用于风格转换特征；
对所述全局特征进行特征调整，并与所述风格转换特征进行元素级求和，融合得到所述背景特征与所述前景特征。


4.根据权利要求4所述的方法，其特征在于，所述解码网络通过跳变连接与所述编码网络相连，且所述风格转换网络中特征层之间使用残差连接。


5.根据权利要求2所述的方法，其特征在于，在通过所述风格转换网络的编码网络所述提取所述待转换图像的全局特征之前，还包括：
根据所述风格转换图像、所述待转换图像与所述目标风格图像间的最大平均差异值训练所述风格转换网络。<...

【专利技术属性】
技术研发人员：张超，高玮，杨超龙，胡浩，利啟东，赵茜，黄聿，梁容铭，
申请(专利权)人：广东博智林机器人有限公司，
类型：发明
国别省市：广东;44