图像真实感风格迁移方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种图像真实感风格迁移方法、装置、设备及存储介质，该方法包括获取训练数据集；提取风格图像的风格特征和内容图像的内容特征，并构建基于流模型的神经网络模型；基于风格特征和内容特征，确定神经网络模型的风格损失和内容损失，对神经网络模型进行训练，获得图像真实感风格迁移模型；利用所述图像真实感风格迁移模型对风格图和内容图进行图像真实感风格迁移处理，获得风格化的内容图。本发明专利技术通过构建基于流模型的神经网络模型，并根据风格特征和内容特征，确定风格损失和内容损失，以获得图像真实感风格迁移模型，进而可利用该模型对风格图和内容图进行风格化处理，提高了图像真实感风格迁移的处理速度以及真实感呈现效果。以及真实感呈现效果。以及真实感呈现效果。

【技术实现步骤摘要】
图像真实感风格迁移方法、装置、设备及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及到一种图像真实感风格迁移方法、装置、设备及存储介质。

技术介绍

[0002]随着数字媒体的快速发展，特别是数字创意在制作的过程中，图像真实感风格迁移成为非常重要的挑战。例如在虚拟拍摄的过程中，多个LED屏幕中显示的内容因为硬件条件的不同而产生不同的颜色从而导致最终呈现的效果在颜色上存在差异。同时，虚拟内容与实际场景中的内容融合的过程中，也存在风格不一致的现象。因此，如何以风格图作为参考，将风格图中的风格真实的迁移到内容图中，从而实现真实感图像的迁移。
[0003]然而，现有的风格迁移方法具有以下不足之处，现有的风格迁移方法在超大分辨率图像处理时需要耗费较长的处理时间；现有的风格迁移方法大多只能实现艺术化的风格迁移，难以实现图像真实感的风格迁移；现有方法在图像真实感风格迁移的过程中，通常会出现大量的伪影，从而降低了图像真实感风格迁移的效果。因此，如何提高图像真实感风格迁移的处理速度以及呈现效果，是一个亟需解决的技术问题。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]本专利技术的主要目的在于提供一种图像真实感风格迁移方法、装置、设备及存储介质，旨在解决目前图像真实感风格迁移的处理速度以及呈现效果不高的技术问题。
[0006]为实现上述目的，本专利技术提供一种图像真实感风格迁移方法，所述方法包括以下步骤：
[0007]获取训练数据集；其中，所述训练数据集包括风格图像集和内容图像集，所述风格图像集与所述内容图像集中的图像相互对应；
[0008]提取所述风格图像的风格特征和所述内容图像的内容特征，并根据所述风格特征和所述内容特征的特征尺度，构建基于流模型的神经网络模型；
[0009]基于所述风格特征和所述内容特征，确定所述神经网络模型的风格损失和内容损失，并利用所述风格特征和所述内容特征对所述神经网络模型进行训练，获得图像真实感风格迁移模型；
[0010]在接收到风格图和内容图时，利用所述图像真实感风格迁移模型对所述风格图和所述内容图进行图像真实感风格迁移处理，获得风格化的内容图。
[0011]可选的，所述获取训练数据集步骤，具体包括：
[0012]获取测试风格图和测试内容图，并对所述测试风格图和所述测试内容图进行数据增强处理，获得风格图像集和内容图像集；
[0013]对所述风格图像集中的测试风格图和所述内容图像集中的测试内容图进行随机
配对，以使所述风格图像集与所述内容图像集中的图像相互对应。
[0014]可选的，所述根据所述风格特征或所述内容特征的特征尺度，构建基于流模型的神经网络模型步骤，具体包括：
[0015]根据所述风格特征或所述内容特征的特征尺度，生成每个特征尺度对应的流模型和卷积核；
[0016]将前一特征尺度的卷积核和当前特征尺度对应的流模型连接至当前特征尺度的卷积核；
[0017]根据所述风格图像和所述内容图像，生成图像对应的流模型和卷积核；
[0018]将末尾处的特征尺度的卷积核和图像的流模型连接至图像的卷积核，获得基于流模型的神经网络模型。
[0019]可选的，所述特征尺度对应的流模型用于执行自适应规范化处理，并将输入的风格特征和内容特征融合为风格化特征；其中，自适应规范化处理的表达式为：
[0020][0021]式中，x代表内容特征张量，y代表风格特征张量，μ(x)代表内容特征张量的均值，μ(y)代表风格特征张量的均值，σ(x)代表内容特征张量的方差，σ(y)代表风格特征张量的方差。
[0022]可选的，在执行所述自适应规范化处理步骤之前，所述流模型还用于对接收的风格特征和内容特征依次执行前项的挤压、激活规范化、可逆二维卷积和仿射耦合处理；在执行所述自适应规范化处理步骤之后，所述流模型还用于对生成的风格化特征执行逆向的仿射耦合、可逆二维卷积、激活规范化和挤压处理。
[0023]可选的，所述风格损失为每个特征尺度的风格化特征和风格特征的均方误差损失和，所述内容损失为每个特征尺度的风格化特征和内容特征的均方误差。
[0024]可选的，所述方法还包括：
[0025]对所述内容图进行上采样处理，获得第一风格化图像，并利用高斯模糊处理，提取所述高分辨率内容图在YUV空间上的UV通道；
[0026]对所述风格图和内容图进行自适应规范化处理，获得第二风格化图像，提取YUV空间上的Y通道；
[0027]拼接所述UV通道和所述Y通道，获得高分辨率YUV图像，并将所述高分辨率YUV图像转换为高分辨率RGB图像。
[0028]此外，为了实现上述目的，本专利技术还提供了一种图像真实感风格迁移装置，所述图像真实感风格迁移装置包括：
[0029]获取模块，用于获取训练数据集；其中，所述训练数据集包括风格图像集和内容图像集，所述风格图像集与所述内容图像集中的图像相互对应；
[0030]构建模块，用于提取所述风格图像的风格特征和所述内容图像的内容特征，并根据所述风格特征和所述内容特征的特征尺度，构建基于流模型的神经网络模型；
[0031]训练模块，用于基于所述风格特征和所述内容特征，确定所述神经网络模型的风格损失和内容损失，并利用所述风格特征和所述内容特征对所述神经网络模型进行训练，获得图像真实感风格迁移模型；
[0032]处理模块，用于在接收到风格图和内容图时，利用所述图像真实感风格迁移模型对所述风格图和所述内容图进行图像真实感风格迁移处理，获得风格化的内容图。
[0033]此外，为了实现上述目的，本专利技术还提供了一种图像真实感风格迁移设备，所述图像真实感风格迁移设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像真实感风格迁移程序，所述图像真实感风格迁移程序被所述处理器执行时实现如上所述的图像真实感风格迁移方法的步骤。
[0034]此外，为了实现上述目的，本专利技术还提供了一种存储介质，所述存储介质上存储有图像真实感风格迁移程序，所述图像真实感风格迁移程序被处理器执行时实现如上所述的图像真实感风格迁移方法的步骤。
[0035]此外，为了实现上述目的，本专利技术还提供了一种存储介质，所述存储介质上存储有图像真实感风格迁移程序，所述图像真实感风格迁移程序被处理器执行时实现上述的图像真实感风格迁移方法的步骤。
[0036]本专利技术实施例提出的一种图像真实感风格迁移方法、装置、设备及存储介质，该方法包括获取训练数据集；提取风格图像的风格特征和内容图像的内容特征，并构建基于流模型的神经网络模型；基于风格特征和内容特征，确定神经网络模型的风格损失和内容损失，对所述神经网络模型进行训练，获得图像真实感风格迁移模型；在接收到风格图和内容图时，利用所述图像真实感风格迁移模型对风格图和内容图进行图像真实感风格迁移处理，获得风格化的内容图。本专利技术通过构建本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像真实感风格迁移方法，其特征在于，所述方法包括以下步骤：获取训练数据集；其中，所述训练数据集包括风格图像集和内容图像集，所述风格图像集与所述内容图像集中的图像相互对应；提取所述风格图像的风格特征和所述内容图像的内容特征，并根据所述风格特征和所述内容特征的特征尺度，构建基于流模型的神经网络模型；基于所述风格特征和所述内容特征，确定所述神经网络模型的风格损失和内容损失，并利用所述风格特征和所述内容特征对所述神经网络模型进行训练，获得图像真实感风格迁移模型；在接收到风格图和内容图时，利用所述图像真实感风格迁移模型对所述风格图和所述内容图进行图像真实感风格迁移处理，获得风格化的内容图。2.如权利要求1所述的图像真实感风格迁移方法，其特征在于，所述获取训练数据集步骤，具体包括：获取测试风格图和测试内容图，并对所述测试风格图和所述测试内容图进行数据增强处理，获得风格图像集和内容图像集；对所述风格图像集中的测试风格图和所述内容图像集中的测试内容图进行随机配对，以使所述风格图像集与所述内容图像集中的图像相互对应。3.如权利要求1所述的图像真实感风格迁移方法，其特征在于，所述根据所述风格特征或所述内容特征的特征尺度，构建基于流模型的神经网络模型步骤，具体包括：根据所述风格特征或所述内容特征的特征尺度，生成每个特征尺度对应的流模型和卷积核；将前一特征尺度的卷积核和当前特征尺度对应的流模型连接至当前特征尺度的卷积核；根据所述风格图像和所述内容图像，生成图像对应的流模型和卷积核；将末尾处的特征尺度的卷积核和图像的流模型连接至图像的卷积核，获得基于流模型的神经网络模型。4.如权利要求3所述的图像真实感风格迁移方法，其特征在于，所述特征尺度对应的流模型用于执行自适应规范化处理，并将输入的风格特征和内容特征融合为风格化特征；其中，自适应规范化处理的表达式为：式中，x代表内容特征张量，y代表风格特征张量，μ(x)代表内容特征张量的均值，μ(y)代表风格特征张量的均值，σ(x)代表内容特征张量的方差，σ(y)代表风格特征张量的方差。5.如权利要求4所述的图像真实感风格迁移方法，其特征在于，在执行所述自适应规范化处理步骤之前，所述流模型还用于对接收的风格特征和内容特征依次执...

【专利技术属性】
技术研发人员：陈尧森，温序铭，
申请(专利权)人：成都索贝数码科技股份有限公司，
类型：发明
国别省市：