图像处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种图像处理方法、装置、设备及存储介质，其中，方法应用于图像处理模型，图像处理模型包括风格编码器、第一生成子网络和第二生成子网络；风格编码器用于将风格样例或内容图像映射为风格编码；第一生成子网络包括全卷积网络，用于生成内容图像的第一内容特征；第二生成子网络用于基于风格编码和第一内容特征生成内容图像的风格图像，方法包括：风格编码器生成内容图像的风格编码，内容图像为从待处理的图像帧集合中确定的图像，图像帧集合中的图像帧具有先后时序关系；基于内容图像，第一生成子网络生成能够重建风格图像的结构特征的第一内容特征；基于第一内容特征和风格编码，第二生成子网络生成风格图像。第二生成子网络生成风格图像。第二生成子网络生成风格图像。

【技术实现步骤摘要】
图像处理方法、装置、设备及存储介质


[0001]本申请涉及但不限于计算机视觉
，尤其涉及一种图像处理方法、装置、设备、存储介质。

技术介绍

[0002]人像视频风格化旨在将视频中的人像区域渲染为指定的艺术风格，在日常生产生活中具有诸如头像设计、动漫海报广告制作、虚拟主播运营等广泛的应用。
[0003]目前行业主流的一类技术采用图像转换的方法，训练网络学习真实人脸图像和艺术人像图像之间的映射关系，这类方法依赖大量的训练数据只适合小尺寸图像，难以满足实际需求，更不适合运用到视频领域。另一类技术基于StyleGAN在小规模艺术人像图像数据集上迁移学习实现高清人像的风格化，但是受限于StyleGAN本身只能处理固定尺寸的图像且要求人脸对齐，也不适合运用到视频领域。
[0004]如何设计一个框架支持无需人脸对齐的高清人像视频风格化是一个难题。

技术实现思路

[0005]有鉴于此，本申请实施例至少提供一种图像处理方法、装置、设备及存储介质。
[0006]本申请实施例的技术方案是这样实现的：<br/>[0007]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法应用于图像处理模型，所述图像处理模型包括风格编码器、第一生成子网络和第二生成子网络；所述风格编码器用于将风格样例或内容图像映射为风格编码；所述第一生成子网络包括全卷积网络，用于生成所述内容图像的第一内容特征；所述第二生成子网络用于基于所述风格编码和所述第一内容特征生成所述内容图像的风格图像，所述方法包括：所述风格编码器生成所述内容图像的风格编码，所述内容图像为从待处理的图像帧集合中确定的图像，所述图像帧集合中的图像帧具有先后时序关系；基于所述内容图像，所述第一生成子网络生成能够重建所述风格图像的结构特征的第一内容特征；基于所述第一内容特征和所述风格编码，所述第二生成子网络生成所述风格图像。2.根据权利要求1所述的方法，其特征在于，所述风格编码包括不同分辨率下的风格编码，所述基于所述第一内容特征和所述风格编码，利用所述第二生成子网络生成所述风格图像，包括：利用所述第一生成子网络对所述内容图像进行特征提取，得到不同分辨率下的第三内容特征；基于所述第一内容特征、所述不同分辨率下的第三内容特征和所述不同分辨率下的风格编码，利用所述第二生成子网络生成所述风格图像。3.根据权利要求2所述的方法，其特征在于，所述第三内容特征包括H个分辨率下的内容特征，所述第二生成子网络包括分辨率从低到高依次连接的K层分辨率层，其中，所述K层分辨率层中的前H层的分辨率与所述H个分辨率一一对应；所述基于所述第一内容特征、所述不同分辨率下的第三内容特征和所述不同分辨率下的风格编码，利用所述第二生成子网络生成所述风格图像，包括：基于所述第一内容特征、首个分辨率层下的风格编码和首个分辨率层下的第三内容特征，利用所述K层分辨率层中的首个分辨率层生成所述首个分辨率层的输出特征；基于第i层分辨率层的输出特征、第i+1层分辨率层下的风格编码和第i+1层分辨率层下的第三内容特征，利用所述第i+1层分辨率层生成所述第i+1层分辨率层的输出特征，其中，i的取值范围为1到H
‑
1；基于第j层分辨率层的输出特征和第j+1层分辨率层下的风格编码，利用所述第j+1层分辨率层生成所述第j+1层分辨率层的输出特征，其中，j的取值范围为H到K
‑
1；基于第H层分辨率层的输出特征，生成所述风格图像。4.根据权利要求3所述的方法，其特征在于，所述基于第i层分辨率层的输出特征、第i+1层分辨率层下的风格编码和第i+1层分辨率层下的第三内容特征，利用所述第i+1层分辨率层生成所述第i+1层分辨率层的输出特征，包括：基于第i层分辨率层的输出特征和第i+1层分辨率层下的风格编码，利用所述第i+1层分辨率层生成所述第i+1层分辨率层的第一中间特征；基于所述第i+1层分辨率层的第一中间特征和第i+1层分辨率层下的第三内容特征，利用所述第i+1层分辨率层生成所述第i+1层分辨率层的输出特征。5.根据权利要求4所述的方法，其特征在于，所述第一生成子网络包括特征提取模块、残差模块和残差调整模块，所述基于所述内容图像，利用所述第一生成子网络生成能够重
建所述风格图像的结构特征的第一内容特征，包括：基于所述风格样例，利用所述风格编码器获取所述内容图像的结构风格编码；获取所述风格样例的风格程度；利用所述特征提取模块对所述内容图像进行特征提取，得到所述不同分辨率下的第三内容特征；利用所述残差模块对不同分辨率中最低分辨率的所述第三内容特征进行特征提取，得到第二中间特征；基于所述风格程度和所述结构风格编码，利用所述残差调整模块对所述第二中间特征进行调整，生成所述第一内容特征。6.根据权利要求5所述的方法，其特征在于，所述基于所述第i+1层分辨率层的第一中间特征和第i+1层分辨率层下的第三内容特征，利用所述第i+1层分辨率层生成所述第i+1层分辨率层的输出特征，包括：利用所述第i+1层分辨率层确定所述第i+1层分辨率层的第一中间特征和第i+1层分辨率层下的第三内容特征的差异，得到第三特征；利用所述第i+1层分辨率层融合所述第三特征和所述第i+1层分辨率层的第一中间特征，得到第四特征；利用所述第i+1层分辨率层基于所述第四特征和所述风格程度，得到风格掩膜特征；基于所述风格掩膜特征、所述第i+1层分辨率层的第一中间特征和所述第i+1层分辨率层的第三内容特征，利用所述第i+1层分辨率层生成所述第i+1层分辨率层的输出特征。7.一种图像处理模型的训练方法，其特征在于，所述图像处理模型包括已训练的风格编码器、待训练的第一生成子网络和已训练的第二生成子网络；所述风格编码器用于将风格样例或真实样本映射为风格编码；所述第一生成子网络包括全卷积网络，用于生成所述真实样本的第一内容特征；所述第二生成子网络用于基于所述风格编码和所述第一内容特征生成所述真实样本的风格图像；所述方法包括：获取风格样本集合和真实样本集合；基于所述真实样本集合对所述第一生成子网络进行训练，使所述第一生成子网络生成的所述第一内容特征能够重建所述风格图像的结构特征；在对所述第一生成子网络进行训练完成后，基于所述风格样本集合、所述真实样本集合和所述风格编码，对所述图像处理模型进行迭代训练，直至满足第一收敛条件。8.根据权利要求7所述的方法，其特征在于，所述基于所述真实样本集合对所述第一生成子网络进行训练，使所述第一生成子网络生成的所述第一内容特征能够重建所述风格图像的结构特征，包括：利用所述风格编码器生成所述风格编码，其中，所述风格编码包括结构风格编码和颜色风格编码；基于所述结构风格编码和所述真实样本集合，利用生成器的第三生成子网络，生成第二内容特征；所述生成器包括所述风格编码器、第三生成子网络和所述第二生成子网络，所述第三生成子网络用于影响固定尺寸真实样本对应风格图像的结构特征；利用所述第一生成子网络，基于所述真实样本集合，生成所述第一内容特征；
确定各所述第一内容特征与对应的所述第二内容特征之间的第一正则化损失，所述第一正则化损失用于表征所述第一内容特征与所述第二内容特征之间的差异；基于所述第一正则化损失对所述第一生成子网络进行迭代训练，直至满足第二收敛条件。9.根据权利要求8所述的方法，其特征在于，所述基于所述风格样本集合、所述真实样本集合和所述风格编码，对所述图像处理模型进行迭代训练，直至满足第一收敛条件，包括：基于所述风格样本集合、所述真实样本集合和所述风格编码，对所述图像处理模型进行迭代训练，得到所述图像处理模型生成的各风格图像；基于生成的各风格图像和每一所述风格图像对应的风格样本，确定所述图像处理模型的总损失；在所述总损失满足第一收敛条件的情况下，完成对所述图像处理模型的训练。10.根据权利要求9所述的方法，其特征在于，所述风格编码包括多分辨率下的风格编码，所述基于所述风格样本集合、所述真实样本集合和所述风格编码，对所述图像处理模型进行迭代训练，得到所述图像处理模型生成的各风格图像，包括：利用所述第一生成子网络，对所述真实样本集合进行特征提取，得到不同分辨率下的第三内容特征；基于所述第一内容特征、所述不同分辨率下的第三内容特征和所...

【专利技术属性】
技术研发人员：杨帅，蒋李鸣，刘子纬，吕健勤，陶晴怡，
申请(专利权)人：南洋理工大学，
类型：发明
国别省市：