风格化图像生成方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例提供了一种风格化图像生成方法、装置、电子设备及存储介质，该方法包括：确定多个初始配对数据，并基于初始配对数据训练得到待使用风格模型；基于预设筛选条件从原始图像中确定出待处理原始图像，并基于待使用风格模型对待处理原始图像进行处理，得到待使用风格图像；对待使用风格图像形变处理，得到目标风格图像，将待处理原始图像和目标风格图像作为风格化配对数据；基于风格化配对数据对待训练风格化转换模型进行训练，得到目标风格化转换模型，本公开实施例提供的技术方案，通过引入待使用风格模型并对待使用风格图像进行形变处理，提升了训练数据的配对性，使训练得到的目标风格化转换模型输出的图像与原始图像更加匹配。图像更加匹配。图像更加匹配。

【技术实现步骤摘要】
风格化图像生成方法、装置、电子设备及存储介质


[0001]本公开实施例涉及图像处理
，尤其涉及一种风格化图像生成方法、装置、电子设备及存储介质。

技术介绍

[0002]随着图像处理技术的不断发展，用户可以利用多种应用对图像进行处理，从而使处理后的图像呈现出自己所期望的风格类型。
[0003]现有技术中，部署于服务端的相关算法对图像进行处理后，虽然得到相应风格类型的图像，然而，服务端接收图像、处理图像再将处理结果反馈的过程会带来较大的时延，对计算资源需求较大的相关算法又无法直接部署在客户端；同时，所得到图像可能存在瑕疵，例如，可能会出现图像中部分特征与原始图像中的特征无法对应的情况，这就导致算法对图像处理的效果较差，降低了用户的使用体验。

技术实现思路

[0004]本公开实施例提供一种风格化图像生成方法、装置、电子设备及存储介质，通过引入待使用风格模型并对待使用风格图像进行形变处理，提升了训练数据的配对性，基于训练数据训练出适用于移动端的轻量级模型，减少了风格化图像处理的时延。
[0005]第一方面，本公开实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种风格化图像生成方法，其特征在于，包括：确定多个初始配对数据，并基于所述多个初始配对数据训练得到待使用风格模型；其中，所述初始配对数据中包括原始图像和经3D风格生成模型处理后的初始风格图像；基于预设筛选条件从原始图像中确定出多个待处理原始图像，并基于所述待使用风格模型对所述多个待处理原始图像进行处理，得到待使用风格图像；通过对所述待使用风格图像形变处理，得到与各待处理原始图像所对应的目标风格图像，并将待处理原始图像和相应的目标风格图像作为风格化配对数据；基于所述风格化配对数据对待训练风格化转换模型进行训练，得到目标风格化转换模型，以在获取到待处理视频帧时，基于所述目标风格化转换模型对所述待处理视频帧进行风格化处理，得到处理后的目标视频。2.根据权利要求1所述的方法，其特征在于，所述确定多个初始配对数据，包括：获取多幅包括面部信息的原始图像；将各原始图像输入至预先训练得到的3D风格生成模型中，得到对面部信息处理后的初始风格图像。3.根据权利要求1所述的方法，其特征在于，所述基于所述多个初始配对数据训练得到待使用风格模型，包括：获取第一待训练风格模型；针对各初始配对数据，将当前初始配对数据中的原始图像作为所述第一待训练风格模型的输入，得到与所述原始图像相对应的第一输出图像；基于所述第一输出图像和所述原始图像所对应的初始风格图像，确定损失值，以基于所述损失值对所述第一待训练风格模型中的模型参数进行修正；将所述第一待训练风格模型中的第一损失函数收敛作为训练目标，得到所述待使用风格模型。4.根据权利要求1所述的方法，其特征在于，所述预设筛选条件包括待调整部位的变化角度大于预设变化角度阈值，所述基于预设筛选条件从原始图像中确定出多个待处理原始图像，包括：确定各原始图像中待调整部位的变化角度大于预设变化角度阈值的待处理原始图像；其中，待调整部位包括五官部位。5.根据权利要求1所述的方法，其特征在于，所述基于所述待使用风格模型对所述多个待处理原始图像进行处理，得到待使用风格图像，包括：将各待处理原始图像输入至所述待使用风格模型中，得到与每个原始图像所对应的待使用风格图像；其中，所述待使用风格图像与所述待处理原始图像所对应的初始风格图像中的特征不同。6.根据权利要求1所述的方法，其特征在于，所述通过对所述待使用风格图像形变处理，得到与各待处理原始图像所对应的目标风格图像，包括：确定待处理原始图像和所述待使用风格图像中关键点的像素点信息；基于所述像素点信息，确定形变参数，以基于所述形变参数将待处理原始图像中的待调整部位贴附至所述待使用风格图像中，得到目标风格图像。
7.根据权利要求1所述的方法，其特征在于，在所述基于所述风...

【专利技术属性】
技术研发人员：李文越，周财进，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：