一种图像处理方法、装置、设备及介质制造方法及图纸

本公开实施例涉及一种图像处理方法、装置、设备及介质，其中该方法包括：获取用户图像；采用图像美化模型对用户图像执行美化操作，得到美化后用户图像；其中，图像美化模型是基于第一样本图像和第二样本图像确定的训练样本对训练得到的；第二样本图像是基于目标图像通过图像处理模型对第一样本图像进行整体美化和图像元素的调整后得到的图像；图像元素为目标图像的图像风格特征和/或目标部位。本公开能够降低用户创作成本，提高图像美化效果。

【技术实现步骤摘要】
一种图像处理方法、装置、设备及介质
本公开涉及图像处理
，尤其涉及一种图像处理方法、装置、设备及介质。
技术介绍
随着科技的发展，针对图像中人脸的美化功能，已经成为影像应用中必不可少的一项。目前，图像美化主要依赖策略驱动，策略驱动是指先利用大量数据训练人脸处理模型，而后用训练好的模型识别图像中的人脸关键点，再对人脸关键点进行美化处理，以输出最终的美化图像。然而，在策略驱动的图像美化方式中，以人脸关键点作为美化对象，会导致五官比例失调而降低人脸自然度，图像整体性变差，美化效果生硬；而且，该方式不支持针对鼻子、嘴巴等部位的调整。为了满足用户对局部调整的个性化需求，还需要针对每个部位额外提供一一对应的美化模型，额外提供的多个美化模型不但需要大量的训练数据，还会在实际应用中增加用户的创作成本。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种图像处理方法、装置、设备及介质。本公开实施例提供了一种图像处理方法，包括：获取用户图像；采用图像美化模型对所述用户图像执行美化操作，得到美化后用户图像；其中，所述图像美化模型是基于第一样本图像和第二样本图像确定的训练样本对训练得到的；所述第二样本图像是基于目标图像通过图像处理模型对所述第一样本图像进行整体美化和图像元素的调整后得到的图像；所述图像元素为目标图像的图像风格特征和/或目标部位。可选的，所述基于目标图像通过图像处理模型对所述第一样本图像进行整体美化和图像元素的调整，包括：获取所述第一样本图像和目标图像；利用图像处理模型生成所述第一样本图像对应的第二样本图像；其中，所述图像处理模型包括第一子模型和第二子模型，且所述第一子模型用于进行图像整体美化，所述第二子模型用于基于所述目标图像进行图像元素的调整。可选的，所述图像美化模型的训练过程包括：将所述第一样本图像和所述第二样本图像确定为所述训练样本对；基于所述训练样本对对所述图像美化模型进行训练，以使训练好的图像美化模型对所述用户图像执行所述美化操作；其中，所述美化操作包括：目标图像的图像风格特征和/或目标部位的调整。可选的，所述利用图像处理模型生成所述第一样本图像对应的第二样本图像，包括：利用所述第一子模型对所述第一样本图像进行整体美化，得到待编辑图像；利用所述第二子模型，基于所述目标图像对所述待编辑图像的图像元素进行调整，得到第二样本图像。可选的，所述利用所述第二子模型，基于所述目标图像对所述待编辑图像的图像元素进行调整，得到第二样本图像，包括：将所述目标图像和所述待编辑图像输入至所述第二子模型；通过所述第二子模型基于所述目标图像，对所述待编辑图像的图像风格进行转换，得到第二样本图像；其中，所述第二样本图像同时包括所述待编辑图像的风格特征和所述目标图像的图像风格特征。可选的，所述方法还包括：基于所述目标图像得到第一分割图像；基于待编辑图像得到第二分割图像；将所述第一分割图像、第二分割图像、所述目标图像和所述待编辑图像输入至第二子模型得到第二样本图像。可选的，所述利用所述第二子模型，基于所述目标图像对所述待编辑图像的图像元素进行调整，得到第二样本图像，包括：对所述目标图像进行人脸分割，得到初始分割图像；按照所述初始分割图像上的分割部位，对所述初始分割图像添加不同的标识，得到具有不同标识的多张第一分割图像；其中，所述标识用于表示所述第一分割图像上作为美化目标的部位；对所述待编辑图像进行人脸分割，得到第二分割图像；利用所述第二子模型，将所述第二分割图像的目标部位与所述第一分割图像中标识所表示的第一部位进行处理，得到第二样本图像；其中，所述目标部位与所述第一部位为人脸的相同部位。可选的，所述方法还包括：根据所述第一分割图像的标识，确定所述第一分割图像上作为美化目标的第一部位；在所述第二分割图像上确定与所述第一部位相同的第二部位，并确定所述第二部位为所述待编辑图像的目标部位。可选的，所述获取所述第一样本图像和目标图像，包括：获取第一图像集合和第二图像集合；其中，所述第一图像集合中包括未美化的图像，所述第二图像集合中包括已美化的图像，且所述第二图像集合中的图像数量少于所述第一图像集合中的图像数量；从所述第一图像集合中获取任意一张未美化的图像，作为第一样本图像；从所述第二图像集合中获取任意一张已美化的图像，作为目标图像；其中，所述目标图像作为所述第一样本图像的美化目标。可选的，所述方法还包括：利用所述第一子模型生成与所述第一图像集合中未美化的图像相对应的生成图像，并由各个所述生成图像确定第三图像集合；将所述第三图像集合中的图像与所述第二图像集合中已美化的图像进行任意组合，得到不同的多个图像组合；其中，在所述图像组合中，属于所述第三图像集合的图像为第三样本图像，属于所述第二图像集合的图像为第四样本图像；利用不同的图像组合重复如下训练操作，直至满足预设条件时停止：将所述图像组合输入至待训练的第二子模型生成第五样本图像；确定所述第五样本图像与所述第四样本图像之间的损失函数；基于所述损失函数对所述待训练的第二子模型进行收敛，直至所述损失函数收敛至预设值时确定满足预设条件并停止训练；将停止训练时得到的第二子模型作为训练好的第二子模型。可选的，所述图像美化模型应用于移动终端。本公开实施例还提供了一种图像处理装置，包括：图像获取模块，用于获取用户图像；图像生成模块，用于采用图像美化模型对所述用户图像执行美化操作，得到美化后用户图像；其中，所述图像美化模型是基于第一样本图像和第二样本图像确定的训练样本对训练得到的；所述第二样本图像是基于目标图像通过图像处理模型对所述第一样本图像进行整体美化和图像元素的调整后得到的图像；所述图像元素为目标图像的图像风格特征和/或目标部位。本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的图像处理方法。本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的图像处理方法。本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供了一种图像处理方法、装置、设备及介质，该技术方案采用图像美化模型对用户图像执行美化操作，得到美化后用户图像；其中，所述图像美化模型是基于第一样本图像和第二样本图像确定的训练样本对训练得到的；该第二样本图像是基于目标图像通过图像处理模型对所述第一样本图像进行整体美化和图像元素的调整后得到的图像，且图像元素为目标图像的图像风格特征和/或目标部位。在该方案中，整体美化能够较好地保持图像美化前后的五官比例，本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取用户图像；/n采用图像美化模型对所述用户图像执行美化操作，得到美化后用户图像；/n其中，所述图像美化模型是基于第一样本图像和第二样本图像确定的训练样本对训练得到的；所述第二样本图像是基于目标图像通过图像处理模型对所述第一样本图像进行整体美化和图像元素的调整后得到的图像；所述图像元素为目标图像的图像风格特征和/或目标部位。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取用户图像；
采用图像美化模型对所述用户图像执行美化操作，得到美化后用户图像；
其中，所述图像美化模型是基于第一样本图像和第二样本图像确定的训练样本对训练得到的；所述第二样本图像是基于目标图像通过图像处理模型对所述第一样本图像进行整体美化和图像元素的调整后得到的图像；所述图像元素为目标图像的图像风格特征和/或目标部位。


2.根据权利要求1所述的方法，其特征在于，所述基于目标图像通过图像处理模型对所述第一样本图像进行整体美化和图像元素的调整，包括：
获取第一样本图像和目标图像；
利用图像处理模型生成所述第一样本图像对应的第二样本图像；其中，所述图像处理模型包括第一子模型和第二子模型，且所述第一子模型用于进行图像整体美化，所述第二子模型用于基于所述目标图像进行图像元素的调整。


3.根据权利要求2所述的方法，其特征在于，所述图像美化模型的训练过程包括：
将所述第一样本图像和所述第二样本图像确定为所述训练样本对；
基于所述训练样本对对所述图像美化模型进行训练，以使训练好的图像美化模型对所述用户图像执行所述美化操作；其中，所述美化操作包括：目标图像的图像风格特征和/或目标部位的调整。


4.根据权利要求2所述的方法，其特征在于，所述利用图像处理模型生成所述第一样本图像对应的第二样本图像，包括：
利用所述第一子模型对所述第一样本图像进行整体美化，得到待编辑图像；
利用所述第二子模型，基于所述目标图像对所述待编辑图像的图像元素进行调整，得到第二样本图像。


5.根据权利要求4所述的方法，其特征在于，所述利用所述第二子模型，基于所述目标图像对所述待编辑图像的图像元素进行调整，得到第二样本图像，包括：
将所述目标图像和所述待编辑图像输入至所述第二子模型；
通过所述第二子模型基于所述目标图像，对所述待编辑图像的图像风格进行转换，得到第二样本图像；其中，所述第二样本图像同时包括所述待编辑图像的风格特征和所述目标图像的图像风格特征。


6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
基于所述目标图像得到第一分割图像；
基于待编辑图像得到第二分割图像；
将所述第一分割图像、第二分割图像、所述目标图像和所述待编辑图像输入至第二子模型得到第二样本图像。


7.根据权利要求4所述的方法，其特征在于，所述利用所述第二子模型，基于所述目标图像对所述待编辑图像的图像元素进行调整，得到第二样本图像，包括：
对所述目标图像进行人脸分割，得到初始分割图像；按照所述初始分割图像上的分割部位，对所述初始分割图像添加不同的标识，得到具有不同标识的多张第一分割图像；其中，所述标识用于表示所述第一分割图像上作为美化目标的部位；
对所述待编辑图像进行人脸分割，得到第二分割图像；
利用所述第二子模型，将所述第二分割图像的目标部位与所述第一分...

【专利技术属性】
技术研发人员：周思宇，何茜，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：北京;11