一种图像美化方法、装置、介质及设备制造方法及图纸

技术编号:24125022 阅读:53 留言:0更新日期:2020-05-13 04:18
本发明专利技术提出了一种图像美化方法、装置、介质及设备。所述方法包括:将待美化图像作为已训练的图像美化模型的输入,已训练的图像美化模型用于对待美化图像进行美化,已训练的图像美化模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的,已训练的图像美化模型为训练完成的第一生成网络;获取已训练的图像美化模型输出的目标美化图像;其中,第一生成网络的输出分别为第二生成网络的输入和第二判别网络的输入;第三生成网络的输出分别为第四生成网络的输入和第一判别网络的输入。本发明专利技术在没有改变图像的真实分布情况下,使得图像中目标对象的真实特征更凸出,增加图像中目标对象识别的准确率。

【技术实现步骤摘要】
一种图像美化方法、装置、介质及设备
本专利技术涉及图像处理
,尤其涉及一种图像美化方法、装置、介质及设备。
技术介绍
随着拍照设备技术的发展以及拍摄设备的普及,拍照是一个重要的功能,也是娱乐功能之一。非洲人热衷拍照,也热衷于分享自己的各种照片,但若是和肤色较浅的人合影并且光线不足的情况下,只能看到肤色较深的非洲人的牙齿和眼睛,看不到其他脸部特征,尤其在晚上一般手机要想拍到肤色较深的非洲人的脸非常困难。为了使照片更漂亮,美颜是图像处理软件必不可少的功能之一,主要包括美肤及美白等功能。现有的美颜算法就是编写程序模仿PS(处理以像素所构成的图像)磨皮操作,现有的磨皮方法主要涉及到通道、模糊、混合、曲线、高反差保留等操作。传统的算法,主要是滤波算法,将图像三维进行平滑处理,去掉产生干扰的细节像素,基于Unet(深度学习分割网络)皮肤分割的磨皮算法通过区分皮肤与头发这种类肤色区域,进而将头发的纹理细节保留,达到该磨皮的地方磨皮,不该磨皮的地方不磨,经过通道、模糊、混合、曲线、高反差保留等操作,并没有引入学习的因素,造成泛化性能差,操作不可逆,改变了原有图像的真实的分布,误导人脸识别提取的特征,导致人脸识别准确率下降。因此,提出一种在没有改变图像的真实分布情况下使得图像中目标对象的真实特征更凸出、增加图像中目标对象识别的准确率的图像美化方法显得尤为重要。
技术实现思路
基于此,有必要针对上述问题,提出了一种图像美化方法、装置、介质及设备。第一方面,本专利技术提出了一种图像美化方法,所述方法包括:获取待美化图像;将所述待美化图像作为已训练的图像美化模型的输入,所述已训练的图像美化模型用于对所述待美化图像进行美化,所述已训练的图像美化模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的,所述已训练的图像美化模型为训练完成的第一生成网络;获取所述已训练的图像美化模型输出的目标美化图像;其中,所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入,所述第二生成网络用于对所述第一生成网络的输出进行还原,所述第二判别网络用于对所述第一生成网络的输出进行判断识别,所述第一生成网络和所述第二判别网络为对抗性训练网络;所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入,所述第四生成网络用于对所述第三生成网络的输出进行还原,所述第一判别网络用于对所述第三生成网络的输出进行判断识别,所述第三生成网络和所述第一判别网络为对抗性训练网络。第二方面,本专利技术还提出了一种图像美化装置,所述装置包括:图像美化模块,用于获取待美化图像,将所述待美化图像作为已训练的图像美化模型的输入,所述已训练的图像美化模型用于对所述待美化图像进行美化,所述已训练的图像美化模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的,所述已训练的图像美化模型为训练完成的第一生成网络;获取所述已训练的图像美化模型输出的目标美化图像,其中,所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入,所述第二生成网络用于对所述第一生成网络的输出进行还原,所述第二判别网络用于对所述第一生成网络的输出进行判断识别,所述第一生成网络和所述第二判别网络为对抗性训练网络,所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入,所述第四生成网络用于对所述第三生成网络的输出进行还原,所述第一判别网络用于对所述第三生成网络的输出进行判断识别,所述第三生成网络和所述第一判别网络为对抗性训练网络。第三方面,本专利技术还提出了一种存储介质,存储有计算机指令程序,所述计算机指令程序被处理器执行时,使得所述处理器执行第一方面任一项所述方法的步骤。第四方面,本专利技术还提出了一种计算机设备,包括至少一个存储器、至少一个处理器,所述存储器存储有计算机指令程序,所述计算机指令程序被所述处理器执行时,使得所述处理器执行第一方面任一项所述方法的步骤。综上所述,本专利技术的图像美化方法通过第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络的非监督学习训练出图像美化模型,只需要少量的样本进行学习即可学到训练样本的共同特征,泛化能力好;所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入实现了待美化图像到目标美化图像的学习,所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入实现了目标美化图像到待美化图像的学习,在没有改变图像的真实分布情况下,使得图像中目标对象的真实特征更凸出,增加图像中目标对象识别的准确率。因此,本专利技术在没有改变图像的真实分布情况下,使得图像中目标对象的真实特征更凸出,增加图像中目标对象识别的准确率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:图1为一个实施例中图像美化方法的流程图;图2为图1中图像美化方法的训练图像美化模型的流程图;图3为一个实施例中第一判别网络的结构示意图;图4为一个实施例中第一生成网络的结构示意图;图5为一个实施例中特征提取子网的结构示意图;图6为一个实施例中特征还原子网的结构示意图;图7为图1中图像美化方法的特征嵌入子网的工作流程图;图8为图7中特征嵌入子网的确定待融合目标特征图像的流程图;图9为图1中图像美化方法的梯度下降优化方法的流程图;图10为一个实施例中图像美化装置的结构框图;图11为一个实施例中计算机设备的结构框图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。如图1所示,在一个实施例中,提出了一种图像美化方法,所述方法包括:S102、获取待美化图像;其中,所述待美化图像可以是需要美化的深肤色人脸数字图像。也可以是其他图像,比如,可以是动物图像、植物图像,在此举例不作具体限定。所述待美化图像可以包括在不同场景、不同时间段、不同天气等采集的图像,在此不作具体限定。S104、将所述待美化图像作为已训练的图像美化模型的输入,所述已训练的图像美化模型用于对所述待美化图像进行美化,所述已训练的图像美化模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的,所述已训练的图像美化模型为训练完成的第一生成网络;具体而本文档来自技高网...

【技术保护点】
1.一种图像美化方法,所述方法包括:/n获取待美化图像;/n将所述待美化图像作为已训练的图像美化模型的输入,所述已训练的图像美化模型用于对所述待美化图像进行美化,所述已训练的图像美化模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的,所述已训练的图像美化模型为训练完成的第一生成网络;/n获取所述已训练的图像美化模型输出的目标美化图像;/n其中,所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入,所述第二生成网络用于对所述第一生成网络的输出进行还原,所述第二判别网络用于对所述第一生成网络的输出进行判断识别,所述第一生成网络和所述第二判别网络为对抗性训练网络;/n所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入,所述第四生成网络用于对所述第三生成网络的输出进行还原,所述第一判别网络用于对所述第三生成网络的输出进行判断识别,所述第三生成网络和所述第一判别网络为对抗性训练网络。/n

【技术特征摘要】
1.一种图像美化方法,所述方法包括:
获取待美化图像;
将所述待美化图像作为已训练的图像美化模型的输入,所述已训练的图像美化模型用于对所述待美化图像进行美化,所述已训练的图像美化模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的,所述已训练的图像美化模型为训练完成的第一生成网络;
获取所述已训练的图像美化模型输出的目标美化图像;
其中,所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入,所述第二生成网络用于对所述第一生成网络的输出进行还原,所述第二判别网络用于对所述第一生成网络的输出进行判断识别,所述第一生成网络和所述第二判别网络为对抗性训练网络;
所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入,所述第四生成网络用于对所述第三生成网络的输出进行还原,所述第一判别网络用于对所述第三生成网络的输出进行判断识别,所述第三生成网络和所述第一判别网络为对抗性训练网络。


2.根据权利要求1所述的方法,其特征在于,所述已训练的图像美化模型采用如下方式训练得到:
获取多个图像对,所述图像对中包括源图像、目标图像,所述源图像为待美化图像,目标图像为目标美化图像;
将所述源图像输入第一生成网络得到第一源图像生成数据,将所述第一源图像生成数据输入第二生成网络得到第二源图像生成数据,将所述目标图像输入第三生成网络得到第一目标图像生成数据,将所述第一目标图像生成数据输入第四生成网络得到第二目标图像生成数据,所述第一生成网络、所述第二生成网络、所述第三生成网络、所述第四生成网络采用相同结构的图像生成网络;
将所述源图像输入第一判别网络得到第一源图像期望数据,将所述第一源图像生成数据输入第二判别网络得到第二源图像期望数据,将所述目标图像输入第二判别网络得到第一目标图像期望数据,将所述第一目标图像生成数据输入第一判别网络得到第二目标图像期望数据,所述第一判别网络、所述第二判别网络采用相同结构的图像判别网络且包括多个残差块、全连接层;
根据所述第一源图像期望数据、所述第二源图像期望数据、所述第一目标图像期望数据、所述第二目标图像期望数据、所述第一源图像生成数据、所述第二源图像生成数据、所述第一目标图像生成数据、所述第二目标图像生成数据采用梯度下降优化方法进行训练,得到已训练的图像美化模型。


3.根据权利要求2所述的方法,其特征在于,所述第一判别网络包括依次相连的输入层、第一残差块、第二残差块、第三残差块、第四残差块、第五残差块、第六残差块、全连接层;
所述第一残差块包括第一残差卷积层、第一激活层、第一正则化层,所述第一残差卷积层采用对称填充、步长为2、通道数为16、每隔一个卷积层进行连接,所述第一激活层采用LRelu激活函数,所述第一正则化层用于对单个输入图像进行正则化;
所述第二残差块包括第二残差卷积层、第二激活层、第二正则化层,所述第二残差卷积层采用不填充、步长为2、通道数为32、每隔一个卷积层进行连接,所述第二激活层采用LRelu激活函数,所述第二正则化层用于对单个输入图像进行正则化;
所述第三残差块包括第三残差卷积层、第三激活层、第三正则化层,所述第三残差卷积层采用不填充、步长为2、通道数为64、每隔一个卷积层进行连接,所述第三激活层采用LRelu激活函数,所述第三正则化层用于对单个输入图像进行正则化;
所述第四残差块包括第四残差卷积层、第四激活层、第四正则化层,所述第四残差卷积层采用不填充、步长为2、通道数为128、每隔一个卷积层进行连接,所述第四激活层采用LRelu激活函数,所述第四正则化层用于对单个输入图像进行正则化;
所述第五残差块包括第五残差卷积层、第五激活层、第五正则化层,所述第五残差卷积层采用不填充、步长为2、通道数为128、每隔一个卷积层进行连接,所述第五激活层采用LRelu激活函数,所述第五正则化层用于对单个输入图像进行正则化;
所述第六残差块包括第六残差卷积层、第六激活层、第六正则化层,所述第六残差卷积层采用不填充、步长为2、通道数为128、每隔一个卷积层进行连接,所述第六激活层采用LRelu激活函数,所述第六正则化层用于对单个输入图像进行正则化;
其中,所述第一残差卷积层、所述第二残差卷积层、所述第三残差卷积层、所述第四残差卷积层、所述第五残差卷积层、所述第六残差卷积层包括3×3卷积核、5×5卷积核中至少一种。


4.根据权利要求2所述的方法,其特征在于,所述获取多个图像对,还包括:采集源图像,所述源图像为深肤色人脸图像,根据所述源图像进行美化处理生成与源图像对应的目标图像,所述美化处理包括保留真实特征的情况下实现肤色均匀及肤色高亮。


5.根据权利要求2所述的方法,其特征在于,所述第一生成网络包括特征提取子网、特征还原子网、特征嵌入子网;
所述特征提取子网用于对所述源图像进行提取得到表层特征,对所述表层特征进行压缩得到第一特征图像,所述表层特征包括轮廓、纹理;
所述特征还原子网用于把所述第一特征图像进行放大还原得到第二特征图像;
所述特征嵌入子网用于把所述第一特征图像、所述第二特征图像、所述源图像进行融合处理得到第一源图像生成数据。


6.根据权利要求5所述的方法,其特征在于,所述特征提取子网包括依次相连的多个第一卷积块;
所述第一卷积块包括依次相连的第七卷积层、第七激活层、第一分批归一化层;
所述第七卷积层采用3×3卷积核或5×5卷积核,且采用对称填充;
所述第七激活层采用selu激活函数。


7.根据权利要求5所述的方法,其特征在于,所述特征还原子网包括依次相连的多个第二卷积块、一个第三卷积块;
所述第二卷积块包括依次相连的第八卷积层、第八激活层、第二分批归一化层,所述第八卷积层采用3×3卷积核且采用对称填充,所述第八激活层采用selu激活函数;
所述第三卷积块包括第九卷积层、第九激活层、第一单元卷积层,所述第九卷积层包括采用8×8卷积核、步长为1、采用对称填充,所述第九激活层采用...

【专利技术属性】
技术研发人员:高亚南
申请(专利权)人:深圳市雄帝科技股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1