一种基于光流估计的人脸图像美颜检测方法及系统技术方案

本申请提供了一种基于光流估计的人脸图像美颜检测方法及系统，该方法包括：对待处理的人脸图像进行裁剪获得人脸区域图像，对人脸区域图像进行变形处理获得人脸变形图像，将人脸区域图像和人脸变形图像输入光流提取网络中；分别提取人脸区域图像和人脸变形图像的特征进行融合，使用反卷积网络对特征融合后的图像进行光流提取，获得光流场图像；将待处理人脸图像进行下采样，将下采样图像和待处理图像输入光流场检测网络，进行两层级联特征融合，获得第一特征图、第二特征图和第三特征图并分别计算三张特征图与光流场图像的共同差异，反向传播给光流场检测网络，直至光流场检测网络收敛。根据光流场进行图像复原，能在人脸变形上表现出较好的性能。上表现出较好的性能。上表现出较好的性能。

【技术实现步骤摘要】
一种基于光流估计的人脸图像美颜检测方法及系统


[0001]本申请涉及计算机视觉
，具体涉及一种基于光流估计的人脸图像美颜检测方法及系统。

技术介绍

[0002]针对人脸美颜处理后的人脸图像，现有一些技术能够得到较为满意的效果，比如：采用图像拼接和基于模式噪声的检测方法检测磨皮后的人脸图像，或者采用颜色空间分布的方式检测不同滤镜处理的图像。在人脸形变检测时，直接采用分类、目标检测卷积神经网络效果不佳，但根据论文《Detecting Photoshopped Faces by Scripting Photoshop》论述，采用光照估计的方式来建模人脸液化模式，可极大地提高液化人脸图像的检测精度。
[0003]然而，目前无法采用统一的方法进行人脸肤色美化检测，若每种美化方法都要使用一种方法进行检测，会造成系统的臃肿；同时上文阐述的论文的检测方法只适用于人脸液化的人脸变形，对于其他形变方法并不适用，特别是基于移动最小二乘法的形变人脸图像。而上述论文中描述的人脸液化检测方法上，采用了开源的分割网络膨胀残留网络DRN来估计单张图片人脸形变光流，由于DRN在分割性能上效果并非最佳，因此后续的检测方法并无法达到最好的性能。
[0004]鉴于此，设计一种可以涵盖多种人脸肤色美化和人脸形变类别，并且基于单张图像的光流场预测性能更好的检测方法及系统具有十分重要的意义。

技术实现思路

[0005]本申请实施例提出了一种基于光流估计的人脸图像美颜检测方法及系统，来解决以上
技术介绍
部分提到的技术问题。/>[0006]第一方面，本申请实施例提供了一种基于光流估计的人脸图像美颜检测方法，其特征在于，包括以下步骤：
[0007]S110、对待处理的人脸图像进行裁剪，获得人脸区域图像，以及对人脸区域图像进行变形处理，获得人脸变形图像，将人脸区域图像和人脸变形图像以成对的方式输入光流提取网络中；
[0008]S120、分别提取人脸区域图像和人脸变形图像的特征，并且将特征进行融合，以及使用反卷积网络对特征融合后的图像进行光流提取，获得光流场图像；
[0009]S130、将待处理人脸图像进行下采样，获得下采样图像，将下采样图像和待处理图像输入光流场检测网络，并且进行两层级联特征融合，获得第一特征图，对第一特征图进行一次反卷积操作，获得第二特征图，对第二特征图继续进行多次反卷积操作，获得第三特征图；以及
[0010]S140、分别计算第一特征图、第二特征图和第三特征图与光流场图像的共同差异，并且反向传播给光流场检测网络，直至光流场检测网络收敛。
[0011]通过该方法可以预测出人脸图像的形变概率、变形区域，以及根据光流场进行图
像复原，再由形变图像和复原图像计算得到差异图，最终根据人脸形变概率、形变区域热图和差异图，共同作为人脸篡改的依据，能够在人脸变形上表现出较好的性能。
[0012]在一些实施例中，在步骤S140中，分别计算第一特征图、第二特征图和第三特征图与对应大小的光流场图像的共同差异所使用的公式为：
[0013][0014]其中，W和H分别为光流场图像的宽和高，ij表示像素点坐标。
[0015]通过该公式可以获得总的差异大小，并反向传播给光流场检测网络进行修正。
[0016]在一些实施例中，在步骤S110中，对待处理人脸图像进行裁剪，获得人脸区域图像，以及对人脸区域图像进行变形处理，获得人脸变形图像，具体包括：
[0017]获取待处理人脸图像，采用人脸检测算法定位待处理人脸图像中的人脸位置框，按照人脸位置框对待处理图像进行裁剪，获得人脸区域图像；
[0018]对人脸区域图像进行变形处理，使用包括photoshop或美图秀秀的软件对人脸区域图像进行美颜或变形操作，或者采用包括移动最小二乘法的方法对人脸区域图像进行变形操作。
[0019]在一些实施例中，采用人脸检测算法定位待处理人脸图像中的人脸位置框，具体包括以下步骤：
[0020]S111、使用人脸检测算法定位人脸位置框[x0,y0,w,h]，其中，x0,y0,w,h分别表示人脸位置框的横轴起始点、纵轴起始点、宽和高；
[0021]S112、将人脸位置框放大两倍，得到放大后的人脸位置框[x0‑
w/2,y0‑
h/2,2*w,2*h]；以及
[0022]S113、按照人脸位置框对待处理图像进行裁剪，获得人脸区域图像。
[0023]通过该操作，可以快速剪裁出待处理图像中包含人脸的区域。
[0024]在一些实施例中，该方法还包括使用注意力机制分类网络GCnet对待处理人脸图像进行识别分类，分类结果包括美白、磨皮、古铜色、一键美肤和人脸形变，对输出的分类结果为一键美肤和人脸形变的图像进行步骤S120中的光流提取，生成光流场图像。
[0025]采用多分类的深度卷积神经网络，通过该网络的强大特征提取能力，可以涵盖多种人脸肤色美化方法的变换能力。使用注意力机制分类网络GCnet能够有效提高分类精度。
[0026]在一些实施例中，输出分类结果运用了以下函数：
[0027][0028]其中，p
i
为图片经过分类网络后得到第i个类别上的分数；T为人为设置的阈值；第0类为正常类，图片的类别为max(p
i
)，i＝1～5。
[0029]对于一些难以区分的图像，例如一键美化过的样本存在一定的概率会被分到人脸形变的类别中，为了尽量不遗漏分数不是很高的图像，在模型推理阶段可以使用上述函数来挑选分类网络得到的结果。
[0030]第二方面，本申请提供了一种基于光流估计的人脸图像美颜检测系统，该系统包括以下模块：
[0031]预处理模块，配置用于对待处理人脸图像进行裁剪，获得人脸区域图像，以及对人
脸区域图像进行变形处理，获得人脸变形图像，将人脸区域图像和人脸变形图像以成对的方式输入光流提取网络中；以及
[0032]光流提取模块，配置用于分别提取人脸区域图像和人脸变形图像的特征，并且将特征进行融合，以及使用反卷积网络对特征融合后的图像进行光流提取，获得光流场图像；以及
[0033]特征融合模块，配置用于将待处理人脸图像进行下采样，获得下采样图像，将下采样图像和待处理图像输入光流场检测网络进行两层级联特征融合，获得第一特征图，对第一特征图进行一次反卷积操作后，获得第二特征图，对第二特征图继续进行多次反卷积操作，获得第三特征图；以及
[0034]计算差异模块，配置用于分别计算第一特征图、第二特征图和第三特征图与光流场图像的共同差异，并且反向传播给光流场检测网络，直至光流场检测网络收敛。
[0035]在一些实施例中，计算差异模块中分别计算第一特征图、第二特征图和第三特征图与对应大小的光流场图像的共同差异所使用的公式为：
[0036][0037]其中，W和H分别为光流场图像的宽和高，ij表示像素点坐标。
[0038]在一些实施例中，该系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光流估计的人脸图像美颜检测方法，其特征在于，包括以下步骤：S110、对待处理的人脸图像进行裁剪，获得人脸区域图像，以及对所述人脸区域图像进行变形处理，获得人脸变形图像，将所述人脸区域图像和所述人脸变形图像以成对的方式输入光流提取网络中；S120、分别提取所述人脸区域图像和所述人脸变形图像的特征，并且将所述特征进行融合，以及使用反卷积网络对特征融合后的图像进行光流提取，获得光流场图像；S130、将所述待处理人脸图像进行下采样，获得下采样图像，将所述下采样图像和所述待处理图像输入光流场检测网络，并且进行两层级联特征融合，获得第一特征图，对所述第一特征图进行一次反卷积操作，获得第二特征图，对所述第二特征图继续进行多次反卷积操作，获得第三特征图；以及S140、分别计算第一特征图、第二特征图和第三特征图与所述光流场图像的共同差异，并且反向传播给光流场检测网络，直至所述光流场检测网络收敛。2.根据权利要求1所述的基于光流估计的人脸图像美颜检测方法，其特征在于，在步骤S140中，分别计算所述第一特征图、第二特征图和第三特征图与对应大小的所述光流场图像的共同差异所使用的公式为：其中，W和H分别为光流场图像的宽和高，ij表示像素点坐标。3.根据权利要求1所述的基于光流估计的人脸图像美颜检测方法，其特征在于，在步骤S110中，对待处理人脸图像进行裁剪，获得人脸区域图像，以及对所述人脸区域图像进行变形处理，获得人脸变形图像，具体包括：获取待处理人脸图像，采用人脸检测算法定位所述待处理人脸图像中的人脸位置框，按照所述人脸位置框对所述待处理图像进行裁剪，获得所述人脸区域图像；对所述人脸区域图像进行变形处理，使用包括photoshop或美图秀秀的软件对所述人脸区域图像进行美颜或变形操作，或者采用包括移动最小二乘法的方法对所述人脸区域图像进行变形操作。4.根据权利要求3所述的基于光流估计的人脸图像美颜检测方法，其特征在于，采用人脸检测算法定位所述待处理人脸图像中的人脸位置框，具体包括以下步骤：S111、使用人脸检测算法定位人脸位置框[x0,y0,w,h]，其中，x0,y0,w,h分别表示人脸位置框的横轴起始点、纵轴起始点、宽和高；S112、将所述人脸位置框放大两倍，得到放大后的人脸位置框[x0‑
w/2,y0‑
h/2,2*w,2*h]；以及S113、按照所述人脸位置框对所述待处理图像进行裁剪，获得所述人脸区域图像。5.根据权利要求1所述的基于光流估计的人脸图像美颜检测方法，其特征在于，还包括使用注意力机制分类网络GCnet对所述待处理人脸图像进行识别分类，分类结果包括美白、磨皮、古铜色、一键美肤和人脸形变，对输出的分类结果为一键美肤和人脸形变的图像进行步骤S120中的光流提取，生成所述光流场图像。6.根据权利要求5所述的基于光流估计的人脸图像美颜检测方法，其特征在于，输出所述分类结果运用了以下函数...

【专利技术属性】
技术研发人员：黄仁裕，高志鹏，赵建强，郭小强，陈岩鹏，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：