基于深度学习的人脸图片实时高光去除方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的人脸图片实时高光去除方法及装置，其中，方法包括：通过人脸拟合方法从人脸图片中提取人脸区域；从人脸区域中提取人脸高光分布图，以建立人脸图片与脸高光分布图构成的数据集；通过深度学习生成对抗网络，并通过数据集对对抗网络训练，以获取去除高光网络模型；通过高光去除网络模型去除人脸图片的高光，以得到人脸图片的高光去除结果。该方法能够在去除高光的同时输出具有很强真实感的图片，简单易实现，应用范围广。

【技术实现步骤摘要】
基于深度学习的人脸图片实时高光去除方法及装置
本专利技术涉及计算机视觉领域
，特别涉及一种基于深度学习的人脸图片实时高光去除方法及装置。
技术介绍
人脸图片高光去除是计算机视觉和图像处理领域中非常重要，在人脸识别、人脸三维重建等领域也有非常重要的应用。例如，在人脸识别领域，人脸图片上的高光会导致人脸识别的准确率下降；在人脸三维重建中，人脸图片上的高光会导致三维重建的模型误差增大。人眼对人脸图片的真实感非常敏感，能够去除人脸图片上的高光并且保持其的真实感是非常重要的。然而，现有技术中，能够对人脸图片进行实时高光去除是一个非常具有挑战性和研究价值的问题。传统高光去除方法尽管能够提取出人脸上高光的分布，但无法保证高光去除的真实感，亟待解决。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于深度学习的人脸图片实时高光去除方法，该方法能够在去除高光的同时输出具有很强的真实感图片，简单易实现，应用范围广。本专利技术的另一个目的在于提出一种基于深度学习的人脸图片实时高光去除装置。为达到上述目的，本专利技术一方面实施例提出了一种基于深度学习的人脸图片实时高光去除方法，包括以下步骤：通过人脸拟合方法从人脸图片中提取人脸区域；从所述人脸区域中提取人脸高光分布图，以建立所述人脸图片与所述脸高光分布图构成的数据集；通过深度学习生成对抗网络，并通过所述数据集对所述对抗网络训练，以获取去除高光网络模型；以及通过所述高光去除网络模型去除所述人脸图片的高光，以得到所述人脸图片的高光去除结果。本专利技术实施例的基于深度学习的人脸图片实时高光去除方法，通过建立人脸高光分布图构成的数据集，根据深度学习生成对抗网络生成去高光网络模型，进而去除人脸图片的高光，可以自动判别高光，实现在去除高光的同时输出具有很强真实感的图片，简单易实现，应用范围广。另外，根据本专利技术上述实施例的基于深度学习的人脸图片实时高光去除方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述通过人脸拟合方法从人脸图片中提取人脸区域，进一步包括：通过人脸特征提取方法获取所述人脸图片的特征点；根据所述特征点与人脸三维模型上顶点的对应关系建立能量方程，并通过优化迭代以利用预先拟合的人脸三维模型提取所述人脸区域。进一步地，在本专利技术的一个实施例中，所述获取去除高光网络模型，进一步包括：根据高光分量图片的图片块高光分量的下采样值和预设阈值判定所述图片块是否含有高光；在训练生成所述对抗网络的判别网络时，使得所述判别网络判定每个图片块是否含有高光，其中，所述判别网络不对含有非人脸区域的图片块进行判定；通过所述对抗网络的生成网络生成高光分量，其中，最终高光结果等于与网络输入与网络输出的差值；加入线性整流函数至所述生成网络，以保证网络输出为正值。进一步地，在本专利技术的一个实施例中，所述通过所述高光去除网络模型去除所述人脸图片的高光，进一步包括：将所述人脸区域作为所述去高光网络模型的输入，以得到所述人脸区域与去高光图片的差值，以得到所述高光去除结果。进一步地，在本专利技术的一个实施例中，在训练所述对抗网络，优化判别网络输出结果与目标判别结果的误差值，所述优化公式为：LD＝-EI,i,j,F(i,j)＝0[T(i,j)·[log(D(I)(i,j))+log(D(G′(I))(i,j))]+(1-T(i,j))·[log(1-D(I)(i,j))+log(1-D(G′(I))(i,j))]]；其中，E为数学期望，G′(I)为生成网络最终输出去高光结果与输入图片的差值，T(i,j)为用于训练生成对抗网络中判别网络的判别目标结果。为达到上述目的，本专利技术另一方面实施例提出了一种基于深度学习的人脸图片实时高光去除装置，包括：提取模块，用于通过人脸拟合方法从人脸图片中提取人脸区域；数据集建立模块，从所述人脸区域中提取人脸高光分布图，以建立所述人脸图片与所述脸高光分布图构成的数据集；训练模块，用于通过深度学习生成对抗网络，并通过所述数据集对所述对抗网络训练，以获取去除高光网络模型；以及去除模块，用于通过所述高光去除网络模型去除所述人脸图片的高光，以得到所述人脸图片的高光去除结果。本专利技术实施例的基于深度学习的人脸图片实时高光去除装置，通过建立人脸高光分布图构成的数据集，根据深度学习生成对抗网络生成去高光网络模型，进而去除人脸图片的高光，可以自动判别高光，实现在去除高光的同时输出具有很强真实感的图片，简单易实现，应用范围广。另外，根据本专利技术上述实施例的基于深度学习的人脸图片实时高光去除装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述提取模块，进一步用于：通过人脸特征提取方法获取所述人脸图片的特征点；根据所述特征点与人脸三维模型上顶点的对应关系建立能量方程，并通过优化迭代以利用预先拟合的人脸三维模型提取所述人脸区域。进一步地，在本专利技术的一个实施例中，所述数据集建立模块用于：根据高光分量图片的图片块高光分量的下采样值和预设阈值判定所述图片块是否含有高光；在训练生成所述对抗网络的判别网络时，使得所述判别网络判定每个图片块是否含有高光，其中，所述判别网络不对含有非人脸区域的图片块进行判定；通过所述对抗网络的生成网络生成高光分量，其中，最终高光结果等于与网络输入与网络输出的差值；加入线性整流函数至所述生成网络，以保证网络输出为正值。进一步地，在本专利技术的一个实施例中，所述去除模块进一步用于：将所述人脸区域作为所述去高光网络模型的输入，以得到所述人脸区域与去高光图片的差值，以得到所述高光去除结果。进一步地，在本专利技术的一个实施例中，误差优化模块，用于：在训练所述对抗网络，优化判别网络输出结果与目标判别结果的误差值，所述误差优化公式为：LD＝-EI,i,j,F(i,j)＝0[T(i,j)·[log(D(I)(i,j))+log(D(G′(I))(i,j))]+(1-T(i,j))·[log(1-D(I)(i,j))+log(1-D(G′(I))(i,j))]]；其中，E为数学期望，G′(I)为生成网络最终输出去高光结果与输入图片的差值，T(i,j)为用于训练生成对抗网络中判别网络的判别目标结果。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的基于深度学习的人脸图片实时高光去除方法的流程图；图2为根据本专利技术一个实施例的基于深度学习的人脸图片实时高光去除方法的生成用于训练判别网络的数据的流程图；图3为根据本专利技术一个实施例的基于深度学习的人脸图片实时高光去除方法的生成对抗网络训练方法流程图；图4为根据本专利技术一个实施例的基于深度学习的人脸图片实时高光去除方法的效果示意图；和图5为根据本专利技术实施例的基于深度学习的人脸图片实时高光去除装置的结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本发本文档来自技高网...

【技术保护点】
1.一种基于深度学习的人脸图片实时高光去除方法，其特征在于，包括以下步骤：通过人脸拟合方法从人脸图片中提取人脸区域；从所述人脸区域中提取人脸高光分布图，以建立所述人脸图片与所述脸高光分布图构成的数据集；通过深度学习生成对抗网络，并通过所述数据集对所述对抗网络训练，以获取去除高光网络模型；以及通过所述高光去除网络模型去除所述人脸图片的高光，以得到所述人脸图片的高光去除结果。

【技术特征摘要】
1.一种基于深度学习的人脸图片实时高光去除方法，其特征在于，包括以下步骤：通过人脸拟合方法从人脸图片中提取人脸区域；从所述人脸区域中提取人脸高光分布图，以建立所述人脸图片与所述脸高光分布图构成的数据集；通过深度学习生成对抗网络，并通过所述数据集对所述对抗网络训练，以获取去除高光网络模型；以及通过所述高光去除网络模型去除所述人脸图片的高光，以得到所述人脸图片的高光去除结果。2.根据权利要求1所述的基于深度学习的人脸图片实时高光去除方法，其特征在于，所述通过人脸拟合方法从人脸图片中提取人脸区域，进一步包括：通过人脸特征提取方法获取所述人脸图片的特征点；根据所述特征点与人脸三维模型上顶点的对应关系建立能量方程，并通过优化迭代以利用预先拟合的人脸三维模型提取所述人脸区域。3.根据权利要求1所述的基于深度学习的人脸图片实时高光去除方法，其特征在于，所述获取去除高光网络模型，进一步包括：根据高光分量图片的图片块高光分量的下采样值和预设阈值判定所述图片块是否含有高光；在训练生成所述对抗网络的判别网络时，使得所述判别网络判定每个图片块是否含有高光，其中，所述判别网络不对含有非人脸区域的图片块进行判定；通过所述对抗网络的生成网络生成高光分量，其中，最终高光结果等于与网络输入与网络输出的差值；加入线性整流函数至所述生成网络，以保证网络输出为正值。4.根据权利要求3所述的基于深度学习的人脸图片实时高光去除方法，其特征在于，所述通过所述高光去除网络模型去除所述人脸图片的高光，进一步包括：将所述人脸区域作为所述去高光网络模型的输入，以得到所述人脸区域与去高光图片的差值，以得到所述高光去除结果。5.根据权利要求4所述的基于深度学习的人脸图片实时高光去除方法，其特征在于，还包括：在训练所述对抗网络，优化判别网络输出结果与目标判别结果的误差值，所述优化公式为：其中，E为数学期望，G′(I)为生成网络最终输出去高光结果与输入图片的差值，T(i,j)为用于训练生成对抗网络中判别网络的判别目标...

【专利技术属性】
技术研发人员：徐枫，王至博，刘烨斌，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11