一种基于人脸图像的眼镜框去除方法及装置制造方法及图纸

本申请公开了一种基于人脸图像的眼镜框去除方法及装置，用以避免眼镜框残留的问题。基于人脸图像的眼镜框去除方法包括：建立基于人脸图像的深层神经网络；将眼镜框待去除人脸图像输入到所述基于人脸图像的深层神经网络，输出与所述眼镜框待去除人脸图像对应的不戴眼镜的人脸图像；根据所述眼镜框待去除人脸图像和所述不戴眼镜的人脸图像，确定眼镜框区域；将所述眼镜框待去除人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像。

Eye frame removal method and device based on face image

The present invention discloses a method and a device for removing the eyeglass frame based on the face image, so as to avoid the residual problem of the spectacle frame. An eye mirror frame removal method based on a face image includes the establishment of a deep neural network based on a face image, and an eyeglass frame to be removed to the face image to be input to the deep neural network based on the face image, and a face image without glasses corresponding to the face image to be removed from the spectacle frame is output. The image of the eye mirror frame area is removed by removing the face image and the unworn face image, and the pixel value of the eye frame area in the face image is removed to be replaced by the pixel value of the eye frame area in the face image without the spectacles, and the image frame is removed by the eye lens.

【技术实现步骤摘要】
一种基于人脸图像的眼镜框去除方法及装置
本申请涉及图像处理
，尤其涉及一种基于人脸图像的眼镜框去除方法及装置。
技术介绍
眼镜(特别是深色粗框眼镜)作为一种常见的面部装饰物，影响着人脸识别的准确率，将戴眼镜的人脸图像进行眼镜去除和修复，能够有效地减弱或消除眼镜对人脸识别效果的影响，为了减弱或消除眼镜对人脸识别效果的影响，大量的眼镜框摘除方法被相继提出。常见的眼镜框摘除方法多采用基于重构的眼镜框摘除方法。该方法主要通过大量不戴眼镜的人脸图像来构建人脸特征子空间，将戴眼镜的人脸图像向该人脸特征子空间进行投影以去除和修复眼镜框区域，如：基于主成分分析(PrincipleComponentAnalysis，PAC)的眼镜框去除和修复方法，基于独立分析(IndependentComponentAnalysis，ICA)的眼镜框去除和修复方法，基于稀疏表达的眼镜框去除和修复方法等。现有技术基于重构的眼镜框摘除方法虽然可以有效地对眼镜框进行去除和修复，但现有技术中基于重构的眼镜框摘除方法仅采用单层神经网络对戴眼镜的人脸图像进行重构，单层神经网络结构对图像的重构能力差，导致现有技术对人脸图像眼镜框修复效果较差，眼镜框区域会出现严重的残留痕迹，即使使用迭代式的误差补偿方法，仍然会存在眼镜框残留的问题。
技术实现思路
本申请实施例提供了一种基于人脸图像的眼镜框去除方法及装置，用以避免眼镜框残留的问题，使修复后的图像更加自然。本申请实施例提供的一种基于人脸图像的眼镜框去除方法，包括：建立基于人脸图像的深层神经网络；将所述眼镜框待去除人脸图像输入到所述预先建立的深层神经网络，输出与所述眼镜框待去除人脸图像对应的不戴眼镜的人脸图像；根据所述眼镜框待去除人脸图像和所述不戴眼镜的人脸图像，确定眼镜框区域；将所述眼镜框待去除人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像。本申请实施例提供的基于人脸图像的眼镜框去除方法，建立了基于人脸图像的深层神经网络，由于深层神经网络具有更深的网络层数以及较强的非线性，从而利用预先建立的基于人脸图像的深层神经网络对人脸图像中的眼镜框去除，可以避免眼镜框的残留，并且可以使最终得到的眼镜框去除图像更加自然，实现更高质量的眼镜框去除。可选地，建立基于人脸图像的深层神经网络具体包括：建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；建立人脸图像样本库，所述人脸图像样本库包括至少一张不戴眼镜的人脸图像、以及根据该不戴眼镜的人脸图像生成的戴不同眼镜的多张戴眼镜人脸图像；选择所述人脸图像样本库中的多张戴眼镜人脸图像作为所述单层神经网络训练图像，分别利用每一单层网络训练图像从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练，其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；分别将人脸图像样本库中的多张戴眼镜的人脸图像输入到所述新的深层神经网络，将与所述戴眼镜的人脸图像对应的不戴眼镜的人脸图像作为所述新的深层神经网络的输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络。可选地，建立基于人脸图像的深层神经网络具体包括：建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；建立人脸图像样本库，所述人脸图像样本库包括多张不戴眼镜的人脸图像；利用所述人脸图像样本库中的多张不戴眼镜的人脸图像，分别从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练；其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；以所述人脸图像样本库中的每一不戴眼镜的人脸图像为输入和输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络。可选地，所述单层神经网络为受限玻尔兹曼机，逐层对所述单层神经网络进行训练具体包括：采用对比散度算法逐层对所述受限玻尔兹曼机进行训练。可选地，所述人脸图像样本库中的所述戴眼镜的人脸图像是根据不戴眼镜的人脸图像采用眼镜自动生成算法生成的。可选地，将所述戴眼镜的人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像之后，该方法还包括：将所述眼镜框去除图像输入到所述预先建立的基于人脸图像的深层神经网络，输出眼镜框去除修复图像。可选地，根据所述戴眼镜的人脸图像和所述与不戴眼镜的人脸图像，确定眼镜框区域具体包括：计算所述戴眼镜的人脸图像与所述不戴眼镜的人脸图像的差值的绝对值，并采用自适应二值算法得到眼镜模板，所述眼镜模板中像素值为1的区域为所述眼镜框区域，所述眼镜模板中像素值为0的区域为非眼镜框区域。本申请实施例提供了一种基于人脸图像的眼镜框去除装置，包括：深层神经网络模块，用于建立基于人脸图像的深层神经网络；眼镜框去除模块，用于将眼镜框待去除人脸图像输入到所述基于人脸图像的深层神经网络，输出与所述眼镜框待去除人脸图像对应的不戴眼镜的人脸图像；眼镜框定位模块，用于根据所述眼镜框待去除人脸图像和所述不戴眼镜的人脸图像，确定眼镜框区域；眼镜框修复模块，用于将所述眼镜框待去除人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像。可选地，所述深层神经网络模块具体包括：待训练深层神经网络建立模块，用于建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；人脸图像样本库建立模块，用于建立人脸图像样本库，所述人脸图像样本库包括至少一张不戴眼镜的人脸图像、以及根据该不戴眼镜的人脸图像生成的戴不同眼镜的多张戴眼镜人脸图像；训练模块，用于选择所述人脸图像样本库中的多张戴眼镜人脸图像作为所述单层神经网络训练图像，分别利用每一单层网络训练图像从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练，其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；深层神经网络生成模块，用于将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；微调模块，用于分别将人脸图像样本库中的多张戴眼镜的人脸图像输入到所述新的深层神经网络，将与所述戴眼镜的人脸图像对应的不戴眼镜的人脸图像作为所述新的深层神经网络的输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络。可选地，所述深层神经网络模块具体包括：待训练深层神经网络建立模块，用于建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；人脸图像样本库建立模块，用于建立人脸图像样本库，所述人脸图像样本库包括多张不戴眼镜的人脸图像；训练模块，用于利用所述人脸图像样本库中的多张不戴眼镜的人脸图像，分别从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练；其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；深层神经网络生成模块，用于将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；微调模块，用于以所述人脸图像样本库中的每一不戴眼镜的人脸图像为输入和输出本文档来自技高网...

【技术保护点】
1.一种基于人脸图像的眼镜框去除方法，其特征在于，该方法包括：建立基于人脸图像的深层神经网络；将眼镜框待去除人脸图像输入到所述基于人脸图像的深层神经网络，输出与所述眼镜框待去除人脸图像对应的不戴眼镜的人脸图像；根据所述眼镜框待去除人脸图像和所述不戴眼镜的人脸图像，确定眼镜框区域；将所述眼镜框待去除人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像。

【技术特征摘要】
1.一种基于人脸图像的眼镜框去除方法，其特征在于，该方法包括：建立基于人脸图像的深层神经网络；将眼镜框待去除人脸图像输入到所述基于人脸图像的深层神经网络，输出与所述眼镜框待去除人脸图像对应的不戴眼镜的人脸图像；根据所述眼镜框待去除人脸图像和所述不戴眼镜的人脸图像，确定眼镜框区域；将所述眼镜框待去除人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像。2.根据权利要求1所述的眼镜框去除方法，其特征在于，建立基于人脸图像的深层神经网络具体包括：建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；建立人脸图像样本库，所述人脸图像样本库包括至少一张不戴眼镜的人脸图像、以及根据该不戴眼镜的人脸图像生成的戴不同眼镜的多张戴眼镜人脸图像；选择所述人脸图像样本库中的多张戴眼镜人脸图像作为所述单层神经网络训练图像，分别利用每一单层网络训练图像从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练，其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；分别将人脸图像样本库中的多张戴眼镜的人脸图像输入到所述新的深层神经网络，将与所述戴眼镜的人脸图像对应的不戴眼镜的人脸图像作为所述新的深层神经网络的输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络。3.根据权利要求1所述的眼镜框去除方法，其特征在于，建立基于人脸图像的深层神经网络具体包括：建立待训练的深层神经网络，并将待训练的深层神经网络拆分成多个单层神经网络；建立人脸图像样本库，所述人脸图像样本库包括多张不戴眼镜的人脸图像；利用所述人脸图像样本库中的多张不戴眼镜的人脸图像，分别从第一层所述单层神经网络开始，逐层对所述单层神经网络进行训练；其中，将每一层单层神经网络进行训练后的输出作为下一层单层神经网络的输入；将训练后的所述单层神经网络堆叠、并逐层反向重构，形成新的深层神经网络；以所述人脸图像样本库中的每一不戴眼镜的人脸图像为输入和输出，对所述新的深层神经网络进行微调，得到基于人脸图像的深层神经网络。4.根据权利要求2或3所述的眼镜框去除方法，其特征在于，所述单层神经网络为受限玻尔兹曼机，逐层对所述单层神经网络进行训练具体包括：采用对比散度算法逐层对所述受限玻尔兹曼机进行训练。5.根据权利要求2所述的眼镜框去除方法，其特征在于，所述人脸图像样本库中的所述戴眼镜的人脸图像是根据不戴眼镜的人脸图像采用眼镜自动生成算法生成的。6.根据权利要求3所述的眼镜框去除方法，其特征在于，将所述戴眼镜的人脸图像中所述眼镜框区域的像素值，替换为所述不戴眼镜的人脸图像中所述眼镜框区域的像素值，得到眼镜框去除图像之后，该方法还包括：将所述眼镜框去除图像输入到所述预先建立的基于人脸图像的深层神经网络，输出眼镜框去除修复图像。7.根据权利要求1所述的眼镜框去除方法，其特征在于，根据所述戴眼镜的人脸图像和所述与不戴眼镜的人脸图像，确定眼镜框区域具体包括：计算所述戴眼镜的人脸图像与所述不戴眼镜的人脸图像的差值的绝对值，并采用自适应二值算法得到眼镜模板，所述眼镜模板中像素值为1的区域为所述眼镜框区域，所述眼镜模板中像素值为0的区域为非眼镜框区域。8.一种基于人脸图像的眼镜框去除装置，其特征在于，包括：深层神经网络模块，用...

【专利技术属性】
技术研发人员：程福运，郝敬松，王刚，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江,33