一种基于深度学习的人脸验证方法及系统技术方案

本发明专利技术公开一种基于深度学习的人脸验证方法及系统，能够准确检测带有体毛或者配饰物的人脸，提高人脸识别的适用范围和准确率。该方法包括：基于多张第一图像构建第一图像集，以及基于多张第二图像构建第二图像集；对应的根据第一图像集训练人脸检测模型，以及根据第二图像集训练特征提取模型；将包含人脸的待检测图像输入人脸检测模型，提取出待验证人脸图像；利用特征提取模型处理校正待验证人脸图像，并提取各待验证人脸图像中的人脸特征信息；基于人脸特征信息计算任意两张待验证人脸图像的相似度，获取的两个待验证人脸图像的验证结果。该系统包括上述技术方案所提的方法。

【技术实现步骤摘要】
一种基于深度学习的人脸验证方法及系统
本专利技术涉及计算机视觉
，尤其涉及一种基于深度学习的人脸验证方法及系统。
技术介绍
生物特征识别技术是目前最为方便、安全的身份识别技术，生物特征识别技术识别的是人本身，不需要人身之外的标识物。生物特征识别技术利用人的生理特征和行为特征进行身份识别，主要有指纹识别、人脸识别、虹膜识别、步态识别等。其中，人脸识别是当前生物特征识别领域的一大热点。它与目前广泛应用的指纹识别技术相比，有着直观性、方便性、非接触性、友好性、用户接受度高等显著优点。人脸识别的核心之一为人脸验证，常用的人脸验证技术是基于人的脸部特征，对输入的人脸图像或者视频流进行判断，首先判断是否存在人脸，如果存在，则进一步给出人脸所在的位置，大小，也既是人脸定位，并根据这些信息进一步提取出人脸的传统特征信息，最后将其与已知的人脸对比，从而验证每个人脸的身份。现有的人脸验证技术虽然验证速度快，但是受环境影响较大，例如，当人脸被配饰遮挡或者受胡须干扰时，将会干扰人脸验证的判别，导致验证的结果不够准确。
技术实现思路
本专利技术的目的在于提供一种基于深度学习的人脸验证方法及系统，能够准确检测带有体毛或者配饰物的人脸，提高人脸识别的适用范围和准确率。为了实现上述目的，本专利技术一方面提供一种基于深度学习的人脸验证方法，包括：基于多张第一图像构建第一图像集，以及基于多张第二图像构建第二图像集；对应的根据所述第一图像集训练人脸检测模型，以及根据所述第二图像集训练特征提取模型；将包含人脸的待检测图像输入所述人脸检测模型，提取出待验证人脸图像；利用所述特征提取模型处理校正所述待验证人脸图像，并提取各所述待验证人脸图像中的人脸特征信息；基于所述人脸特征信息计算任意两张所述待验证人脸图像的相似度，获取所述的两个待验证人脸图像的验证结果。优选地，所述第一图像集包括多个人的普通人脸图像集合，所述普通人脸图像集合又包括多张一类人脸图像、多张二类人脸图像、多张三类人脸图像中的一种或多种；所述一类人脸图像为正常人脸图像，所述二类人脸图像为体毛遮挡人脸图像，所述三类人脸图像为配饰遮挡人脸图像。较佳地，所述根据第一图像集训练人脸检测模型的方法包括：分别对各所述第一图像进行信息标注，所述信息标注的内容包括图片大小、路径信息和图片分类信息；依次对所述第一图像及其对应的所述信息标注进行数据清洗和归一化处理；利用深度神经网络对所述人脸图像结合对应的所述信息标注进行人脸检测训练，得到人脸检测模型。较佳地，所述根据第二图像集训练特征提取模型的方法包括：将所述第二图像集以人为单位进行人脸分类，每一人脸分类包括同一人的多张所述第二图像；依次对所述第二图像及其对应的所述信息标注进行数据清洗和归一化处理；分别对所述第二图像进行信息标注，所述信息标注的内容包括第二图像的路径信息和人脸分类名称；利用sphereface神经网络对每一人脸分类中的所述第二图像，结合对应的所述信息标注进行特征提取训练，得到特征提取模型。可选地，所述依次对第一图像及其对应的信息标注进行数据清洗和归一化处理的方法包括：将各所述信息标注统一转换成XML格式的文本；剔除低质量的所述第一图像及其对应的所述信息标注，以及剔除不规范的所述信息标注及其对应的所述第一图像；分别对所述第一图像进行统一尺寸的调整。可选地，所述依次对第二图像进行数据清洗和归一化处理的方法包括：剔除低质量的所述第二图像，并分别对所述第二图像进行统一尺寸的调整；将各所述第二图像统一转换成LMDB格式的图像。具体地，所述利用特征提取模型处理校正待验证人脸图像，并提取各待验证人脸图像中的人脸特征信息的方法包括：接收提取出的多张待验证人脸图像，基于预设裁剪坐标对各所述待验证人脸图像中的人脸进行裁剪优化；从优化裁剪后的各所述待验证人脸图像中提取68个关键点位，并基于所述68个关键点位对各所述待验证人脸图像中的人脸进行矫正和归一化处理；基于sphereface深度神经网络提取各所述待验证人脸图像中人脸的512维特征，并对其镜像得到对应的镜像512维特征；根据各所述待验证人脸图像中人脸的512维特征及其对应的镜像512维特征，得到所述待验证人脸图像中人脸的1024维人脸特征信息。示例性地，所述从优化裁剪后的各待验证人脸图像中提取68个关键点位的方法包括：使用dlib工具和opencv工具从优化裁剪后的各待验证人脸图像中提取68个关键点位。优选地，所述基于人脸特征信息计算任意两个待验证人脸图像的相似度，获取所述的两个待验证人脸图像的验证结果的方法包括：选择任意两个待验证人脸图像，获取各自对应的1024维人脸特征信息F1和F2；通过余弦相似度公式计算F1和F2的相似度得到两个待验证人脸图像的相似度；当两个待验证人脸图像的相似度大于阈值时，验证结果为同一人，否则验证结果为非同一人。与现有技术相比，本专利技术提供的基于深度学习的人脸验证方法具有以下有益效果：本专利技术提供的基于深度学习的人脸验证方法中，第一图像集中包括多个普通人脸图像集合，其中，第一图像(普通人脸图像)是指正常拍摄的包括人脸的图像，也即除人脸之外还包括其他内容的图像，例如，拍摄的某一人全身图像，该图像除了人脸之外还包括手、腿等其他图像，其中，人脸检测模型的训练方法是将第一图像集细化为三种类型的图片，即正常人脸图像、体毛遮挡人脸图像和配饰遮挡人脸图像，由于图像的数量足够多，类型足够丰富，因此基于这些图像训练得来的人脸检测模型不仅能够准确检测正常人脸图像、而且还能够准确检测体毛遮挡人脸图像和配饰遮挡人脸图像，例如大胡子人脸图像和戴墨镜人脸图像，以使本专利技术中的人脸检测模型具有检测结果精确、适用范围广泛的特点；另外，特征提取模型是基于第二图像集训练而成的，第二图像集中包括多个特殊人脸图像集合，第二图像(特殊人脸图像)是指人脸面积大于整张图像90％面积的图像，也即除人脸之外没有其他内容的图像，利用特征提取模型处理校正待验证人脸图像，并提取待验证人脸图像中的人脸特征信息，然后以人脸特征信息为参数结合相似度计算公式计算两张待验证人脸图像的相似度，当相似度大于或等于阈值时，则表示两张待验证人脸图像为同一人，否则，表示两张待验证人脸图像非同一人。可见，本专利技术中的人脸检测模型和特征提取模型是基于两组不同的图像集训练而成的，因此人脸检测和特征提取的结果更准确，另外，本专利技术融合了分类训练的理念，增加了多种类别的训练样本，解决了现有技术中不能够准确检测大胡子人脸图像和戴配饰人脸图像的弊端，进一步提高了本专利技术人脸验证方法的实用性和识别的准确性。本专利技术的另一方面提供一种基于深度学习的人脸验证系统，应用于上述技术方案所述的一种基于深度学习的人脸验证方法中，包括第一图像采集单元、第二图像采集单元、第一模型训练单元、第二模型训练单元、人脸图像获取单元、人脸特征提取单元和人脸验证单元；所述第一图像采集单元用于基于多张第一图像构建第一图像集；所述第二图像采集单元用于基于多张第二图像构建第二图像集；所述第一模型训练单元用于根据所述第一图像集训练人脸检测模型；所述第二模型训练单元用于根据所述第二图像集训练特征提取模型；所述人脸图像获取单元用于将包含人脸的待检测图像输入所述人脸检测模型，提取出待验证人脸图像；所述人脸特征提取单元本文档来自技高网...

【技术保护点】
1.一种基于深度学习的人脸验证方法，其特征在于，包括：基于多张第一图像构建第一图像集，以及基于多张第二图像构建第二图像集；对应的根据所述第一图像集训练人脸检测模型，以及根据所述第二图像集训练特征提取模型；将包含人脸的待检测图像输入所述人脸检测模型，提取出待验证人脸图像；利用所述特征提取模型处理校正所述待验证人脸图像，并提取各所述待验证人脸图像中的人脸特征信息；基于所述人脸特征信息计算任意两张所述待验证人脸图像的相似度，获取所述的两个待验证人脸图像的验证结果。

【技术特征摘要】
1.一种基于深度学习的人脸验证方法，其特征在于，包括：基于多张第一图像构建第一图像集，以及基于多张第二图像构建第二图像集；对应的根据所述第一图像集训练人脸检测模型，以及根据所述第二图像集训练特征提取模型；将包含人脸的待检测图像输入所述人脸检测模型，提取出待验证人脸图像；利用所述特征提取模型处理校正所述待验证人脸图像，并提取各所述待验证人脸图像中的人脸特征信息；基于所述人脸特征信息计算任意两张所述待验证人脸图像的相似度，获取所述的两个待验证人脸图像的验证结果。2.根据权利要求1所述的方法，其特征在于，所述第一图像集包括多个人的普通人脸图像集合，所述普通人脸图像集合又包括多张一类人脸图像、多张二类人脸图像、多张三类人脸图像中的一种或多种；所述一类人脸图像为正常人脸图像，所述二类人脸图像为体毛遮挡人脸图像，所述三类人脸图像为配饰遮挡人脸图像。3.根据权利要求1所述的方法，其特征在于，所述根据第一图像集训练人脸检测模型的方法包括：分别对各所述第一图像进行信息标注，信息标注的内容包括图片大小、路径信息和图片分类信息；依次对所述第一图像及其对应的所述信息标注进行数据清洗和归一化处理；利用sphereface神经网络对所述第一图像结合对应的信息标注进行人脸检测训练，得到人脸检测模型。4.根据权利要求1所述的方法，其特征在于，所述根据第二图像集训练特征提取模型的方法包括：将所述第二图像集以人为单位进行人脸分类，每一人脸分类包括同一人的多张所述第二图像；对所述第二图像进行数据清洗和归一化处理；分别对所述第二图像进行信息标注，信息标注的内容包括第二图像的路径信息和人脸分类名称；利用sphereface神经网络对每一人脸分类中的所述第二图像，结合对应的所述信息标注进行特征提取训练，得到特征提取模型。5.根据权利要求3所述的方法，其特征在于，所述依次对第一图像及其对应的信息标注进行数据清洗和归一化处理的方法包括：将各信息标注统一转换成XML格式的文本；剔除低质量的所述第一图像及其对应的所述信息标注，以及剔除不规范的所述信息标注及其对应的所述第一图像；分别对所述第一图像进行统一尺寸的调整。6.根据权利要求4所述的方法，其特征在于，所述依次对第二图像进行数据清洗和归一化处理的方法包括：剔除低质量的所述第二图像，并分别对所述第二图像进行统一尺寸的调整；将各所述第二图像统一转换成LMDB格式的图像。7.根据权利要求1所述的方法，其特征在于，所述利用特征提取模型处理校正待验证人脸图像，并提取各待验证人脸图像中的人脸特征信息的方法包括：接收提取出的多张待验证人脸图像，基于预设裁剪坐标对各所述待验证人脸图像中的人脸进行裁剪优化；从优化...

【专利技术属性】
技术研发人员：李玉惠，陈晓光，傅强，金红，杨满智，蔡琳，刘长永，
申请(专利权)人：恒安嘉新北京科技股份公司，
类型：发明
国别省市：北京,11