人脸识别的方法和系统技术方案

本说明书提供的人脸识别的方法和系统，基于特征融合模型将人脸图像的二维特征和三维特征进行融合，降低融合后的特征所占用的存储空间，在不增加总的存储空间的情况下增加数据库中存储的特征数量，提升用户覆盖率的同时降低设备成本。所述特征融合模型是基于深度图像提取的采集三维特征以及基于二维特征估计的估计三维特征共同训练得到的，从而提升模态缺失场景的特征融合性能，提升人脸识别效率和准确率。确率。确率。

【技术实现步骤摘要】
人脸识别的方法和系统


[0001]本说明书涉及人脸识别领域，尤其涉及一种人脸识别的方法和系统。

技术介绍

[0002]随着计算机和互联网技术的发展，很多场景采用人脸识别的方式对用户进行身份验证，比如，刷脸支付、刷脸门禁等。人脸识别通常包括两种形式，二维人脸识别和三维人脸识别。二维人脸识别系统的识别率往往因光照、背景、姿态、清晰度等条件的影响而有所下降。三维信息受光照、背景、清晰度等影响较小，但是在一些特殊场景中(比如，强光环境、用户距离摄像头较远时)，三位采集设备所采集到的三维人脸图像的成像效果往往较差。因此，二维人脸识别和三维人脸识别相结合的多模态人脸识别算法应运而生。
[0003]但是，现有技术中，多模态人脸识别算法通常是在数据库中同时存储人脸图像的二维特征和三维特征，并在识别时对待识别人脸的二维特征和三维特征分别进行识别，并结合二维特征和三维特征的识别结果确定最终的识别结果。这种方法会导致数据库中每个用户人脸对应的特征数据所占用的存储空间增加，从而导致数据库的存储数量下降。特别是在客户端进行识别时，由于客户端的存储空间有限，单个人脸的特征数据增加会导致客户端中存储的人脸特征的数量降低，严重限制了本地数据库中存储的特征数量，从而导致用户覆盖率降低。同时，分别对二维特征和三维特征进行识别会增加计算量，使得人脸识别耗时增加，用户体验较差。而且，这种方法对于客户端的采集设备要求较高，对于没有配备三维采集设备的客户端，无法采集用户的三维特征，从而导致无法完成三维人脸识别。
[0004]因此，需要提供一种存储空间更小、计算量更小以及精度更高的人脸识别的方法和系统。

技术实现思路

[0005]本说明书提供一种存储空间更小、计算量更小以及精度更高的人脸识别的方法和系统。
[0006]第一方面，本说明书提供一种人脸识别的方法，包括：获取目标人脸的目标图像，所述目标图像包括二维图像或所述二维图像以及深度图像；基于所述目标图像，确定所述目标人脸的二维特征和三维特征，所述三维特征包括采集三维特征和估计三维特征中的一种，所述采集三维特征包括基于所述深度图像获取的深度特征，所述估计三维特征包括基于所述二维特征估计得到的深度特征；基于预先训练好的特征融合模型对所述二维特征与所述三维特征进行特征融合，确定目标融合特征，所述特征融合模型是基于样本用户人脸的所述二维特征、所述采集三维特征以及所述估计三维特征训练得到的；以及基于所述目标融合特征识别所述目标人脸。
[0007]在一些实施例中，述获取目标人脸的目标图像，包括：从客户端的图像采集设备获取所述目标图像，其中，所述图像采集设备包括二维图像采集设备或二维图像采集设备和深度图像采集设备，所述二维图像采集设备被配置为采集所述二维图像，所述深度图像采
集设备被配置为采集所述深度图像。
[0008]在一些实施例中，所述基于所述目标图像，确定所述目标人脸的二维特征和三维特征，包括：对所述二维图像进行特征提取，确定所述二维特征；以及基于所述目标图像，确定所述三维特征，包括以下方式中的一种：确定所述目标图像中包括所述深度图像，对所述深度图像进行特征提取，确定所述采集三维特征；以及确定所述目标图像中不包括所述深度图像，将所述二维特征输入到预先训练好的三维特征估计模型中，以对所述二维特征进行计算，确定所述估计三维特征。
[0009]在一些实施例中，所述对所述二维图像进行特征提取，确定所述二维特征，包括：将所述二维图像输入到预先训练的二维特征提取模型中，以对所述二维图像进行特征提取，得到所述二维图像对应的所述二维特征，所述二维特征提取模型是基于多个不同的历史二维图像进行模型训练得到。
[0010]在一些实施例中，所述对所述深度图像进行特征提取，确定所述采集三维特征，包括：将所述深度图像输入到预先训练的三维特征提取模型中，以对所述深度图像进行特征提取，得到所述深度图像对应的所述采集三维特征，所述三维特征提取模型是基于多个不同的历史深度图像进行模型训练得到。
[0011]在一些实施例中，所述三维特征估计模型的训练方法包括：将所述样本用户的人脸的所述二维特征输入待训练的所述三维特征估计模型，得到对应的预测估计三维特征；获取针对所述样本用户的基于所述预测估计三维特征的三元组数据，所述三元组数据包括所述样本用户的所述预测估计三维特征、与所述样本用户具有相同用户标识的用户的所述采集三维特征以及与所述样本用户具有不同用户标识的用户的所述采集三维特征；以及基于所述三元组数据，以所述预测估计三维特征与具有相同用户标识的所述样本用户的所述采集三维特征之间的相似度最大化，以及所述预测估计三维特征与具有不同用户标识的所述样本用户的所述采集三维特征之间的相似度最小化为优化目标，对所述三维特征估计模型进行训练，得到训练后的所述三维特征估计模型。
[0012]在一些实施例中，所述特征融合模型的训练方法包括：将所述样本用户的人脸的所述二维特征和所述采集三维特征作为所述样本用户的第一样本数据，将所述样本用户的人脸的所述二维特征和所述估计三维特征作为所述样本用户的第二样本数据，分别将所述样本用户的所述第一样本数据以及所述第二样本数据输入待训练的所述特征融合模型；将所述特征融合模型的输出结果输入待训练的分类概率模型，所述第一样本数据以及所述第二样本数据对应的分类标注为其各自对应的所述样本用户的用户标识；以及至少以所述分类概率模型的输出值与其对应的所述分类标注之间的相似度最大为优化目标，对所述特征融合模型和所述分类概率模型进行训练，得到训练后的所述特征融合模型。
[0013]在一些实施例中，在所述将所述特征融合模型的输出结果输入待训练的分类概率模型之前或之后，所述特征融合模型的训练方法还包括：将所述特征融合模型的输出结果输入待训练的解码模型，分别输出所述样本用户的第一解码数据和第二解码数据，所述第一解码数据与所述第一样本数据对应，所述第二解码数据与所述第二样本数据对应；所述至少以所述分类概率模型的输出值与其对应的所述分类标注之间的相似度最大为优化目标，对所述特征融合模型和所述分类概率模型进行训练，包括：以所述分类概率模型的输出值与其对应的所述分类标注之间的相似度最大为优化目标，并以相同用户标识的所述第一
解码数据和所述第一样本数据的相似度最大以及相同用户标识的所述第二解码数据和所述第二样本数据的相似度最大为优化目标，对所述特征融合模型、所述分类概率模型和所述解码模型进行训练。
[0014]在一些实施例中，所述基于所述目标融合特征识别所述目标人脸，包括：将所述目标融合特征与数据库中的多个融合特征进行匹配，识别所述目标人脸，其中，所述数据库包括客户端的数据库和服务器端的数据库中的至少一个，所述多个融合特征中的每个融合特征是通过所述特征融合模型对其对应的用户人脸的所述二维特征和所述三维特征进行特征融合得到的。
[0015]第二方面，本说明书还提供一种人脸识别系统，包括至少一个存储介质以及至少一个处理器，所述至少一个存储介质存储有至少一个指令集，用于进行人脸识别；以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸识别的方法，包括：获取目标人脸的目标图像，所述目标图像包括二维图像或所述二维图像以及深度图像；基于所述目标图像，确定所述目标人脸的二维特征和三维特征，所述三维特征包括采集三维特征和估计三维特征中的一种，所述采集三维特征包括基于所述深度图像获取的深度特征，所述估计三维特征包括基于所述二维特征估计得到的深度特征；基于预先训练好的特征融合模型对所述二维特征与所述三维特征进行特征融合，确定目标融合特征，所述特征融合模型是基于样本用户人脸的所述二维特征、所述采集三维特征以及所述估计三维特征训练得到的；以及基于所述目标融合特征识别所述目标人脸。2.如权利要求1所述的人脸识别的方法，其中，所述获取目标人脸的目标图像，包括：从客户端的图像采集设备获取所述目标图像，其中，所述图像采集设备包括二维图像采集设备或二维图像采集设备和深度图像采集设备，所述二维图像采集设备被配置为采集所述二维图像，所述深度图像采集设备被配置为采集所述深度图像。3.如权利要求1所述的人脸识别的方法，其中，所述基于所述目标图像，确定所述目标人脸的二维特征和三维特征，包括：对所述二维图像进行特征提取，确定所述二维特征；以及基于所述目标图像，确定所述三维特征，包括以下方式中的一种：确定所述目标图像中包括所述深度图像，对所述深度图像进行特征提取，确定所述采集三维特征；以及确定所述目标图像中不包括所述深度图像，将所述二维特征输入到预先训练好的三维特征估计模型中，以对所述二维特征进行计算，确定所述估计三维特征。4.如权利要求3所述的人脸识别的方法，其中，所述对所述二维图像进行特征提取，确定所述二维特征，包括：将所述二维图像输入到预先训练的二维特征提取模型中，以对所述二维图像进行特征提取，得到所述二维图像对应的所述二维特征，所述二维特征提取模型是基于多个不同的历史二维图像进行模型训练得到。5.如权利要求3所述的人脸识别的方法，其中，所述对所述深度图像进行特征提取，确定所述采集三维特征，包括：将所述深度图像输入到预先训练的三维特征提取模型中，以对所述深度图像进行特征提取，得到所述深度图像对应的所述采集三维特征，所述三维特征提取模型是基于多个不同的历史深度图像进行模型训练得到。6.如权利要求3所述的人脸识别的方法，其中，所述三维特征估计模型的训练方法包括：将所述样本用户的人脸的所述二维特征输入待训练的所述三维特征估计模型，得到对应的预测估计三维特征；获取针对所述样本用户的基于所述预测估计三维特征的三元组数据，所述三元组数据包括所述样本用户的所述预测估计三维特征、与所述样本用户具有相同用户标识的用户的所述采集三维特征以及与所述样本用户具有不同用户标识的用户的所述采集三维特征；以
及基于所述三元组数据，以所述预...

【专利技术属性】
技术研发人员：王泽荣，马晨光，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：