基于隐私保护的人脸识别方法及装置制造方法及图纸

本说明书一个或多个实施例公开了一种基于隐私保护的人脸识别方法及装置。所述方法包括：采集目标用户的多模态人脸图像，所述多模态人脸图像包括平面人脸图像和深度人脸图像，所述平面人脸图像包括所述目标用户的隐私信息。按照预设的图像组合方式，将所述平面人脸图像和所述深度人脸图像进行组合，得到所述目标用户对应的目标人脸图像，所述目标人脸图像包括平面人脸特征信息和深度人脸特征信息。基于所述目标人脸图像，利用预先训练的多模态人脸识别模型对所述目标用户进行人脸识别，得到所述目标用户对应的人脸识别结果，所述多模态人脸识别模型基于多个目标人脸图像样本进行模型训练得到。

【技术实现步骤摘要】
基于隐私保护的人脸识别方法及装置
本说明书涉及隐私保护
，尤其涉及一种基于隐私保护的人脸识别方法及装置。
技术介绍
近年来，随着深度学习的兴起，生物识别系统得到了广泛的应用。例如，人脸识别系统已经步入了人们生产生活的方方面面，包含门禁、支付、出行等等。由于生物识别系统一般包含用户生物信息的采集、处理、上传和存储等环节，其中每一步都涉及到用户的隐私信息(生物特征信息)，因此用户的隐私信息有被泄露的风险，导致用户的生物特征信息容易被盗用。因此，亟需提供一种能够保护用户隐私信息的生物识别方法。
技术实现思路
一方面，本说明书一个或多个实施例提供一种基于隐私保护的人脸识别方法，包括：采集目标用户的多模态人脸图像，所述多模态人脸图像包括平面人脸图像和深度人脸图像，平面人脸图像包括目标用户的隐私信息。按照预设的图像组合方式，将所述平面人脸图像和所述深度人脸图像进行组合，得到所述目标用户对应的目标人脸图像，所述目标人脸图像包括平面人脸特征信息和深度人脸特征信息。基于所述目标人脸图像，利用预先训练的多模态人脸识别模型对所述目标本文档来自技高网...

【技术保护点】
1.一种基于隐私保护的人脸识别方法，包括：/n采集目标用户的多模态人脸图像；所述多模态人脸图像包括平面人脸图像和深度人脸图像；所述平面人脸图像包括所述目标用户的隐私信息；/n按照预设的图像组合方式，将所述平面人脸图像和所述深度人脸图像进行组合，得到所述目标用户对应的目标人脸图像；所述目标人脸图像包括平面人脸特征信息和深度人脸特征信息；/n基于所述目标人脸图像，利用预先训练的多模态人脸识别模型对所述目标用户进行人脸识别，得到所述目标用户对应的人脸识别结果；所述多模态人脸识别模型基于多个目标人脸图像样本进行模型训练得到；所述目标人脸图像样本为按照所述图像组合方式对多模态人脸图像样本进行组合后得到。...

【技术特征摘要】
1.一种基于隐私保护的人脸识别方法，包括：
采集目标用户的多模态人脸图像；所述多模态人脸图像包括平面人脸图像和深度人脸图像；所述平面人脸图像包括所述目标用户的隐私信息；
按照预设的图像组合方式，将所述平面人脸图像和所述深度人脸图像进行组合，得到所述目标用户对应的目标人脸图像；所述目标人脸图像包括平面人脸特征信息和深度人脸特征信息；
基于所述目标人脸图像，利用预先训练的多模态人脸识别模型对所述目标用户进行人脸识别，得到所述目标用户对应的人脸识别结果；所述多模态人脸识别模型基于多个目标人脸图像样本进行模型训练得到；所述目标人脸图像样本为按照所述图像组合方式对多模态人脸图像样本进行组合后得到。


2.根据权利要求1所述的方法，所述采集目标用户的多模态人脸图像之后，还包括：
按照预设的脱敏处理方式，对所述平面人脸图像进行脱敏处理，得到脱敏后的所述平面人脸图像；
所述按照预设的图像组合方式，将所述平面人脸图像和所述深度人脸图像进行组合，得到所述目标用户对应的目标人脸图像，包括：
按照预设的所述图像组合方式，将脱敏后的所述平面人脸图像和所述深度人脸图像进行组合，得到所述目标人脸图像。


3.根据权利要求1所述的方法，所述按照预设的图像组合方式，将所述平面人脸图像和所述深度人脸图像进行组合，得到所述目标用户对应的目标人脸图像，包括：
利用所述平面人脸图像对应的第一位图信息，替换所述深度人脸图像对应的、指定位数上的第二位图信息，得到所述目标人脸图像；所述第一位图信息与所述第二位图信息对应的位图长度相等。


4.根据权利要求3所述的方法，所述指定位数上的第二位图信息包括：所述深度图像人脸中除深度人脸特征信息之外的其他位图信息。


5.根据权利要求1所述的方法，所述按照预设的图像组合方式，将所述平面人脸图像和所述深度人脸图像进行组合，得到所述目标用户对应的目标人脸图像，包括：
确定所述平面人脸图像和所述深度人脸图像分别对应的权重；
按照所述平面人脸图像和所述深度人脸图像分别对应的所述权重，对所述平面人脸图像和所述深度人脸图像进行加权组合，得到所述目标人脸图像。


6.根据权利要求1所述的方法，所述采集目标用户的多模态人脸图像之前，还包括：
获取多个样本用户分别对应的所述多模态人脸图像样本；所述多模态人脸图像样本包括平面人脸图像样本和深度人脸图像样本；
对所述平面人脸图像样本进行脱敏处理，得到脱敏后的所述平面人脸图像样本；
按照所述图像组合方式，将脱敏后的所述平面人脸图像样本和所述深度人脸图像样本进行组合，得到所述样本用户对应的所述目标人脸图像样本；
以所述目标人脸图像样本作为输入数据、并以所述样本用户的人脸特征信息作为输出数据进行模型训练，得到所述多模态人脸识别模型。


7.根据权利要求6所述的方法，所述以所述目标人脸图像样本作为输入数据、并以所述样本用户的人脸特征信息作为输出数据进行模型训练，得到所述多模态人脸识别模型之后，还包括：
将所述多模态人脸识别模型部署于云端和/或终端；
所述基于所述目标人脸图像，利用预先训练的多模态人脸识别模型对所述目标用户进行人脸识别，包括：
基于所述目标人脸图像，利用所述终端上部署的所述多模态人脸识别模型对所述目标用户进行人脸识别；和/或，
将所述目标人脸图像上传至所述云端；所述云端用于根据所述目标人脸图像，并利用所述多模态人脸识别模型对所述目标用户进行人脸识别，以及将所述目标用户对应的人脸识别结果发送至所述终端；接收所述云端下发的所述人脸识别结果。


8.根据权利要求2所述的方法，所述利用预先训练的多模态人脸识别模型对所述目标人脸图像进行识别，得到所述目标用户对应的人脸识别结果，包括：
按照与所述图像组合方式相对应的图像拆分方式，拆分所述目标人脸图像对应的第三位图信息，得到所述目标用户的所述平面人脸图像对应的第四位图信息、以及所述深度人脸图像对应的第五位图信息；
从所述第四位图信息中提取所述目标用户对应的所述平面人脸特征信息，以及，从所述第五位图信息中提取所述目标用户对应的所述深度人脸特征信息；
根据所述平面人脸特征信息和所述深度人脸图像特征信息，对所述目标用户进行人脸识别，得到所述人脸识别结果。


9.根据权利要求8所述的方法，所述平面人脸图像为脱敏处理后的平面人脸图像；
所述从所述第四位图信息中提...

【专利技术属性】
技术研发人员：曹佳炯，丁菁汀，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33