一种人脸特征提取方法、装置及设备制造方法及图纸

技术编号:24757883 阅读:73 留言:0更新日期:2020-07-04 09:32
本说明书实施例公开了一种用于隐私保护的人脸特征提取方法、装置及设备。该方案包括:将待识别用户的人脸图像输入图像编码器,得到所述图像编码器输出的所述人脸图像的编码向量,所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据;利用全连接的深度神经网络模型接收所述编码向量后,输出所述待识别用户的人脸特征向量。其中,所述图像编码器为自编码器中的编码器;所述图像编码器的输出与所述深度神经网络模型的输入连接。

A face feature extraction method, device and device

【技术实现步骤摘要】
一种人脸特征提取方法、装置及设备
本说明书一个或多个实施例涉及计算机
,尤其涉及一种人脸特征提取方法、装置及设备。
技术介绍
随着计算机技术以及光学成像技术的发展,基于人脸识别技术的用户识别方式正在日渐普及。目前,通常需要将客户端设备采集的待识别用户的人脸图像发送至服务端设备处,以便于该服务端设备从该待识别用户的人脸图像中提取出人脸特征向量,从而可以基于该人脸特征向量去生成用户识别结果。由于待识别用户的人脸图像属于用户敏感信息,因此,这种需将待识别用户的人脸图像发送至其他设备进行特征提取的方法存在泄漏用户敏感信息的风险。基于此,如何在保证用户人脸信息的隐私性的基础上去提取用户人脸特征,已成为亟待解决的技术问题。
技术实现思路
有鉴于此,本说明书一个或多个实施例提供了一种人脸特征提取方法、装置及设备,用于在保证用户人脸信息的隐私性的基础上去提取用户人脸特征。为解决上述技术问题,本说明书实施例是这样实现的:本说明书实施例提供的一种人脸特征提取方法,所述方法使用了用于隐私保护的人脸特征提取模型,所述人脸特征提取模型包括:图像编码器及全连接的深度神经网络模型;所述图像编码器为自编码器中的编码器;所述图像编码器的输出与所述深度神经网络模型的输入连接;所述方法包括:将待识别用户的人脸图像输入所述图像编码器,得到所述图像编码器输出的所述人脸图像的编码向量,所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据;所述深度神经网络模型接收所述编码向量后,输出所述待识别用户的人脸特征向量。本说明书实施例提供的一种针对用于隐私保护的人脸特征提取模型的训练方法,所述方法包括:获取第一训练样本集合,所述第一训练样本集合中的训练样本为人脸图像;利用所述第一训练样本集合对初始自编码器进行训练,得到训练后的自编码器;获取第二训练样本集合,所述第二训练样本集合中的训练样本为编码向量,所述编码向量为利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据;利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练,得到训练后的深度神经网络模型;根据所述编码器及所述训练后的深度神经网络模型,生成用于隐私保护的人脸特征提取模型。本说明书实施例提供的一种人脸特征提取装置,所述装置使用了用于隐私保护的人脸特征提取模型,所述人脸特征提取模型包括:图像编码器及全连接的深度神经网络模型;所述图像编码器为自编码器中的编码器;所述图像编码器的输出与所述深度神经网络模型的输入连接;所述装置包括:输入模块,用于将待识别用户的人脸图像输入所述图像编码器,得到所述图像编码器输出的所述人脸图像的编码向量,所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据;人脸特征向量生成模块,用于令所述深度神经网络模型接收所述编码向量后,输出所述待识别用户的人脸特征向量。本说明书实施例提供的一种针对用于隐私保护的人脸特征提取模型的训练装置,所述装置包括:第一获取模块,用于获取第一训练样本集合,所述第一训练样本集合中的训练样本为人脸图像;第一训练模块,用于利用所述第一训练样本集合对初始自编码器进行训练,得到训练后的自编码器;第二获取模块,用于获取第二训练样本集合,所述第二训练样本集合中的训练样本为编码向量,所述编码向量为利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据;第二训练模块,用于利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练,得到训练后的深度神经网络模型;人脸特征提取模型生成模块,用于根据所述编码器及所述训练后的深度神经网络模型,生成用于隐私保护的人脸特征提取模型。本说明书实施例提供的一种客户端设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有图像编码器以及可被所述至少一个处理器执行的指令,所述图像编码器为自编码器中的编码器,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:将待识别用户的人脸图像输入所述图像编码器,得到所述图像编码器输出的所述人脸图像的编码向量,所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据;发送所述编码向量至服务端设备,以便于所述服务端设备利用全连接的深度神经网络模型根据所述编码向量生成所述待识别用户的人脸特征向量。本说明书实施例提供的一种服务端设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有全连接的深度神经网络模型以及可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:获取待识别用户的人脸图像的编码向量,所述编码向量是利用自编码器中的编码器对所述人脸图像进行特征化处理而得到的向量数据;所述全连接的深度神经网络模型接收所述编码向量后,输出所述待识别用户的人脸特征向量。本说明书实施例提供的一种针对用于隐私保护的人脸特征提取模型的训练设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:获取第一训练样本集合,所述第一训练样本集合中的训练样本为人脸图像;利用所述第一训练样本集合对初始自编码器进行训练,得到训练后的自编码器;获取第二训练样本集合,所述第二训练样本集合中的训练样本为编码向量,所述编码向量为利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据;利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练,得到训练后的深度神经网络模型;根据所述编码器及所述训练后的深度神经网络模型,生成用于隐私保护的人脸特征提取模型。本说明书一个实施例实现了能够达到以下有益效果:由于图像编码器生成的待识别用户的人脸图像的编码向量为对该人脸图像进行特征化处理后得到的向量数据,使得对该待识别用户的人脸图像的编码向量进行传输、存储或使用时,不会对用户人脸信息的隐私性及安全性产生影响。因此,服务提供商可以通过获取并处理待识别用户的人脸图像的编码向量,以生成待识别用户的人脸特征向量,而无需去获取待识别用户的原始人脸图像,以确保用户人脸信息的隐私性及安全性。附图说明此处所说明的附图用来提供对本说明书一个或多个实施例的进一步理解,构成本说明书一个或多个实施例的一部分,本说明书的示意性实施例及其说明用于解释本说明书一个或多个实施例,并不构成对本说明书一个或多个实施例的不当限定。在附图中:图1为本说明书实施例提供的一种人脸特征提取方法的流程示意图;图2为本说明书实施例提供的一种用于隐私保护的人脸特征提取模型的结构示意图;图3为本说明书实施例提供的一种针对用于隐私本文档来自技高网...

【技术保护点】
1.一种人脸特征提取方法,所述方法使用了用于隐私保护的人脸特征提取模型,所述人脸特征提取模型包括:图像编码器及全连接的深度神经网络模型;所述图像编码器为自编码器中的编码器;所述图像编码器的输出与所述深度神经网络模型的输入连接;所述方法包括:/n将待识别用户的人脸图像输入所述图像编码器,得到所述图像编码器输出的所述人脸图像的编码向量,所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据;/n所述深度神经网络模型接收所述编码向量后,输出所述待识别用户的人脸特征向量。/n

【技术特征摘要】
1.一种人脸特征提取方法,所述方法使用了用于隐私保护的人脸特征提取模型,所述人脸特征提取模型包括:图像编码器及全连接的深度神经网络模型;所述图像编码器为自编码器中的编码器;所述图像编码器的输出与所述深度神经网络模型的输入连接;所述方法包括:
将待识别用户的人脸图像输入所述图像编码器,得到所述图像编码器输出的所述人脸图像的编码向量,所述编码向量为对所述人脸图像进行特征化处理后得到的向量数据;
所述深度神经网络模型接收所述编码向量后,输出所述待识别用户的人脸特征向量。


2.如权利要求1所述的方法,所述图像编码器包括:所述自编码器的输入层、第一隐藏层及瓶颈层;所述输入层与所述第一隐藏层连接,所述第一隐藏层与所述瓶颈层连接,所述瓶颈层与所述深度神经网络模型连接;
所述输入层,用于接收所述待识别用户的人脸图像;
所述第一隐藏层,用于对所述人脸图像进行编码处理,得到第一特征向量;
所述瓶颈层,用于对所述第一特征向量进行降维处理,得到所述人脸图像的编码向量,所述编码向量的维度数量小于所述第一特征向量的维度数量。


3.如权利要求2所述的方法,所述自编码器还包括第二隐藏层及输出层;所述第二隐藏层与所述瓶颈层连接,所述第二隐藏层还与所述输出层连接;
其中,所述第二隐藏层与所述输出层组成解码器,所述解码器用于对所述编码向量进行解码处理,所述解码器为被锁定的模型。


4.如权利要求1所述的方法,所述全连接的深度神经网络模型包括:输入层及多个全连接层;
其中,所述输入层与所述图像编码器的输出连接,所述输入层还与所述全连接层连接;
所述输入层,用于接收所述图像编码器输出的所述编码向量;
所述全连接层,用于对所述编码向量进行特征提取,得到所述待识别用户的人脸特征向量。


5.如权利要求4所述的方法,所述全连接的深度神经网络模型还包括输出层,所述输出层与所述全连接层连接;所述输出层,用于根据所述全连接层输出的所述待识别用户的人脸特征向量,生成人脸分类结果;
其中,所述待识别用户的人脸特征向量为与所述输出层相邻的全连接层的输出向量。


6.如权利要求1所述的方法,所述人脸特征提取模型还包括用户匹配模型,所述用户匹配模型的输入与所述深度神经网络模型的输出连接;所述方法还包括:
所述用户匹配模型接收所述待识别用户的人脸特征向量及指定用户的人脸特征向量,并根据所述待识别用户的人脸特征向量和所述指定用户的人脸特征向量之间的向量距离,生成表示所述待识别用户是否为所述指定用户的输出信息,其中,所述指定用户的人脸特征向量为利用所述图像编码器及所述全连接的深度神经网络模型对所述指定用户的人脸图像进行处理而得到的。


7.一种针对用于隐私保护的人脸特征提取模型的训练方法,所述方法包括:
获取第一训练样本集合,所述第一训练样本集合中的训练样本为人脸图像;
利用所述第一训练样本集合对初始自编码器进行训练,得到训练后的自编码器;
获取第二训练样本集合,所述第二训练样本集合中的训练样本为编码向量,所述编码向量为利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据;
利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练,得到训练后的深度神经网络模型;
根据所述编码器及所述训练后的深度神经网络模型,生成用于隐私保护的人脸特征提取模型。


8.如权利要求7所述的方法,所述利用所述第一训练样本集合对初始自编码器进行训练,得到训练后的自编码器,具体包括:
针对所述第一训练样本集合中的每个训练样本,将所述训练样本输入所述初始自编码器,得到重建人脸图像数据;
以最小化图像重建损失为目标,对所述初始自编码器的模型参数进行优化,得到训练后的自编码器;所述图像重建损失为所述重建人脸图像数据与所述训练样本之间的差异值。


9.如权利要求8所述的方法,所述编码器包括所述自编码器中的输入层、第一隐藏层及瓶颈层;所述输入层与所述第一隐藏层连接,所述第一隐藏层与所述瓶颈层连接;
所述利用所述训练后的自编码器中的编码器对人脸图像进行特征化处理后得到的向量数据,具体包括:
利用所述输入层接收人脸图像后,所述第一隐藏层对所述人脸图像进行编码处理,得到第一特征向量,所述瓶颈层对所述第一特征向量进行降维处理,得到编码向量,所述编码向量的维度数量小于所述第一特征向量的维度数量。


10.如权利要求9所述的方法,所述自编码器还包括:第二隐藏层及输出层;所述第二隐藏层与所述瓶颈层连接,所述第二隐藏层还与所述输出层连接;
其中,所述第二隐藏层与所述输出层组成解码器,所述解码器用于对所述编码向量进行解码处理,以得到重建人脸图像数据。


11.如权利要求7所述的方法,所述利用所述第二训练样本集合对全连接的初始深度神经网络模型进行训练,具体包括:
针对所述第二训练样本集合中的每个编码向量,利用所述初始深度神经网络模型对所述编码向量进行分类处理,得到所述编码向量的类别标签预测值;
获取针对所述编码向量的类别标签预设值;
以最小化分类损失为目标,对所述初始深度神经网络模型的模型参数进行优化,所述分类损失为所述类别标签预测值与所述类别标签预设值之间的差异值。


12.如权利要求7所述的方法,所述第一训练样本集合中的训练样本为已取得使用权限的人脸图像;所述第二训练样本集合中的训练样本是利用所述编码器对需进行隐私保护的用户的人脸图像进行特征化处理而得到的向量数据。


13.如权利要求7所述的方法,所述生成用于隐私保护的人脸特征提取模型之前,还包括:
建立用户匹配模型,所述用户匹配模型用于根据待识别用户的第一人脸特征向量与指定用户的第二人脸特征向量之间的向量距离,生成表示所述待识别用户是否为所述指定用户的输出结果,所述第一人脸特征向量是利用所述编码器及所述训练后的深度神经网络模型对所述待识别用户的人脸图像进行处理得到的,所述第二人脸特征向量是利用所述编码器及所述训练后的深度神经网络模型对所述指定用户的人脸图像进行处理得到的;
所述生成用于隐私保护的人脸特征提取模型,具体包括:
生成由所述编码器、所述训练后的深度神经网络模型及所述用户匹配模型构成的用于隐私保护的人脸特征提取模型。


14.一种人脸特征提取装置,所述装置使用了用于隐私保护的人脸特征提取模型,所述人脸特征提取模型包括:图像编码器及全连接的深度神经网络模型;所述图像编码器为自编码器中的编码器;所述图像编...

【专利技术属性】
技术研发人员:徐崴
申请(专利权)人:支付宝杭州信息技术有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1