一种基于秘密共享与联邦学习的人脸识别方法技术

本发明专利技术提供一种基于秘密共享与联邦学习的人脸识别方法，涉及人脸识别技术领域。该方法包括秘密共享构件与联邦学习构件。针对无约束人脸图片，首先在模型训练过程中，利用联邦学习构件训练特征提取器与人脸分类器，当客户端将模型参数上传到服务器时，使用差分隐私的方法对参数加入噪声；同时利用秘密共享构件的分发算法，将人脸图像分发为多个影子图像并存储于影子数据库中；其次在人脸识别过程中，利用联邦学习构件训练好的特征提取器与分类器，寻找相似度最高的人脸id，在一定数量的影子数据库中检索对应的影子图像，根据秘密共享构件的恢复算法，恢复人脸图像并回显。本发明专利技术实现了人脸识别对隐私安全性与人脸识别可用性的要求。要求。要求。

【技术实现步骤摘要】
一种基于秘密共享与联邦学习的人脸识别方法


[0001]本专利技术涉及人脸识别
，尤其涉及一种基于秘密共享与联邦学习的人脸识别方法。

技术介绍

[0002]人脸识别是当前应用最为广泛的生物特征认证技术，应用于互联网金融、信息化应用、生产监控、门禁物联这些与人们生产生活息息相关的领域中。人脸识别的过程可以分为两个部分：模型训练过程和识别过程。模型训练过程包括特征提取器的训练与分类器的训练。识别过程将利用训练好的模型进行人脸匹配，在客户端显示存于数据库中的人脸图片。
[0003]人脸识别的主要难度包括准确性和安全性两方面要求。现有的方法大多注重于保证准确性，而忽略了安全性的要求。传统的人脸识别系统无论是采用集中式存储还是分布式存储，在将人脸图片存入数据库时,照片作为文件都是完整存在的。因此，当攻击者攻陷一个数据库时，都将泄露一部分人完整的人脸信息。同时，在人脸识别进行训练时需要大量的数据使神经网络学习到更多的人脸特征从而更好的区分假冒者。但人脸信息作为隐私信息，并不能被大规模集中收集。此外，人脸识别模型的参数在传递时，易受差分攻击，从而导致个人信息泄露。因此需要一个具备隐私安全性与人脸识别可用性的生物特征认证原型系统。

技术实现思路

[0004]本专利技术要解决的技术问题是针对上述现有技术的不足，提供一种基于秘密共享与联邦学习的人脸识别方法，实现更安全的人脸识别。
[0005]为解决上述技术问题，本专利技术所采取的技术方案是：基于秘密共享与联邦学习的人脸识别方法。针对无约束人脸图片，首先使用联邦学习的方法训练模型，服务器向参与本轮通信的客户端发送初始化模型，客户端利用本地数据集训练模型后使用差分隐私的方法对模型参数加入噪声，所有参与本轮通信的客户端将加入噪声的模型参数上传服务器，由服务器进行聚合形成联邦模型以作为下一轮通信的初始化模型，其中客户端是具有不可共享的人脸图像并拥有计算能力的节点。同时利用秘密共享的分发算法，将人脸图像分发为多个影子并存储于影子数据库中。其次在人脸识别过程中，利用训练好的联邦模型进行推理，寻找相似度最高的人脸id，并使用该人脸id在一定数量的影子数据库中检索对应的影子图像，然后利用秘密共享的恢复算法恢复人脸图像并回显。具体包括以下步骤：
[0006]步骤1：利用联邦学习和差分隐私的方法，以原始无约束人脸图像作为输入，训练人脸识别模型，人脸识别模型包括特征提取器与人脸分类器；
[0007]步骤1.1：模型初始化；
[0008]步骤1.1.1：选取联邦学习算法；
[0009]步骤1.1.2：选取联邦学习参数，分别设置客户端总数K、每轮参与通信的客户端的
比例C、总通信轮数T、本地训练轮数E；
[0010]步骤1.1.3：选取人脸识别模型，包括特征提取器、人脸分类器；
[0011]步骤1.2：模型训练；
[0012]步骤1.2.1：服务器分发模型，服务器从K个客户端中选取参与本轮通信的C
·
K个客户端，并将当前的联邦模型作为初始化模型发送给选定的客户端；
[0013]步骤1.2.2：客户端训练模型；
[0014]步骤1.2.2.1：参与本轮通信的每个客户端将本地私有的人脸图像作为输入，训练特征提取器；然后将特征提取器计算得到人脸图特征作为输入，训练人脸分类器；
[0015]步骤1.2.2.2：本地训练E轮后，向模型的每个参数加入一定大小的噪声，并将加入噪声的模型参数上传到服务器；
[0016]步骤1.2.3：服务器聚合模型；
[0017]服务器收集选取到的C
·
K个客户端的模型参数，计算模型中每个参数的平均值，更新联邦模型；
[0018]步骤1.2.4：重复步骤1.2.1至步骤1.2.3，直至通信T轮；
[0019]步骤1.3：服务器将最终的联邦模型传递给所有的客户端。
[0020]步骤2：利用Shamir秘密共享的分发算法，每个客户端将本地所有的人脸图像分发为多个影子图像并存储于影子数据库中；
[0021]步骤2.1：秘密共享初始化：分别设置参数n、参数k和素数p，n表示将1张人脸图像分发为n张影子图像，k表示至少需要k张影子图像才能恢复原始人脸图像；
[0022]步骤2.2：分发每个客户端的每张人脸图像；
[0023]步骤2.2.1：在RGB三个通道上，将图像的每个通道转换为一个矩阵，每个矩阵记录了图像在该通道上的像素值，一张人脸图像共转换出三个矩阵；
[0024]步骤2.2.2：生成影子图像；
[0025]步骤2.2.2.1：构造多项式，对于每一个通道的每一个像素，将像素值作为秘密，生成k
‑
1个随机数，构成以秘密为常数项的k
‑
1阶多项式，将{1,2,
…
,n}分别代入多项式，计算得到该像素点在单通道上的n个影子值；秘密是指只有拥有这张人脸图像的客户端知道该位置的像素值，且该像素值不共享给其他客户端。
[0026]步骤2.2.2.2：构造影子矩阵，依次计算每个通道上的每个像素的n个影子值，每个通道形成n个影子矩阵，共形成3*n个影子矩阵；
[0027]步骤2.2.2.3：构造影子图像，将三个通道上对应的三个影子矩阵转换为影子图像，共形成n张影子图像；
[0028]步骤2.3：存储影子图像，将n个影子图像分别存储到n个不同的影子数据库中，删除原始人脸图像信息。
[0029]步骤3：利用训练好的联邦模型进行人脸识别；
[0030]步骤3.1：客户端将要识别的人脸图像输入到步骤2中得到的联邦模型的特征提取器部分，输出该人脸的特征。
[0031]步骤3.2：客户端将人脸特征，输入到步骤1中得到的联邦模型的人脸分类器部分，输出该人脸的id。
[0032]步骤4：利用Shamir秘密共享的恢复算法，将k个影子图像恢复为原始人脸图像；
[0033]步骤4.1：客户端从n个影子数据库中任意选取k个影子数据库；在每个数据库中，利用步骤3中得到的id分别检索对应的影子图像，共获取到k张影子图像；
[0034]步骤4.2：构造人脸图像矩阵；
[0035]步骤4.2.1：在RGB三个通道上，将4.1中获取到的k张影子图像的每个通道转换为一个矩阵，每个矩阵记录了影子图像在该通道上的像素值，一张影子图像共转换出三个矩阵；
[0036]步骤4.2.2：获取k个影子图像在同一通道上同一位置的像素值，利用这k个像素值重构k
‑
1次多项式，将0输入多项式中进行计算，计算结果即为原始人脸图像在该位置上的单通道像素值；
[0037]步骤4.2.3：依次恢复人脸图像每一个通道的所有像素值，得到人脸图像矩阵；
[0038]步骤4.3：将4.2中获取到的三个人脸图像矩阵拼接为三通道的人脸图像，并在客户端回显恢复的人脸图像。
[0039]采用上述技术方案所产生的有益效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于秘密共享与联邦学习的人脸识别方法，其特征在于，所述方法具体包括以下步骤：步骤1：利用联邦学习和差分隐私的方法，以原始无约束人脸图像作为输入，训练人脸识别模型，人脸识别模型包括特征提取器与人脸分类器；步骤2：利用Shamir秘密共享的分发算法，每个客户端将本地所有的人脸图像分发为多个影子图像并存储于影子数据库中；步骤3：利用训练好的联邦模型进行人脸识别；步骤4：利用Shamir秘密共享的恢复算法，将k个影子图像恢复为原始人脸图像。2.根据权利要求1所述的一种基于秘密共享与联邦学习的人脸识别方法，其特征在于，所述步骤1具体包括以下步骤：步骤1.1：模型初始化；步骤1.1.1：选取联邦学习算法；步骤1.1.2：选取联邦学习参数，分别设置客户端总数K、每轮参与通信的客户端的比例C、总通信轮数T、本地训练轮数E；步骤1.1.3：选取人脸识别模型，包括特征提取器、人脸分类器；步骤1.2：模型训练；步骤1.2.1：服务器分发模型，服务器从K个客户端中选取参与本轮通信的C
·
K个客户端，并将当前的联邦模型作为初始化模型发送给选定的客户端；步骤1.2.2：客户端训练模型；步骤1.2.2.1：参与本轮通信的每个客户端将本地私有的人脸图像作为输入，训练特征提取器；然后将特征提取器计算得到人脸图特征作为输入，训练人脸分类器；步骤1.2.2.2：本地训练E轮后，向模型的每个参数加入一定大小的噪声，并将加入噪声的模型参数上传到服务器；步骤1.2.3：服务器聚合模型；服务器收集选取到的C
·
K个客户端的模型参数，计算模型中每个参数的平均值，更新联邦模型；步骤1.2.4：重复步骤1.2.1至步骤1.2.3，直至通信T轮；步骤1.3：服务器将最终的联邦模型传递给所有的客户端。3.根据权利要求1所述的一种基于秘密共享与联邦学习的人脸识别方法，其特征在于，所述步骤2具体包括以下步骤：步骤2.1：秘密共享初始化：分别设置参数n、参数k和素数p，n表示将1张人脸图像分发为n张影子图像，k表示至少需要k张影子图像才能恢复原始人脸图像；步骤2.2：分发每个客户端的每张人脸图像；步骤2.2.1：在RGB三个通道上，将图像的每个通道转换为一个矩阵，每个矩阵记录了图像在该通道上的像素值，一张人脸图像共转换出三个矩阵；步骤2.2.2：生成影子图像；步骤2.3：存储影子图像，将n个影子...

【专利技术属性】
技术研发人员：罗佳媛，李锂，谭振华，贾志亮，宁婧宇，岳茗，
申请(专利权)人：东北大学，
类型：发明
国别省市：