一种面向人脸识别隐私保护的对抗性特征生成方法技术

本发明专利技术公开了一种面向人脸识别隐私保护的对抗性特征生成方法，建立了一个影子模型，以获取从面部特征到图像的映射函数，通过解决约束优化问题生成对抗性潜在噪声来破坏映射，并由此提出了一种保护隐私的对抗性特征，其在面对未知结构的攻击网络时能保持优异的防御性能，可以在保持人脸识别准确性的同时抵御未知重构攻击，有效保护人脸隐私安全，本发明专利技术实用性高，不需要更改已部署的人脸识别模型，可以作为隐私增强模块快速集成到现有人脸识别系统中，使其满足保护人脸隐私的需求；也可以选择性优化身份识别网络，以满足更高识别精度的要求。的要求。的要求。

【技术实现步骤摘要】
一种面向人脸识别隐私保护的对抗性特征生成方法


[0001]本专利技术涉及人工智能(AI)安全领域和数据安全领域，具体涉及一种面向人脸识别隐私保护的对抗性特征生成方法，既可以保证人脸识别系统精度同时能够抵御重构攻击保护人脸隐私。

技术介绍

[0002]人脸识别是一种利用个人面部信息识别身份的方式，它已被广泛用于许多安全敏感的场景应用中。毋庸置疑，用于生物识别的面部图像对每个人来说都是应该受到保护的个人隐私。为了避免面部图像的直接泄露，主流的人脸识别系统通常采用客户端
‑
服务器模式，通过客户端的特征提取器从面部图像中提取特征，并将面部特征而不是面部图像存储在服务器端，用于之后的在线识别。
[0003]由于人脸特征抑制了人脸的视觉信息，在一定程度上可以实现人脸隐私的保护。但不幸的是，这些特征一旦泄露仍然可以被利用来恢复人脸敏感信息，例如，通过重构网络恢复出原始图像的外观。现有的人脸隐私保护方法的技术问题在于无法有效地平衡隐私保护的有效性和人脸识别任务的准确性，因而无法满足应用需求。

技术实现思路

[0004]本专利技术就是针对现有技术的不足，提供了一种面向人脸识别隐私保护的对抗性特征生成方法，兼顾人脸识别任务的准确性和隐私保护的有效性。
[0005]为了实现上述目的，本申请提供了以下技术方案：
[0006]在一个总体方面，提供了一种面向人脸识别隐私保护的对抗性特征生成方法，其特殊之处在于，包含如下步骤：
[0007]1)准备阶段：
[0008]1.1)在完成人脸识别模型的初始训练后，将该人脸识别模型分为两部分：特征提取器E(
·
)和身份识别网络(计算密集型)，将特征提取器E(
·
)作为客户端分发给用户，身份识别网络则置于服务端；
[0009]2)影子模型训练阶段：
[0010]2.1)通过特征提取器E(
·
)，将人脸图像数据集(训练集)处理为与数据集相对应的面部特征；
[0011]2.2)根据人脸图像数据(训练集)与相应面部特征的对应关系训练得到影子模型S(
·
)并部署在服务端；
[0012]3)初始化数据库阶段：
[0013]3.1)若无人脸识别数据库，则建立人脸识别数据库，若已存在人脸识别数据库，则获取该人脸识别数据库；
[0014]3.2)利用特征提取器E(
·
)将人脸识别数据库处理为面部特征数据库；
[0015]3.3)面部特征数据库中的面部特征被影子模型S(
·
)处理为I类影子图像，I类影
子图像经过特征提取器E(
·
)处理后得到影子特征；
[0016]3.4)利用相同的影子模型S(
·
)处理影子特征，得到II类影子图像；
[0017]3.5)计算I类影子图像与II类影子图像两者之间的重构损失，并根据损失计算相应的梯度大小以及梯度方向；
[0018]3.6)根据梯度大小以及梯度方向，通过解决一个约束优化问题，生成对抗性潜在噪声；
[0019]3.7)将影子特征与对抗性潜在噪声相加得到具有隐私保护能力的对抗性特征；
[0020]3.8)用对抗性特征替换原有的人脸识别数据库中的数据，完成对人脸识别数据库的初始化或安全性更新；
[0021]4)系统运行阶段：
[0022]4.1)从人脸识别终端获取的待验证的人脸图像，经过特征提取器E(
·
)处理为面部特征后，发送至服务端；
[0023]4.2)面部特征被影子模型S(
·
)处理为I类影子图像，I类影子图像经过特征提取器E(
·
)处理后得到影子特征；
[0024]4.3)利用相同的影子模型S(
·
)处理影子特征，得到Ⅱ类影子图像；
[0025]4.4)计算Ⅰ类影子图像与Ⅱ类影子图像两者之间的重构损失，并根据损失计算相应的梯度大小以及梯度方向；
[0026]4.5)根据梯度大小以及梯度方向，通过解决一个约束优化问题，生成对抗性潜在噪声；
[0027]4.6)将影子特征与对抗性潜在噪声相加得到待验证人脸图像对应的具有隐私保护能力的对抗性特征；
[0028]4.7)利用身份识别网络将待验证的人脸图像对应的对抗性特征与人脸识别数据库中的对抗性特征进行比对，得到人脸识别结果。
[0029]进一步地，步骤1.1)所述的特征提取器E(
·
)被分发给客户端，是一个轻量级的网络，只需要用很少的计算来提取浅层特征，所述的身份识别网络部署在服务端用于身份识别。
[0030]进一步地，步骤2.2)所述的影子模型S(
·
)是任意结构的重构网络，以学习从面部特征到人脸图像的映射关系，通过最小化以下损失函数在公共人脸数据集上训练影子模型S(
·
)：
[0031][0032]其中X是人脸图像数据(训练集)，Z是相应的面部特征集，x
i
是单个原始面部图像，z
i
表示从x
i
中提取的单个面部特征。
[0033]进一步地，步骤3.3)、步骤4.2)所述的面部特征被影子模型S(
·
)处理为Ⅰ类影子图像，Ⅰ类影子图像经过特征提取器E(
·
)处理后得到影子特征，所述过程形式化表示为：
[0034][0035]其中是影子模型根据客户端提交的面部特征z重建的Ⅰ类影子图像，是使用特征提取器从Ⅰ类影子图像中提取的影子特征。
[0036]进一步地，步骤3.5)、步骤4.4)所述的影子模型重构损失的梯度进一步地，步骤3.5)、步骤4.4)所述的影子模型重构损失的梯度与添加噪声(扰动)δ的关系如下：
[0037][0038]其中表示将δ初始化为零的对抗性特征，添加噪声后，攻击者无法从对抗特征中恢复Ⅰ类影子图像由于与原始图像x高度相似，因此攻击者也很难重建原始图像，由于用于训练的人脸图像和部署人脸识别网络后遇到的人脸图像可能有很大差异，故更新了影子模型中批量归一化(BN)层的参数，独立计算每一批次面部特征的均值μ和方差σ。
[0039]进一步地，步骤3.6)、步骤4.5)所述的对抗性潜在噪声的约束优化目标旨在找到一个L
p
‑
norm有界噪声δ来扰动特征，从而使重构损失最大化，其公式化为以下约束优化问题：
[0040][0041]其中x是原始面部图像，z表示从x中提取的面部特征，δ表示对抗性潜在噪声，ξ表示噪声界限，R为重构攻击网络，所述的优化问题通过沿的梯度方向添加噪声来解决，为了生成对抗性特征，在的指导下将对抗性潜在噪声δ注入到影子特征中，使用Project Gradient Descent(PGD)算法(基于梯度的方法)生成对抗性特征来打破从特征到原始面部图像的映射，从而使人脸识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向人脸识别隐私保护的对抗性特征生成方法，其特征在于，包含如下步骤：1)准备阶段：1.1)在完成人脸识别模型的初始训练后，将该人脸识别模型分为两部分：特征提取器E(
·
)和身份识别网络(计算密集型)，将特征提取器E(
·
)作为客户端分发给用户，身份识别网络则置于服务端；2)影子模型训练阶段：2.1)通过特征提取器E(
·
)，将人脸图像数据集(训练集)处理为与数据集相对应的面部特征；2.2)根据人脸图像数据(训练集)与相应面部特征的对应关系训练得到影子模型S(
·
)并部署在服务端；3)初始化数据库阶段：3.1)若无人脸识别数据库，则建立人脸识别数据库，若已存在人脸识别数据库，则获取该人脸识别数据库；3.2)利用特征提取器E(
·
)将人脸识别数据库处理为面部特征数据库；3.3)面部特征数据库中的面部特征被影子模型S(
·
)处理为Ⅰ类影子图像，Ⅰ类影子图像经过特征提取器E(
·
)处理后得到影子特征；3.4)利用相同的影子模型S(
·
)处理影子特征，得到Ⅱ类影子图像；3.5)计算Ⅰ类影子图像与Ⅱ类影子图像两者之间的重构损失，并根据损失计算相应的梯度大小以及梯度方向；3.6)根据梯度大小以及梯度方向，通过解决一个约束优化问题，生成对抗性潜在噪声；3.7)将影子特征与对抗性潜在噪声相加得到具有隐私保护能力的对抗性特征；3.8)用对抗性特征替换原有的人脸识别数据库中的数据，完成对人脸识别数据库的初始化或安全性更新；4)系统运行阶段：4.1)从人脸识别终端获取的待验证的人脸图像，经过特征提取器E(
·
)处理为面部特征后，发送至服务端；4.2)面部特征被影子模型S(
·
)处理为Ⅰ类影子图像，Ⅰ类影子图像经过特征提取器E(
·
)处理后得到影子特征；4.3)利用相同的影子模型S(
·
)处理影子特征，得到Ⅱ类影子图像；4.4)计算Ⅰ类影子图像与Ⅱ类影子图像两者之间的重构损失，并根据损失计算相应的梯度大小以及梯度方向；4.5)根据梯度大小以及梯度方向，通过解决一个约束优化问题，生成对抗性潜在噪声；4.6)将影子特征与对抗性潜在噪声相加得到待验证人脸图像对应的具有隐私保护能力的对抗性特征；4.7)利用身份识别网络将待验证的人脸图像对应的对抗性特征与人脸识别数据库中的对抗性特征进行比对，得到人脸识别结果。2.如权利要求1所述的面向人脸识别隐私保护的对抗性特征生成方法，其特征在于：步骤1.1)所述的特征提取器E(
·
)被分发给客户端，是一个轻量级的网络，只需要用很少的计
算来提取浅层特征，所述的身份识别网络部署在服务端用于身份识别。3.如权利要求1所述的面向人脸识别隐私保护的对抗性特征生成方法，其特征在于：步骤2.2)所述的影子模型S(
·
...

【专利技术属性】
技术研发人员：王志波，金帅帆，张文文，王炎，王和，胡佳慧，孙鹏，任奎，
申请(专利权)人：浙江大学，
类型：发明
国别省市：