一种人脸验证隐私保护方法和装置制造方法及图纸

本发明专利技术公开一种人脸验证隐私保护方法和装置。向扰动迁移网络T载入经过本发明专利技术优化后的模型参数，能够根据不同用户的不同待保护人脸图像，生成对应的隐私保护图像对抗样本，通过上传隐私保护图像对抗样本至社交平台，即使经过平台的图像压缩处理，被未经授权的恶意第三方抓取后也无法进行有效的信息处理活动，从而保障了图像分享服务过程中用户的隐私安全。本发明专利技术方法生成的隐私保护对抗样本真实自然，通过用户端和服务器端的两阶段协同生成框架，保证服务器端在构造对抗样本的过程不需要获取用户原始图像，有效避免了用户图像在服务器端可能发生的信息泄露问题，增强了隐私保护过程本身的安全性。程本身的安全性。程本身的安全性。

【技术实现步骤摘要】
一种人脸验证隐私保护方法和装置


[0001]本专利技术属于深度学习下人脸识别领域的人脸验证任务，具体涉及一种人脸验证隐私保护方法和装置。

技术介绍

[0002]随着硬件技术的算力增长和算法的不断更迭，以卷积神经网络为代表的深度学习技术被广泛应用在了许多机器学习的任务中，如计算机视觉的图像分类、目标检测、人脸识别等等。人脸识别系统的主要任务分为以下两种：1)人脸识别，根据输入的图像返回对应的预测对象身份；2)人脸验证，判断用户输入的图像对是否为同一人。在生物识别技术的使用背景下，隐私保护要求对个人的生物特征数据仅用于特定目的。得利于深度学习模型的不断发展，人脸识别系统已经能够超越人类的识别能力，在基准数据集上实现高达99％的准确率。与此同时，人脸识别系统的广泛应用也给个人信息的保护带来了一定威胁，导致个人照片的身份隐私信息存在潜在风险。各种社交媒体平台(例如Facebook，Instagram)上，未经授权的恶意第三方通过抓取社交平台上的人脸图像，进行非法的信息处理活动，侵犯公民生物识别信息的隐私安全。因此，针对社交平台的图像分享服务，需要在满足图像分享的可用性前提下保护身份信息不被过度识别和利用。
[0003]人脸图像的去识别化隐私保护研究可以分为图像处理去识别化、人脸属性去识别化和基于对抗样本的去识别化。图像处理去识别化是一种视觉隐私保护方法，主要采用诸如模糊、像素化处理等视觉处理方法破坏人脸图像的可读性进行去识别化。但研究表明，即使图像处理后的图像经过图像重建恢复后，其身份信息仍能被正确识别。人脸属性去识别化方法是指改变人脸图像面部特征区域进而影响特征提取表征的去识别化方法，例如更换或扭曲面部特征区域进行去识别，从而达到隐私保护的目的。基于对抗样本的去识别是指向人脸图像上添加微小的对抗性扰动以构造对抗样本，可以在不改变人脸图像的可视质量和可辨识特征，满足社交平台可用性要求的前提下，逃避人脸识别系统的识别和检测。对抗样本也可被用于人脸图像去识别化隐私保护，但该过程存在要求直接获取原始图像的数据安全问题。随着云端服务的不断集成完善，为了节约移动设备的算力，社交平台逐步在云端提供包括隐私保护在内的云服务。数据的传输过程以及对图像的临时存储，均存在潜在的信息泄露风险。即主要存在以下三类问题：
[0004]1)无法权衡好隐私保护效果和社交平台图像可用性二者之间的关系。通过模糊或像素化的图像处理去识别化方法会严重影响图像的质量，并且其隐私保护效果较差；通过更换或改变面部表征区域的人脸属性去识别化方法改变了对象的面部特征，不再适用于社交分享；基于对抗样本的隐私保护方法，或是生成的对抗样本为了实现较好的隐私保护效果，添加的对抗扰动往往较多故容易被察觉，出现失真和伪影，变得不真实自然。
[0005]2)缺乏有效的隐私保护方法对更多的人脸识别模型实现较好的隐私保护效果，隐私保护迁移性较差。对基于对抗样本的隐私保护方法而言，白盒对抗攻击方法生成的隐私保护对抗样本需要了解攻击的目标模型的结构和参数，且生成的对抗样本仅能有效地攻击
白盒的人脸识别模型，攻击其他未知的黑盒人脸识别模型时，其隐私保护效果差，无法实现很好的跨模型隐私保护。
[0006]3)社交媒体平台为了节约图像的数据存储空间，会对用户上传的图片进行压缩处理。经过社交媒体平台对图像的压缩处理，会消除图片中不容易察觉的高频细节信息和扰动，大大降低隐私保护对抗样本的隐私保护效果。
[0007]对此，相比于原始图像的端到端学习，通过扰动的端到端学习即可实现基于对抗样本的隐私保护，扰动信息即使发生信息泄露，也无法被用于有效的信息处理活动，增强了隐私保护过程的安全性。
[0008]术语解释
[0009]白盒人脸识别模型：指能够获取到所有模型信息和结构的人脸识别模型；
[0010]黑盒人脸识别模型：指无法获取到任何模型信息和结构的人脸识别模型；

技术实现思路

[0011]本专利技术的第一个目的是针对社交媒体平台的图像分享的特定场景下，人脸验证隐私保护技术的不足，提供一种有效可行的人脸验证隐私保护方法。
[0012]本专利技术的具体实现方法步骤如下：
[0013]步骤一、用户端获取待保护的人脸图像x
o
并对其进行预处理，得到预处理后的原始人脸图像x；数据集中选取与原始人脸图像x属于同一对象的另一张人脸图像，作为注册人脸图像x
e
，以便进行人脸验证任务；
[0014]步骤二、用户端将原始人脸图像x输入到本地人脸识别模型f
θ
中，提取原始人脸图像x的特征向量信息，得到原始人脸图像x对应的特征向量f
θ
(x)；
[0015]步骤三、用户端对特征向量f
θ
(x)使用梯度攻击方法进行梯度攻击，以最大化用户端损失函数L
u
为目标,即argmax(L
u
(f
θ
(x+s
o
),f
θ
(x
e
)))，使得本地人脸识别模型f
θ
无法根据特征向量f
θ
(x+s
o
)和f
θ
(x
e
)进行正确人脸验证，经梯度攻击方法进行梯度攻击后得到梯度扰动s
o
；
[0016]所述梯度攻击方法获得梯度扰动s
o
的计算过程如下式(1)所示：
[0017][0018]式中θ表示本地人脸识别模型f
θ
的模型参数，ε表示生成的梯度扰动s
o
在L
∞
空间下的扰动范围内，sign(
·
)表示符号函数，L
u
(
·
)表示衡量原始人脸图像x和注册人脸图像x
e
的特征向量之间距离的用户端损失函数；n表示迭代次数；
[0019]步骤四、将梯度扰动s
o
上传至服务器端，通过扰动迁移网络T学习对应于服务器端目标人脸识别模型f
θ
'的对抗扰动s；其过程可描述为：
[0020]s＝T(s
o
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0021]步骤五、将服务器端的对抗扰动s传回至用户端，对抗扰动s与原始人脸图像x相加得到隐私保护图像x
p
＝x+s；
[0022]步骤六、对添加对抗扰动s后的隐私保护图像x
p
进行高斯滤波操作，得到G(x
p
)；
[0023]步骤七、根据G(x
p
)和注册人脸图像x
e
在目标人脸识别模型下f
θ
'的特征向量之间的总损失L进行优化训练；
[0024]步骤八、训练完成后，向扰动迁移网络T载入训练最终得到的模型参数T
θ...

【技术保护点】

【技术特征摘要】
1.一种人脸验证隐私保护方法，其特征在于所述方法包括以下步骤：步骤一、用户端获取待保护的人脸图像x
o
并对其进行预处理，得到预处理后的原始人脸图像x；数据集中选取与原始人脸图像x属于同一对象的另一张人脸图像，作为注册人脸图像x
e
，以便进行人脸验证任务；步骤二、用户端将原始人脸图像x输入到本地人脸识别模型f
θ
中，提取原始人脸图像x的特征向量信息，得到原始人脸图像x对应的特征向量f
θ
(x)；步骤三、用户端对特征向量f
θ
(x)使用梯度攻击方法进行梯度攻击，以最大化用户端损失函数L
u
为目标,即argmax(L
u
(f
θ
(x+s
o
),f
θ
(x
e
)))，使得本地人脸识别模型f
θ
无法根据特征向量f
θ
(x+s
o
)和f
θ
(x
e
)进行正确人脸验证，经梯度攻击方法进行梯度攻击后得到梯度扰动s
o
；所述梯度攻击方法获得梯度扰动s
o
的计算过程如下式(1)所示：式中θ表示本地人脸识别模型f
θ
的模型参数，ε表示生成的梯度扰动s
o
在L
∞
空间下的扰动范围内，sign(
·
)表示符号函数，L
u
(
·
)表示衡量原始人脸图像x和注册人脸图像x
e
的特征向量之间距离的用户端损失函数；n表示迭代次数；步骤四、将梯度扰动s
o
上传至服务器端，通过扰动迁移网络T学习对应于服务器端目标人脸识别模型f
θ
'的对抗扰动s；其过程可描述为：s＝T(s
o
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)步骤五、将服务器端的对抗扰动s传回至用户端，对抗扰动s与原始人脸图像x相加得到隐私保护图像x
p
＝x+s；步骤六、对添加对抗扰动s后的隐私保护图像x
p
进行高斯滤波操作，得到G(x
p
)；步骤七、根据G(x
p
)和注册人脸图像x
e
在目标人脸识别模型下f
θ
'的特征向量之间的总损失L进行优化训练；步骤八、训练完成后，向扰动迁移网络T载入训练最终得到的模型参数T
θ
；步骤九、根据用户端用户提供的待保护人脸图像x
o
，重复步骤一至五，得到隐私保护图像x
p
。2.根据权利要求1所述方法，其特征在于，步骤二所述的本地人脸识别模型f
θ
采用MobileFace人脸识别模型；步骤四所述的服务器端目标人脸识别模型f
θ
'为Insightface人脸识别模型。3.根据权利要求1所述方法，其特征在于，步骤三所述的用户端梯度对抗攻击方法是DI2
‑
...

【专利技术属性】
技术研发人员：孙军梅，潘振雄，李秀梅，姚茂群，
申请(专利权)人：杭州师范大学，
类型：发明
国别省市：