基于生成模型的人脸对抗口罩样本生成方法和系统技术方案

本发明专利技术提出一种基于生成模型的人脸对抗口罩样本生成方法和系统。方法包括：根据对抗人脸图像中人脸特征点位置，构建人脸口罩形状矩阵，并通过弯曲旋转映射变换模仿物理空间中口罩的弧度变换，得到口罩形状的对抗掩模；基于人脸生成模型生成随机人脸图像，利用对抗掩模生成方法对随机人脸图像进行处理，得到口罩形状对抗扰动，将口罩形状对抗扰动和对抗人脸图像组合成对抗样本；将对抗样本和数据库人脸图像输入到被攻击的人脸识别系统网络中，构建整体的对抗攻击训练网络。本发明专利技术提出的方案，能够实现在物理空间中打印，不仅可以使人脸识别系统错误识别人脸，而且能够实现对抗样本在不同人脸识别模型上的迁移性。不同人脸识别模型上的迁移性。不同人脸识别模型上的迁移性。

【技术实现步骤摘要】
基于生成模型的人脸对抗口罩样本生成方法和系统


[0001]本专利技术属于人脸识别领域，尤其涉及一种基于生成模型的人脸对抗口罩样本生成方法和系统。

技术介绍

[0002]近年来，随着深度学习技术的发展，基于深度神经网络的人脸识别系统已经成为了高效精确的身份识别方法，并广泛的出现在日常生活中。由于深度学习网络很容易受到物理上可实现的对抗攻击，即通过在网络中加入对抗扰动欺骗神经网络，导致网络输出错误的结果，表明了深度神经网络具有脆弱性，因此人脸识别系统也容易受到欺骗和攻击，给现实世界中的应用带来了很大的安全问题。现有的对抗样本攻击主要针对数字空间中原始样本添加人眼不可察觉的细微的扰动，使深度神经网络以较高的置信度输出任意想要的分类，不仅缺乏对黑盒模型的可移植性，而且无法在物理空间中实现。

技术实现思路

[0003]为解决上述技术问题，本专利技术提出一种基于生成模型的人脸对抗口罩样本生成方法的技术方案，以解决上述技术问题。
[0004]本专利技术第一方面公开了一种基于生成模型的人脸对抗口罩样本生成方法，所述方法包括：步骤S1、获取对抗人脸图像A和数据库样本图像X；步骤S2、人脸图像数据进行预处理：利用人脸检测方法获取所述对抗人脸图像和数据库样本图像中的人脸位置，对所述对抗人脸图像和数据库样本图像中人脸位置区域的人脸图像进行裁剪，采用插值算法转换裁剪后的对抗人脸图像和数据库样本图像中人脸位置区域的人脸图像的分辨率；得到对抗人脸图像A
600
和数据库人脸图像X
T
；步骤S3、构建人脸口罩形状的对抗掩模：根据所述对抗人脸图像A
600
中人脸特征点位置，构建人脸口罩形状矩阵P，将所述人脸口罩形状矩阵通过弯曲旋转映射变换模仿物理空间中口罩的弧度变换，得到口罩形状的对抗掩模M1；步骤S4、构建对抗样本生成器：根据人脸生成模型生成随机人脸图像，利用步骤S3中人脸口罩形状的对抗掩模生成方法对所述随机人脸图像进行处理，得到口罩对抗扰动掩模M
S
，将所述对抗扰动掩模Ms与对抗掩模M1和对抗人脸图像A
600
整合，得到口罩掩模对抗扰动和人脸区域组合成的对抗样本M
A
；步骤S5、将所述对抗样本M
A
和数据库人脸图像X
T
输入到被攻击的人脸识别系统网络F中，构建整体的对抗攻击训练网络；步骤S6、构建所述整体的对抗攻击训练网络训练的总损失函数；步骤S7、设置模型优化算法：采用参数优化算法对所述整体的对抗攻击训练网络的参数和权重进行优化；步骤S8、通过对整体的抗攻击训练网络的重复训练，以所述总损失函数最小化为
目标，不断优化调整网络参数，直至网络参数稳定，保存所述对整体的对抗攻击训练网络的模型参数和权重，并保存最后训练优化生成的人脸口罩形状的对抗样本图像矩阵，通过打印得到最终物理空间对抗样本。
[0005]根据本专利技术第一方面的方法，在所述步骤S3中，所述根据所述对抗人脸图像中人脸特征点位置，构建人脸口罩形状矩阵P的方法包括：采用人脸特征点检测算法对对抗人脸图像A
600
进行人脸特征点检测，得到68个人脸特征点，在68个特征点中选择其中第6、9、12，即下巴和第30点，即鼻子，其中4个关键点位置坐标分别为：a6=(x6,y
6 )，a9=(x9,y
9 )，a
12
=(x
12
,y
12 )，a
30
=(x
30
,y
30 )，根据鼻子和下巴4个关键点的位置构建口罩形状的六边形，并根据所述4个关键点位置获取人脸口罩六边形中另外两个点的位置a
6*
=( x6,y
6*
)，a
12*
=(x
12
,y
6*
)，由a
6*
、a6、a9、a
12
、a
12*
和a
30
得到人脸口罩形状矩阵P；其中，y
6*
= y
30
‑
( y9‑ꢀ
y
6 )。
[0006]根据本专利技术第一方面的方法，在所述步骤S3中，所述将所述人脸口罩形状矩阵通过弯曲旋转映射变换模仿物理空间中口罩的弧度变换，得到口罩形状的对抗掩模M1的方法包括：裁剪截取所述人脸口罩形状矩阵的口罩区域，通过数字空间变换得到物理空间人脸口罩样本矩阵M；将所述口罩样本矩阵通过弯曲旋转映射变换模仿3d人脸口罩中的弧度，得到对抗口罩掩模M1。
[0007]根据本专利技术第一方面的方法，在所述步骤S3中，所述弯曲旋转映射变换的参数包括：弯曲的弧度参数l=0.0018，旋转的角度参数θ=
‑
5；变换后的矩阵缩放参数s=0.465。
[0008]根据本专利技术第一方面的方法，在所述步骤S4中，所述根据人脸生成模型生成随机人脸图像，利用步骤S3中人脸口罩形状的对抗掩模生成方法对所述随机人脸图像进行处理，得到口罩对抗扰动掩模M
S
的方法包括：通过人脸生成模型随机生成分辨率为600
×
600的生成人脸图像G
600
，并根据所述对抗口罩掩模，获得生成人脸图像中的人脸口罩形状的对抗扰动掩模M
S
，即M
S
= G
600
•
M1。
[0009]根据本专利技术第一方面的方法，在所述步骤S4中，所述将所述对抗扰动掩模Ms与对抗掩模M1和对抗人脸图像A
600
整合，得到口罩掩模对抗扰动和人脸区域组合成的对抗样本M
A
的方法包括：取所述对抗扰动掩模M
s
内的元素，将在掩模外的元素置零，获得口罩区域对抗扰动M
s
•
M1，同时将对抗人脸图像A
600
在掩模内的像素值置零，其余像素值保留，获得口罩区域外人脸图像A
600
•
（1
‑
M1），将两部分图像融合，得到人脸对抗样本，即M
A
=M
s
•
M1+ A
600
•
（1
‑
M1）。
[0010]根据本专利技术第一方面的方法，在所述步骤S6中，所述总损失函数为：其中，L(x)为总损失函数；L
sim (a,x)为对抗样本生成器损失函数，
其中，E
a
为对抗人脸图像A样本的特征向量，E
x
为数据库样本图像X样本的特征向量；L
tv (x) 为对抗口罩平滑度损失函数，其中，x
ij
为样本中第i行，第j列的像素值；L
nps
为打印机色差损失函数，其中，p
c
是对抗口罩扰动p中的像素值，s
p
为打印机印刷的颜色s
A<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成模型的人脸对抗口罩样本生成方法，其特征在于，所述方法包括：步骤S1、获取对抗人脸图像A和数据库样本图像X；步骤S2、人脸图像数据进行预处理：利用人脸检测方法获取所述对抗人脸图像和数据库样本图像中的人脸位置，对所述对抗人脸图像和数据库样本图像中人脸位置区域的人脸图像进行裁剪；采用插值算法转换裁剪后的对抗人脸图像和数据库样本图像中人脸位置区域的人脸图像的分辨率，得到对抗人脸图像A
600
和数据库人脸图像X
T
；步骤S3、构建人脸口罩形状的对抗掩模：根据所述对抗人脸图像A
600
中人脸特征点位置，构建人脸口罩形状矩阵P，将所述人脸口罩形状矩阵通过弯曲旋转映射变换模仿物理空间中口罩的弧度变换，得到口罩形状的对抗掩模M1；步骤S4、构建对抗样本生成器：根据人脸生成模型生成随机人脸图像，利用步骤S3中人脸口罩形状的对抗掩模生成方法对所述随机人脸图像进行处理，得到口罩对抗扰动掩模M
S
，将所述对抗扰动掩模Ms与对抗掩模M1和对抗人脸图像A
600
整合，得到口罩掩模对抗扰动和人脸区域组合成的对抗样本M
A
；步骤S5、将所述对抗样本M
A
和数据库人脸图像X
T
输入到被攻击的人脸识别系统网络F中，构建整体的对抗攻击训练网络；步骤S6、构建所述整体的对抗攻击训练网络训练的总损失函数；步骤S7、设置模型优化算法：采用参数优化算法对所述整体的对抗攻击训练网络的参数和权重进行优化；步骤S8、通过对整体的抗攻击训练网络的重复训练，以所述总损失函数最小化为目标，不断优化调整网络参数，直至网络参数稳定，保存所述对整体的对抗攻击训练网络的模型参数和权重，并保存最后训练优化生成的人脸口罩形状的对抗样本图像矩阵，通过打印得到最终物理空间对抗样本。2.根据权利要求1所述的一种基于生成模型的人脸对抗口罩样本生成方法，其特征在于，在所述步骤S3中，所述根据所述对抗人脸图像中人脸特征点位置，构建人脸口罩形状矩阵P的方法包括：采用人脸特征点检测算法对对抗人脸图像A
600
进行人脸特征点检测，得到68个人脸特征点，在68个特征点中选择其中第6、9、12，即下巴和第30点，即鼻子，其中4个关键点位置坐标分别为：a6=(x6,y
6 )，a9=(x9,y
9 )，a
12
=(x
12
,y
12 )，a
30
=(x
30
,y
30 )，根据鼻子和下巴4个关键点的位置构建口罩形状的六边形，并根据所述4个关键点位置获取人脸口罩六边形中另外两个点的位置a
6*
=(x6,y
6*
)，a
12*
=(x
12
,y
6*
)，由a
6*
、a6、a9、a
12
、a
12*
和a
30
得到人脸口罩形状矩阵P；其中，y
6*
= y
30
‑
( y9‑ꢀ
y
6 )。3.根据权利要求2所述的一种基于生成模型的人脸对抗口罩样本生成方法，其特征在于，在所述步骤S3中，所述将所述人脸口罩形状矩阵通过弯曲旋转映射变换模仿物理空间中口罩的弧度变换，得到口罩形状的对抗掩模M1的方法包括：裁剪截取所述人脸口罩形状矩阵的口罩区域，通过数字空间变换得到物理空间人脸口罩样本矩阵M；将所述口罩样本矩阵通过弯曲旋转映射变换模仿3d人脸口罩中的弧度，得到对抗口罩掩模M1。
4.根据权利要求3所述的一种基于生成模型的人脸对抗口罩样本生成方法，其特征在于，在所述步骤S3中，所述弯曲旋转映射变换的参数包括：弯曲的弧度参数l=0.0018，旋转的角度参数θ=
‑
5；变换后的矩阵缩放参数s=0.465。5.根据权利要求1所述的一种基于生成模型的人脸对抗口罩样本生成方法，其特征在于，在所述步骤S4中，所述根据人脸生成模型生成随机人脸图像，利用步骤S3中人脸口罩形状的对抗掩模生成方法对所述随机人脸图像进行处理，得到口罩对抗扰动掩模M
S
的方法包括：通过人脸生成模型随机生成分辨率为600
×
600的生成人脸图像G
600
，并根据所述对抗口罩...

【专利技术属性】
技术研发人员：董晶，王伟，彭勃，王丽，王建文，项伟，宋宗泽，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：