基于生成对抗网络的人脸匿名隐私保护方法技术

本发明专利技术提供一种基于生成对抗网络的人脸匿名隐私保护方法。本发明专利技术首先对人脸图像数据预处理；然后构建生成对抗网络结构；再建立人脸区域匿名的目标函数；然后建立场景内容区域保留的目标函数；随后进行人脸匿名与场景保留的目标函数的结合；最后采用公开数据集进行训练及测试，输出最终结果。本方法对图像中人脸区域进行合成脸的替换而达到人脸匿名的效果，相对以往的马赛克遮挡的方法更高效并且在视觉上更友好。本发明专利技术方法具有高效性与实用性，对人物图像的隐私保护更高效和美观。

Privacy protection of face anonymity based on generative adversary network

【技术实现步骤摘要】
基于生成对抗网络的人脸匿名隐私保护方法
本专利技术属于图像隐私保护的领域，随着互联网技术的快速发展，人脸识别技术越来越成熟，人脸隐私安全受到严重威胁。所以本专利技术提出了一种基于生成对抗网络的人脸匿名隐私保护方法。
技术介绍
随着社交网络个性化、多元化服务的普及，越来越多的用户对社交网络平台方式产生了依赖。由于用户规模庞大、信息的海量交互，以及多元化的服务，从而导致了社交网络中存在巨量的以视觉媒体为主的共享数据。这些视觉媒体描绘了特定个体在场景中的行为，其中人脸是一个丰富信息的模式集合。网络的快速传播会导致个人信息的泄漏。所以人脸匿名是隐私保护的重要工具。人脸匿名主要有两个方面：身份去除和数据有效性保留。这样，匿名的图像隐藏了原始图像的身份隐私，同时保留了非身份相关的信息。早期的人脸匿名工作只是使用掩蔽、模糊化或像素化等等。虽然这些方法很容易应用，但是它们并不一定保证隐私。S.J.Oh等人已经对自动识别器分析了使面部变黑或模糊的混淆性能。他们的结论是这些常见的混淆方法不仅看起来不美观，而且也是无效的，特别是由于基于卷积网络的识别器具有适应性。后期，逐渐有人提出了有效的并且更复杂的方法。Newton等人提出了k-same算法进行人脸匿名；YifanWu等人应用了生成对抗网络框架去实现人脸匿名；Brkic等人提出了生成人体补丁，以覆盖原始图像中人体顶部。我们提出的技术不仅对图像中人脸区域进行了匿名处理，同时还保留了整幅图片中的场景内容。这样极大的改善了图像匿名的美观性与高效性。
技术实现思路
针对现有技术的不足，本专利技术提供一种基于生成对抗网络的人脸匿名隐私保护方法。本专利技术解决其技术问题所采用的技术方案包括以下步骤：步骤1：人脸图像数据预处理；步骤2：构建生成对抗网络结构；步骤3：建立人脸区域匿名的目标函数；步骤4：建立场景内容区域保留的目标函数；步骤5：人脸匿名与场景保留的目标函数的结合；步骤6：采用公开数据集进行训练及测试，输出最终结果。步骤1所述的人脸图像数据预处理，具体步骤如下：1-1.数据准备和预处理，通过人工对人脸图像进行属性标记，生成属性标签y。1-2.利用人脸检测器检测每张人脸图像中人脸区域位置的左上角坐标点坐标和长宽。1-3.制作人脸区域掩码图像，具体操作是使用黑色像素值将人脸图像中人脸的位置填充即可。步骤2所述的构建生成对抗网络结构，具体步骤如下：2-1.构建生成器，生成器是一个U-net网络，包括5个编码器层和5个解码器层。编码器每层由最大池化层(Max-Pooling)和卷积(Convolutional，Conv)块组成，其中Conv块由2个Conv层、2个批量归一化层(BatchNormalization，BN)和2个线性整流函数(ReLU)组成。解码器每层由Upsampling-Conv块和Conv块组成，其中Upsampling-Conv块由Upsampling、Conv、BN和ReLU组成。编码器层与解码器层通过跳跃式连接(skip-connection)相连。跳跃式连接分为两部分：第一部分是输入原始图像到编码器层，将其与解码器层使用skip-connection对应连接。第二部分是输入掩码人脸图像到Conv块，利用skip-connection与解码器层对应连接即可。2-2.构建鉴别器。鉴别器采用的是pix2pix中的Patch-D网络，包括5个Conv层、4个Leaky-ReLU函数、3个BN层和Sigmoid激活函数。鉴别器用于判断输入图像是否为真实人脸图像。步骤3所述的建立人脸区域匿名的目标函数，具体如下：3-1.GAN的目标函数，采用CGAN进行图像中保持非隐私属性的可用性，具体操作是：输入原始图像x和对应的属性标签y到生成器网络中合成图像xf；同理，分别将原始图像x和对应的属性标签y与合成图像xf和对应的属性标签y输入到鉴别器中进行判别，数学表达式如下：其中，x表示输入的原始图像，y表示对应原始图像的属性标签，G表示生成器，D表示鉴别器。3-2.人脸图像距离差异目标函数。利用人脸位置坐标点将合成图像进行裁剪获取人脸区域图，使用曼哈顿距离计算公式计算合成人脸区域与原始人脸区域之间的像素距离；设定阈值α，计算α与上述距离之间的绝对值差，目的是将原始人脸区域与合成人脸区域之间的像素保持α距离，数学表达式如下：其中，xr表示原始图像的人脸区域数据，xf表示合成图像的人脸区域数据，α表示一个设定的阈值。3-3.方差目标函数。利用方差的特性将数据离散化，在上述步骤3-2计算得到距离的基础上添加方差运算，使其合成图像数据离散化，增加人脸区域之间的差别，数学表达式如下：其中，xr表示原始图像人脸区域数据，xf表示合成图像人脸区域数据。3-4.人脸特征距离差异目标函数。保持合成图像中人脸区域遵循原始图像人脸的整体轮廓和朝向方向因素。通过生成器网络提取原始人脸图像和合成人脸图像的特征，使用欧氏距离计算公式计算合成人脸特征与原始人脸特征之间的特征距离；设定阈值β，计算阈值β与特征距离之间的绝对值差，使得它们之间的特征保持一个阈值距离。该方法保证了人脸区域在像素与特征上都发生变化，同时确保人脸区域轮廓相近，使得匿名图像从视觉上观察更真实，数学表达式如下：其中，xr表示原始图像的人脸区域数据，xf表示合成图像的人脸区域数据，β表示一个设定的阈值。步骤4建立场景内容区域保留的目标函数，具体步骤如下：4-1.利用skip-connection的特性对生成器网络进行操作。将掩码图像输入生成器网络中的Conv块，通过skip-connection连接到解码器中对应的Conv块即可完成合成图像中的场景内容基本保留。4-2.场景内容区域保留的目标函数，将合成图像进行掩码处理，使用曼哈顿距离计算公式计算原始掩码图像与合成掩码图像之间的像素距离，使其之间的像素距离趋向于最小，数学表达式如下：其中，表示原始的掩码人脸区域图像数据，表示合成图像的掩码人脸区域图像数据。步骤5人脸匿名与场景保留的目标函数的结合，具体如下：5-1.在训练过程中，将步骤3-1中的GAN的目标函数、步骤3-2中的人脸图像距离差异目标函数、步骤3-3中的方差目标函数、步骤3-4中的人脸特征距离差异目标函数以及步骤4-2中的场景内容区域保留的目标函数相结合共同反向传播即可，数学表达式如下：步骤6训练模型并测试数据，具体如下：6-1.准备数据集并按照步骤1所述进行预处理。6-2.将训练数据输入到生成对抗网络进行训练并且使用测试数据进行网络模型测试。6-3.为了验证所提出方法的高效性，将其与现有方法进行比较，计算匿名率、身份交换率以及图像质量，以及分析结果的可靠性和实用性。本专利技术具有的有益的效果是：本方法对图像中人脸区域进行合成脸的本文档来自技高网...

【技术保护点】
1.基于生成对抗网络的人脸匿名隐私保护方法，其特征在于，包括如下步骤：/n步骤1：人脸图像数据预处理；/n步骤2：构建生成对抗网络结构；/n步骤3：建立人脸区域匿名的目标函数；/n步骤4：建立场景内容区域保留的目标函数；/n步骤5：人脸匿名与场景保留的目标函数的结合；/n步骤6：采用公开数据集进行训练及测试，输出最终结果。/n

【技术特征摘要】
1.基于生成对抗网络的人脸匿名隐私保护方法，其特征在于，包括如下步骤：
步骤1：人脸图像数据预处理；
步骤2：构建生成对抗网络结构；
步骤3：建立人脸区域匿名的目标函数；
步骤4：建立场景内容区域保留的目标函数；
步骤5：人脸匿名与场景保留的目标函数的结合；
步骤6：采用公开数据集进行训练及测试，输出最终结果。


2.根据权利要求1所述的基于生成对抗网络的人脸匿名隐私保护方法，其特征在于，步骤1所述的人脸图像数据预处理，具体步骤如下：
1-1.数据准备和预处理，通过人工对人脸图像进行属性标记，生成属性标签y；
1-2.利用人脸检测器检测每张人脸图像中人脸区域位置的左上角坐标点坐标和长宽；
1-3.制作人脸区域掩码图像，具体操作是使用黑色像素值将人脸图像中人脸的位置填充即可。


3.根据权利要求2所述的基于生成对抗网络的人脸匿名隐私保护方法，其特征在于，步骤2所述的构建生成对抗网络结构，具体步骤如下：
2-1.构建生成器，生成器是一个U-net网络，包括5个编码器层和5个解码器层；编码器每层由最大池化层(Max-Pooling)和卷积(Convolutional，Conv)块组成，其中Conv块由2个Conv层、2个批量归一化层(BatchNormalization，BN)和2个线性整流函数(ReLU)组成；解码器每层由Upsampling-Conv块和Conv块组成，其中Upsampling-Conv块由Upsampling、Conv、BN和ReLU组成；编码器层与解码器层通过跳跃式连接(skip-connection)相连；跳跃式连接分为两部分：第一部分是输入原始图像到编码器层，将其与解码器层使用skip-connection对应连接；第二部分是输入掩码人脸图像到Conv块，利用skip-connection与解码器层对应连接即可；
2-2.构建鉴别器；鉴别器采用的是pix2pix中的Patch-D网络，包括5个Conv层、4个Leaky-ReLU函数、3个BN层和Sigmoid激活函数；鉴别器用于判断输入图像是否为真实人脸图像。


4.根据权利要求3所述的基于生成对抗网络的人脸匿名隐私保护方法，其特征在于，步骤3所述的建立人脸区域匿名的目标函数，具体如下：
3-1.GAN的目标函数，采用CGAN进行图像中保持非隐私属性的可用性，具体操作是：
输入原始图像x和对应的属性标签y到生成器网络中合成图像xf；同理，分别将原始图像x和对应的属性标签y与合成图像xf和对应的属性标签y输入到鉴别器中进行判别，数学表达式如下：



其中，x表示输入的原始图像，y表示对应原始图像的属性标签，G表示生成器，D表示鉴别器；
3-2.人脸图像距离差异目标函数；利用人脸位置坐标点将合成图像进行裁剪获取人脸区域图，使用曼哈顿距离计算公式计算合成人脸区域与原始人脸区域之间的像素距...

【专利技术属性】
技术研发人员：匡振中，郭志强，俞俊，杨结，张鑫，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33