基于生成式对抗网络脸部隐私保护方法技术

本发明专利技术的基于生成式对抗网络脸部隐私保护方法，其特征在于：在工作站和机器人平台中都分别加载基于生成对抗网络的人脸去识别方法，并且在工作站上训练特征模型

【技术实现步骤摘要】
基于生成式对抗网络脸部隐私保护方法
本专利技术涉及信息安全保护领域，具体涉及一种基于生成式对抗网络脸部隐私保护方法。
技术介绍
近年来，大量的照片与视频随着手机，平板电脑和其他成像设备的广泛使用而被记录、存储与处理。这些视觉设备虽然为人们带来了便利，但未受保护的图像或视频会导致隐私泄露，并给隐私保护带来严峻挑战。人脸去识别是视觉隐私保护中重要的第一步，因此人脸去识别问题最近受到了广泛关注。为了保护视觉面部隐私，许多研究人员通过替换或更改图像中的面部区域来使面部识别方法无法有效识别修改后的脸部图像。传统的人脸去识别方法主要着眼于从图像和视频中删除身份，同时保留与身份无关的特征。在视频和图像处理方面，传统方法大多使用模糊像素化来保护视觉隐私。但研究表明像素化和模糊不能确保正确的人脸去识别的有效性。近年来，神经网络可以用于隐私去识别，但是，基于卷积神经网络(CNN)的方法有两个局限性：1)生成图像的质量不够真实。这些方法不能保护包含面部的图像的隐私。2)CNN模型是一种监督算法。因此，它需要一些标签来训练网络，但是需要大量的时间和成本。目前，生成对抗网络(GAN)为隐私去识别提供了新的方向，但是，通过这种方法生成的图像的面部特征不明显，并且不能有效地保留图像的值。基于GAN的隐私去识别技术存在三个局限性：1)大多数基于GAN的隐私去识别方法是一种半监督算法，需要少量标签，但是标记标签训练网络需要大量时间和成本。2)在GAN的对抗训练中，生成器和判别器很容易导致模式崩塌，过拟合以及模型无法收敛的风险；3)由这种算法生成的图像的质量不够真实，并且在去识别过程中不能保留图像特性。
技术实现思路
本专利技术的目的在于克服上述缺点而提出了一种能减少或消除训练过程中模式崩溃和过度拟合的问题、能保留去识别图像和原始图像之间的联系，在视觉上保护图像的隐私的基于生成式对抗网络脸部隐私保护方法。本专利技术的基于生成式对抗网络脸部隐私保护方法，包括：步骤一，工作站和机器人平台中都分别加载基于生成对抗网络的人脸去识别方法，并且使用基于生成对抗网络的人脸去识别方法以及隐私和非隐私数据集在工作站上训练特征模型W；步骤二，工作站与机器人平台通过无线局域网WLAN连接，机器人平台通过工作站上的基于生成对抗网络的人脸去识别方法来定期更新权重；步骤三，机器人平台上的基于生成对抗网络的人脸去识别方法获得特征模型W，当机器人平台上的照相机捕获脸部图像时，对需隐私保护的脸部图像，机器人平台应用基于生成对抗网络的人脸识别方法进行脸部去识别，保护脸部图像的隐私特征，确保用户的视觉隐私不受侵犯；其中所述基于生成对抗网络的人脸识别方法，包含1个改进U-Net网络的生成器G和2个判别器D1、D2，其中判别器与生成器由卷积层，残差块和自注意力层组成；所述改进U-Net网络的生成器G，包括8层下采样卷积层e1-e8、8层上采样卷积层d1–d8和中间层，其中所述下采样卷积层e8是向下采样残差块，上采样卷积层d1是上采样残差块，中间层与上采样卷积层d6为自注意力层；所述生成器G和2个判别器D1、D2采用基于铰链损失的对抗损失函数，在训练过程中，基于生成对抗网络的人脸识别方法中的2个判别器D1、D2扮演相同的角色，并具有协作竞争关系与共享参数的能力，因此，生成器G和2个判别器D1、D2的对抗损失函数为：其中x服从先验分布Pd(x)，y服从目标分布Pd(y)，表示期望值，min(*)是最小值函数，是关于y的集合，α和β参数控制对优化策略的影响；所述生成器G中引入了像素丢失功能来指导隐私去识别的过程，像素损失包括重建损失和像素损失，其重建损失的计算公式为：式中为控制重建损失的系数；所述像素损失的计算公式为：式中ξ为控制像素损失的系数；由所述重建损失和像素损失结合在一起的总像素损失的值的计算公式为：式中总像素损失的参数和ξ满足条件和并且λ是惩罚系数；所述生成器G中内容损失包括身份内容损失和轮廓内容损失；其所述身份内容损失采用结构相似性指标SSIM来量化原始图像和生成图像之间的相似性，所述结构相似性指标SSIM损失函数的计算公式为：式中，μG(x)，μy是G(x)与y的均值；σG(x)，σy是G(x)与y的方差；σG(x)y是G(x)与y的协方差；c1＝(K1L)2，c2＝(K2L)2是用来稳定损失函数的常数，L是像素的范围，K1＝0.001，K2＝0.003；其所述轮廓内容损失用来测量生成的分布和原始分布，计算公式为：式中，p(*)为概率分布，p(x)通过等式计算，函数f(x)的计算公式为：其中，x+和x-是活跃边界与非活跃边界在x上的分布；所述总的内容损失函数的计算公式为：所述基于生成对抗网络的人脸识别方法的总损失函数为式中，与为正则化损失函数，和上述的基于生成式对抗网络脸部隐私保护方法，其中：所述改进U-Net网络的生成器G中的上采样卷积层d1-d3中使用dropout，dropout率为0.5，以防止过度拟合。上述的基于生成式对抗网络脸部隐私保护方法，其中：所述改进U-Net网络的生成器G采用频谱归一化SN和实例规范化IN作为归一化函数，以确保训练过程的稳定性。上述的基于生成式对抗网络脸部隐私保护方法，其中：所述上采样卷积残差模块采用泄漏整流线性单元LReLU用作激活函数，泄漏整流线性单元LReLU的所有斜率均为0.2。上述的基于生成式对抗网络脸部隐私保护方法，其中：所述其自注意力层采用全局最大池化机制和全连接层机制。上述的基于生成式对抗网络脸部隐私保护方法，其中：在所述基于生成对抗网络的人脸识别方法中引入优化器RAdam算法，学习速率设置如下：当epoch≤100时，ηG＝0.0001，当epoch≥100时，其中ηG是G的学习率，n是训练轮次，N是历时总轮次分别是D1和D2的学习率。本专利技术与现有技术的相比，具有明显的有益效果，由以上方案可知，所述基于生成对抗网络的人脸识别方法，包含1个改进U-Net网络的生成器G和2个判别器D1、D2，其中判别器与生成器由卷积层，残差块和自注意力层组成。由于D1和D2可以协作并共享参数以提高图像质量且有助于基于生成对抗网络的人脸去识别方法(FPGAN)减少或消除模式崩溃。因此，增强所生成图像的质量；采用了残差块的设计思想来提高模型中特征提取的准确性；自注意力层中采用了全局最大池化机制和全连接层机制，这有助于防止过度拟合；生成器G中增加自注意力层，可提高特征提取的能力。本专利技术所述基于生成对抗网络的人脸去识别方法(FPGAN)，它是一种无监督算法，主要具有以下特点。首先，FPGAN可以保持去识别后图像和原始图像之间的特征，然后生成新的特征以保护主要面部特征的隐私。因此，在面部去识别之后接收到的保护隐私的图本文档来自技高网...

【技术保护点】
1.基于生成式对抗网络脸部隐私保护方法，包括：/n步骤一，工作站和机器人平台中都分别加载基于生成对抗网络的人脸去识别方法，并且使用基于生成对抗网络的人脸去识别方法以及隐私和非隐私数据集在工作站上训练特征模型

【技术特征摘要】
1.基于生成式对抗网络脸部隐私保护方法，包括：
步骤一，工作站和机器人平台中都分别加载基于生成对抗网络的人脸去识别方法，并且使用基于生成对抗网络的人脸去识别方法以及隐私和非隐私数据集在工作站上训练特征模型W；
步骤二，工作站与机器人平台通过无线局域网WLAN连接，机器人平台通过工作站上的基于生成对抗网络的人脸去识别方法来定期更新权重；
步骤三，机器人平台上的基于生成对抗网络的人脸去识别方法获得特征模型W，当机器人平台上的照相机捕获脸部图像时，对需隐私保护的脸部图像，机器人平台应用基于生成对抗网络的人脸识别方法进行脸部去识别，保护脸部图像的隐私特征，确保用户的视觉隐私不受侵犯；
其中所述基于生成对抗网络的人脸识别方法，包含1个改进U-Net网络的生成器G和2个判别器D1、D2，其中判别器与生成器由卷积层，残差块和自注意力层组成；
所述改进U-Net网络的生成器G，包括8层下采样卷积层e1-e8、8层上采样卷积层d1–d8和中间层，其中下采样卷积层e8是向下采样残差块，上采样卷积层d1是上采样残差块，中间层与上采样卷积层d6为自注意力层；
所述生成器G和2个判别器D1、D2采用基于铰链损失的对抗损失函数，在训练过程中，基于生成对抗网络的人脸识别方法中的2个判别器D1、D2扮演相同的角色，并具有协作竞争关系与共享参数的能力，因此，生成器G和2个判别器D1、D2的对抗损失函数为：









其中x服从先验分布，y服从目标分布，(*)表示期望值，min(*)是最小值函数，是关于y的集合，α和β参数控制对优化策略的影响；
所述生成器G中引入了像素丢失功能来指导隐私去识别的过程，像素损失包括重建损失和像素损失，
其重建损失的计算公式为：



式中为控制重建损失的系数；
所述像素损失的计算公式为：



式中为控制像素损失的系数；
由所述重建损失和像素损失结合在一起的总像素损失的值的计算公式为：



式中总像素损失的参数和满足条件和，并且是惩罚系数...

【专利技术属性】
技术研发人员：杨观赐，林家丞，李杨，何玲，蒋亚汶，袁庆霓，
申请(专利权)人：贵州大学，
类型：发明
国别省市：贵州;52