【技术实现步骤摘要】
本专利技术属于图像处理，尤其涉及一种基于掩码的人脸图像生成模型隐私保护方法、系统及装置。
技术介绍
1、深度合成技术是指用以深度学习、虚拟现实为代表的生成合成类算法，目前制作文本、图像、音频、视频、虚拟场景等信息的技术几乎都是依赖于深度学习技术实现的。扩散模型是一类新兴的生成神经网络，扩散模型定义了基于马尔科夫链的扩散步骤,在这个过程中缓慢的并且顺序地向样本中添加随机高斯噪声,然后学习在反向过程中从噪声样本中恢复干净的样本。经过多次迭代后，能够生成高质量、逼真的合成图像。与其他图像合成技术相比，扩散模型能够更好地保留图像的细节和特征，从而生成更加逼真的合成图像。
2、目前，深度合成技术的广泛应用会产生隐私泄露的担忧。因为目前应用到的样本集或者训练数据集都是用户需要提供自己的照片或视频作为原始素材。这些素材包含了个人的面部特征和生物信息，如果这些数据被不当地使用或泄露，将会导致严重的隐私问题。比如说：有些犯罪分子会使用这些素材库制作虚假身份证件或用于网络钓鱼等犯罪活动。此外，在扩散模型深度伪造中，生成的虚假图像可能被进一步传播和分享，从而进一步增加隐私泄露的风险。如果生成的假像被用于欺骗或者恶意攻击某个人或组织，那么这将对受害者造成极大的损害。
3、当前，已有研究工作指出，最先进的扩散模型比先前最先进的生成模型(如对抗生成网络)的训练数据记忆能力有大幅提升。同时，导致的隐私泄露程度与扩散模型的训练效果成正比，训练效果更好的扩散模型能够记忆更多的训练数据。但是，目前的研究表明：通过在预处理阶段消除重复数据等简
技术实现思路
1、本专利技术针对现有技术中的缺点，提供了一种基于掩码的人脸图像生成模型隐私保护方法、系统及装置。
2、为了解决上述技术问题，本专利技术通过下述技术方案得以解决：
3、一种基于掩码的人脸图像生成模型隐私保护方法，包括以下步骤：
4、获取原始人脸数据集并进行预处理，得到裁剪对齐图片，其中，所述人脸数据集包括隐私保护目标信息；
5、基于所述裁剪对齐图片，得到对人脸不同位置的关注程度并表示为人脸特征重要性热力图，进而得到通用的人脸特征重要性热力图；
6、对所述人脸特征重要性热力图进行归一化处理，得到归一化特征重要性数值；
7、基于归一化特征重要性数值将原始人脸图像分割为图像块，对图像块进行处理，得到人脸关键部分并基于人脸关键部分代替原始人脸数据集中相同部位，得到训练数据集；
8、对训练数据集中每张图片加入随机噪声，得到加噪图像块，进而得到训练损失结果；
9、根据训练损失结果对神经网络模型进行参数优化及更新，得到深度伪造人脸生成预训练模型；
10、基于未包含隐私保护目标信息人脸数据集对深度伪造人脸生成预训练模型进行训练微调，得到深度伪造人脸生成模型。
11、作为一种可实施方式，获取原始人脸数据集并进行预处理，得到裁剪对齐图片，包括以下步骤：
12、基于人脸检测模型对所述原始人脸数据集中的每张原始人脸图片进行裁剪，得到人脸部位图片；
13、对所述人脸部位图片进行人脸关键点检测，根据眼睛位置进行对齐，裁剪对齐图片。
14、作为一种可实施方式，所述得到对人脸不同位置的关注程度并表示为人脸特征重要性热力图，进而得到通用的人脸特征重要性热力图，包括以下步骤：
15、将裁剪对齐图片输入至人脸识别模型，并结合热力图可视化模型，得到人脸识别模型对人脸不同位置的关注程度并表示为人脸特征重要性热力图，其中，所述关注程度表示裁剪对齐图片中人脸特征重要性的估计值；
16、对n张图片的人脸特征重要性的热力图取平均值，得到通用的人脸特征重要性热力图。
17、作为一种可实施方式，所述人脸识别模型为mogface,所述热力图可视化模型为gradcamplusplus。
18、作为一种可实施方式，所述基于归一化特征重要性数值将原始人脸图像分割为图像块，表示如下：
19、
20、其中，α代表graycam数值，1block代表切块为4×4大小像素块，2block代表切块为8×8大小像素块，3block代表切块为16×16大小像素块，4block代表切块为32×32大小像素块。
21、作为一种可实施方式，所述对图像块进行处理，包括以下步骤：
22、基于概率选择对每个图像块进行掩码处理，以替换原始人脸数据集中相同部位；或将所述图像块与原始人脸数据集中同样部位进行替换操作。
23、作为一种可实施方式，所述对图像块进行处理，具体为：
24、
25、其中，掩码表示将图像块像素值重置为0并且不会被输入神经网络模型，替换表示将所述图像块与原始人脸数据集中同样部位进行替换操作。
26、作为一种可实施方式，所述对训练数据集中每张图片加入随机噪声，得到加噪图像块，进而得到训练损失结果，包括以下步骤：
27、将所述训练数据集中每张图片添加噪声，得到加噪图像；
28、将所述加噪图像与时间步t输入至扩散模型，输出添加噪声的估计值；
29、通过所述估计值与每张图片添加的真实噪声的欧几里得距离，得到训练损失结果。
30、一种基于掩码的人脸图像生成模型隐私保护系统，包括数据获取处理模块、热力图计算模块、归一化处理模块、分割替换模块、加噪处理模块、优化更新模块及训练微调模块；
31、所述数据获取处理模块，用于获取原始人脸数据集并进行预处理，得到裁剪对齐图片，其中，所述人脸数据集包括隐私保护目标信息；
32、所述热力图计算模块，基于所述裁剪对齐图片，得到对人脸不同位置的关注程度并表示为人脸特征重要性热力图，进而得到通用的人脸特征重要性热力图；
33、所述归一化处理模块，用于对所述人脸特征重要性热力图进行归一化处理，得到归一化特征重要性数值；
34、所述分割替换模块，基于归一化特征重要性数值将原始人脸图像分割为图像块，对图像块进行处理，得到人脸关键部分并基于人脸关键部分代替原始人脸数据集中相同部位，得到训练数据集；
35、所述加噪处理模块，用于对训练数据集中每张图片加入随机噪声，得到加噪图像块，进而得到训练损失结果；
36、所述优化更新模块，用于根据训练损失结果对神经网络模型进行参数优化及更新，得到深度伪造人脸生成预训练模型；
37、所述训练微调模块，基于未包含隐私保护目标信息人脸数据集对深度伪造人脸生成预训练模型进行训练微调，本文档来自技高网...
【技术保护点】
1.一种基于掩码的人脸图像生成模型隐私保护方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于掩码的人脸图像生成模型隐私保护方法，其特征在于，获取原始人脸数据集并进行预处理，得到裁剪对齐图片，包括以下步骤：
3.根据权利要求1所述的基于掩码的人脸图像生成模型隐私保护方法，其特征在于，所述得到对人脸不同位置的关注程度并表示为人脸特征重要性热力图，进而得到通用的人脸特征重要性热力图，包括以下步骤：
4.根据权利要求3所述的基于掩码的人脸图像生成模型隐私保护方法，其特征在于，所述人脸识别模型为MogFace,所述热力图可视化模型为GradCAMPlusPlus。
5.根据权利要求1所述的基于掩码的人脸图像生成模型隐私保护方法，其特征在于，所述基于归一化特征重要性数值将原始人脸图像分割为图像块，表示如下：
6.根据权利要求1所述的基于掩码的人脸图像生成模型隐私保护方法，其特征在于，所述对图像块进行处理，包括以下步骤：
7.根据权利要求6所述的基于掩码的人脸图像生成模型隐私保护方法，其特征在于，所述对图像块进
8.根据权利要求1所述的基于掩码的人脸图像生成模型隐私保护方法，其特征在于，所述对训练数据集中每张图片加入随机噪声，得到加噪图像块，进而得到训练损失结果，包括以下步骤：
9.一种基于掩码的人脸图像生成模型隐私保护系统，其特征在于，包括数据获取处理模块、热力图计算模块、归一化处理模块、分割替换模块、加噪处理模块、优化更新模块及训练微调模块；
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任意一项所述的方法。
11.一种基于掩码的人脸图像生成模型隐私保护装置，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任意一项所述的方法。
...【技术特征摘要】
1.一种基于掩码的人脸图像生成模型隐私保护方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于掩码的人脸图像生成模型隐私保护方法，其特征在于，获取原始人脸数据集并进行预处理，得到裁剪对齐图片，包括以下步骤：
3.根据权利要求1所述的基于掩码的人脸图像生成模型隐私保护方法，其特征在于，所述得到对人脸不同位置的关注程度并表示为人脸特征重要性热力图，进而得到通用的人脸特征重要性热力图，包括以下步骤：
4.根据权利要求3所述的基于掩码的人脸图像生成模型隐私保护方法，其特征在于，所述人脸识别模型为mogface,所述热力图可视化模型为gradcamplusplus。
5.根据权利要求1所述的基于掩码的人脸图像生成模型隐私保护方法，其特征在于，所述基于归一化特征重要性数值将原始人脸图像分割为图像块，表示如下：
6.根据权利要求1所述的基于掩码的人脸图像生成模型隐私保护方法，其特征在于，所述对图像块进行处理，包括...
【专利技术属性】
技术研发人员：巴钟杰，徐如慧，王庆龙，程鹏，黄鹏，秦湛，任奎，
申请(专利权)人：浙江大学杭州国际科创中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。