【技术实现步骤摘要】
本专利技术属于信息安全，具体是一种基于扩散模型的对抗识别人脸身份隐私保护方法及系统，本专利技术在保持原始人脸图像非身份信息的基础上，将原始身份替换为代理身份并生成一张全新的人脸图像，使得结果图与原图在视觉上尽可能相似并被人脸识别算法识别为代理身份，从而实现对人脸的隐私保护。本专利技术可用来生成可用的人脸数据集，在实现隐私保护的基础上，还能有效地保留图像数据的可用性。
技术介绍
1、在当今数字时代，人脸识别技术已广泛应用于诸多领域，例如安全监控、智能手机解锁、社交媒体和广告等。随着技术的发展，人脸信息的安全和隐私保护成为了一个重要议题。传统的隐私保护方法，例如模糊处理和像素化，虽然能够起到一定程度的隐私保护效果，但可能会显著损害数据的可用性及可辨识度。在图像生成领域，生成对抗网络(gan)发展迅速，也给人脸隐私保护技术的发展带来了新的契机，被逐渐引入用于解决具备真实感人脸隐私保护问题。但是，已有技术表明，gan生成的图像可能缺乏多样性，容易产生重复或不自然的图像，并且在某些情况下，其可能无法完全隐藏原图像中辨识度较高的身份信息。
2、近年来，基于扩散模型的生成式技术在理论和结果方面均展现出优秀的潜力，受到了来自学术界和企业界的广泛关注。扩散模型具有如下几方面优势：首先，能够生成自然且多样化的结果；其次，生成过程更加稳定，不容易出现模式崩溃现象；第三，对训练数据的要求相对较低，适用于数据多样性和质量不均情景。基于此，本专利技术考虑将扩散模型应用于人脸识别技术，以解决现有技术存在的上述问题。
技
1、正对上述现有技术存在的问题，本专利技术提出了一种基于扩散模型的对抗识别人脸身份信息隐私保护方法及系统。本专利技术以信息提取器提取非身份信息和代理身份信息作为条件提取的非身份信息以及残差网络提取的代理身份信息作为条件，通过扩散模型与transformer将原始身份替换为代理身份并生成一张全新的人脸图像，使得结果图与原图在视觉上尽可能相似，但是其在特征空间中的身份变成了代理人脸的身份，从而实现对人脸的隐私保护。通过大量试验与对比，验证了本专利技术的有效性。本专利技术可以用于生成新的人脸数据集，不但能够实现隐私保护，而且还能有效地保持数据的可用性。
2、本专利技术以扩散模型为基础，展开人脸图像身份隐私保护技术研究，以提升人脸隐私保护能力，本专利技术主要聚焦于解决如下两方面问题：
3、(1)如何较好地解耦出人脸图像中的身份信息与非身份信息，并将这两者作为条件引导扩散模型的生成。
4、(2)如何平衡生成图像的匿名性与可用性之间的关系，即在实现隐私保护的基础上，还能有效地保持数据的可用性。
5、为实现上述目的，本专利技术采用的技术方案如下：
6、基于扩散模型的对抗识别人脸身份隐私保护方法，包括以下步骤：
7、步骤1、数据预处理；
8、步骤2、构建信息提取器；
9、步骤3、构建基于条件扩散模型的人脸生成网络；
10、步骤4、构建人脸图像生成损失函数；
11、步骤5、将数据集进行步骤1的预处理后，输入步骤2构建信息提取器，结合步骤3的人脸生成网络与步骤4的人脸图像生成损失函数共同完成训练，并进行测试。
12、优选的，步骤1、数据预处理，具体如下：
13、1-1、选取数据集，将图像处理至一致的尺寸大小。
14、1-2、对人脸图像进行剪裁与对齐。
15、优选的，步骤2、构建信息提取器，具体如下：
16、2-1、构建非身份信息提取器e1；非身份特征提取器包括预训练编码器fs、dropout层、relu激活函数层、卷积层、批归一化层、标准差池化层、平均池化层与全连接层；将原图像x0分为k*k块，表示为将k*k块与原图像分别输入至非身份信息提取器e1中，得到输出向量最后将k*k+1个输出向量与位置特征向量pemb进行拼接得到最终输出向量f1；表示如下：
17、
18、2-2、构建身份信息提取器e2；身份信息提取器基于resnet50网络构成；将目标图像xid输入至预训练的resnet50中获取中间向量fid；将fid与位置特征向量pemb与进行拼接，得到了最终输出向量f2；表示如下：
19、
20、优选的，步骤3、构建基于条件扩散模型的人脸生成网络，具体如下：
21、3-1、构建条件扩散模型；条件扩散模型通过在生成过程中引入条件信息来引导数据的生成；原始数据信息和条件信息为提供非身份信息的图像x0与提供代理身份信息的图像xid；训练时，在前向扩散过程中对x0进行加噪，将原始数据逐渐转化为纯噪声数据xt，以获得时间t与噪声∈；在逆向过程中，学习从噪声数据重建原始数据；
22、3-2、构建基于transformer与u-net的生成器ut-net；生成器将输入图像切分成局部块，利用u-net提取局部块的细节信息，利用transformer学习局部块之间的全局上下文信息；将每个图像分为k*k块，若原图大小h*w，则每块大小为将时间嵌入向量tenb和fid拼接得到向量t，将分块图像与向量t作为u-net编码器输入；transformer以所有图像块的u-net的编码器输出结果、非身份特征f1、身份特征f2为输入，并将其输出结果作为u-net解码器的输入，最终输出降噪后得到的图像
23、3-3、比较最终结果与原图像x0的非身份信息余弦距离，以及与图像xid的身份信息的余弦距离，结合扩散模型的噪声mse距离，得出最终损失函数。
24、优选的，步骤4、人脸图像生成损失函数，具体如下：
25、4-1、扩散模型的前向过程；该过程即逐步向数据添加噪声，假设原始数据为x0，逐渐增加噪声∈，生成数据x1,x2,…,xt；每一步都是一个高斯过程：
26、
27、其中，t为时间步长，βt为预设参数。
28、推得：
29、
30、其中，通过t得到，通过x0与t以及高斯噪声∈，获得xt；
31、4-2、扩散模型的逆向过程；逆向过程目的是由噪声数据xt重构出原始数据x0，即通过xt预测t时刻的高斯噪声∈θ，随后通过公式(7)得到当前时刻预测的再由xt与x′0求得p(xt-1|xt,x0)的均值最终采样得到xt-1，同理可得xt-2，迭代后得到最终
32、4-3、条件引导的扩散模型；根据公式(7)，将步骤2中的xid与x0作为条件，又由步骤3-2，得逆向过程公式如下：
33、
34、其中，为输出图像。
35、4-4、扩散模型损失函数。对于每一步t，扩散模型的基础损失函数可表示为：
36、
37、其中，为添加噪声的条件概率分布。
38、4-5、身份信息损失函数；比较与x0非身份信息的余弦距离，以及与代理身份信息xid的余弦距离，损失函数表示为：
39、...
【技术保护点】
1.基于扩散模型的对抗识别人脸身份隐私保护方法，其特征是，包括以下步骤：
2.如权利要求1所述基于扩散模型的对抗识别人脸身份隐私保护方法，其特征是：
3.如权利要求1或2所述基于扩散模型的对抗识别人脸身份隐私保护方法，其特征是：步骤2、构建信息提取器，具体如下：
4.如权利要求3所述基于扩散模型的对抗识别人脸身份隐私保护方法，其特征是：步骤3、构建基于条件扩散模型的人脸生成网络，具体如下：
5.如权利要求4所述基于扩散模型的对抗识别人脸身份隐私保护方法，其特征是：步骤4、人脸图像生成损失函数，具体如下：
6.如权利要求5所述基于扩散模型的对抗识别人脸身份隐私保护方法，其特征是：步骤5、使用公开数据集进行训练及测试，具体如下：
7.如权利要求6所述基于扩散模型的对抗识别人脸身份隐私保护方法，其特征是：步骤5还包括：
8.基于扩散模型的对抗识别人脸身份隐私保护系统，其基于权利要求1-7任一项所述的方法，其特征是，包括如下模块：
【技术特征摘要】
1.基于扩散模型的对抗识别人脸身份隐私保护方法，其特征是，包括以下步骤：
2.如权利要求1所述基于扩散模型的对抗识别人脸身份隐私保护方法，其特征是：
3.如权利要求1或2所述基于扩散模型的对抗识别人脸身份隐私保护方法，其特征是：步骤2、构建信息提取器，具体如下：
4.如权利要求3所述基于扩散模型的对抗识别人脸身份隐私保护方法，其特征是：步骤3、构建基于条件扩散模型的人脸生成网络，具体如下：
5.如权利要求4所...
【专利技术属性】
技术研发人员：周珣，蔡丰锦，孙康强，匡振中，顾晓玲，俞俊，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。