基于生成对抗网络的高保真人脸隐私保护方法和系统技术方案

本发明专利技术提供一种基于生成对抗网络的高保真人脸隐私保护方法和系统，所述方法包括：对源人脸图像进行人脸识别，获取源人脸的多尺度身份特征；基于输入的目标人脸图像，至少获得目标人脸边界框和人脸关键点信息；提取获得的人脸关键点中姿态和/或表情相关的特定关键点，基于提取的特定关键点获得人脸关键点连线图；基于生成对抗网络GAN获得保真人脸隐私保护图像，包括：以目标人脸图像和源人脸的多尺度身份特征作为输入，利用Unet神经网络结构生成具有源人脸的身份和目标人脸的属性的保真人脸隐私保护图像；将保真人脸隐私保护图像和人脸关键点连线图作为共同输入来判别保真人脸隐私保护图像的识别结果，并基于识别结果优化Unet神经网络结构。化Unet神经网络结构。化Unet神经网络结构。

【技术实现步骤摘要】
基于生成对抗网络的高保真人脸隐私保护方法和系统


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于生成对抗网络的高保真人脸隐私保护方法和系统。

技术介绍

[0002]目前人脸合成与替换技术作为一种新的计算机视觉技术受到越来越多的关注，其在娱乐、虚拟现实、隐私保护、视频聊天和其他视觉技术方面具有很大的应用价值。当前主流的人脸合成与替换技术模型较为复杂，对硬件要求高且推理时间长。此外，由于每帧的生成人脸不能很好地保留该帧目标人脸的属性(例如：姿态、表情、肤色、光照、妆容等)，导致出现时域上的不连续、不稳定等问题，其在视频应用上效果较差，同时导致在满足隐私保护的情况下往往使得目标人脸图像失真严重，目前难以做到在人脸高保真状态下良好的隐私保护效果。
[0003]因此，如何实现目标人脸高保真状态下良好的隐私保护，是一个有待解决的问题。

技术实现思路

[0004]鉴于此，本专利技术提出了一种基于生成对抗网络的高保真人脸隐私保护方法和系统，以消除或改善现有技术中存在的一个或更多个缺陷。
[0005]根据本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的高保真人脸隐私保护方法，其特征在于，该方法包括以下步骤：源人脸身份编码步骤，用于对源人脸图像进行人脸识别，获取源人脸的多尺度身份特征；人脸及关键点检测步骤，用于基于输入的目标人脸图像，至少获得目标人脸边界框和人脸关键点信息；关键点连线图获取步骤，用于提取获得的人脸关键点中姿态和/或表情相关的特定关键点，并基于提取的特定关键点获得人脸关键点连线图；基于生成对抗网络GAN获得保真人脸隐私保护图像，包括：图像生成步骤，用于以目标人脸图像和源人脸的多尺度身份特征作为输入，利用Unet神经网络结构合成具有源人脸的身份和目标人脸的属性的保真人脸隐私保护图像；判别步骤，用于将所述保真人脸隐私保护图像和所述人脸关键点连线图作为共同输入来判别所述保真人脸隐私保护图像的识别结果，并基于识别结果优化所述Unet神经网络结构。2.根据权利要求1所述的方法，其特征在于，所述身份编码步骤包括：采用k
‑
shot策略来获取源人脸的多尺度身份特征；所述采用k
‑
shot策略来获取源人脸的多尺度身份特征包括：基于k张源人脸图像获得k个身份特征，对得到的k个身份特征求平均来得到最终身份特征；基于所述最终身份特征获得源人脸多尺度身份特征。3.根据权利要求1所述的方法，其特征在于，所述图像生成步骤包括：身份迁移步骤，通过源人脸图像的实例归一化处理、层归一化处理和基于源人脸多尺度身份特征的深度学习，得到源人脸图像的第一自适应输出特征；姿态表情控制步骤，基于目标人脸图像的实例归一化处理、层归一化处理和基于人脸关键点连线图的深度学习，得到目标人脸图像的第二自适应输出特征；基于所述第一自适应输出特征和第一自适应输出特征利用Unet神经网络结构生成具有源人脸的身份和目标人员的属性的保真人脸隐私保护图像。4.根据权利要求3所述的方法，其特征在于，所述第一自适应输出特征符合以下公式：所述第二自适应输出特征符合以下公式：其中，其中，M∈R
H
×
W
×
C
；
其中，M为输入图像的特征，R表示实数域；H和W分别代表特征图的高和宽，C代表特征通道数；μ
IN
和σ
IN
是用于实例归一化的均值和标准差，和分别表示每个实例在第c个通道的均值和方差，μ
LN
和σ
LN
是用于层归一化的均值和标准差；γ
ID
和β
ID
是通过多尺度身份特征学习到的参数；γ
PE
和β
PE
是通过关键点连线图B
t
学习到的参数，为M
IN
第c个通道位置(x,y)的值，为M
LN
第c个通道位置(x,y)的值，为LN在第c个通道的均值。5.根据权利要求1所述的方...

【专利技术属性】
技术研发人员：杨辉华，张隆昊，李灵巧，许亦博，李忠明，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：