一种用于人脸图像的身份隐私保护方法及装置制造方法及图纸

本发明专利技术公开了一种用于人脸图像的身份隐私保护方法及装置，所述方法包括：构建表征学习模型，由所述表征学习模型对获取的人脸图像进行特征提取，由人脸身份表征解耦子网络模型将所述人脸图像中的统计信息与背景信息解耦；将所述表征学习模型提取到的特征与所述统计信息整合，得到整合信息；构建身份扰动模型，基于人脸图像使用者的隐私级别为所述整合信息添加随机扰动；构建图像重构模型，所述图像重构模型基于添加随机扰动后的整合信息，重构人脸图像。本发明专利技术的方法，在有效抵抗背景知识攻击、重构攻击与组合攻击的同时，实现可证明、可控的人脸身份隐私保护，保证发布图像的隐私性与可用性的优化权衡。与可用性的优化权衡。与可用性的优化权衡。

【技术实现步骤摘要】
一种用于人脸图像的身份隐私保护方法及装置


[0001]本专利技术涉及数据安全领域，具体涉及一种用于人脸图像的身份隐私保护方法及装置。

技术介绍

[0002]早期的人脸图像隐私保护技术通过主要通过遮蔽、像素化、滤波等方法，实现对眼部、嘴部等面部主要区域信息进行隐私保护。但是，这类方法实现机理比较简单，往往由于所有面部信息细节都被遮盖处理，导致隐私保护数据的效用性较低，限制了其应用范围。受经典匿名化机制k
‑
anonymity的启发，研究学者提出k
‑
same匿名化人脸图像隐私保护机制，使用距离度量从数据集中选择与原始人脸最相似的图像，并将原始人脸替换为与原始人脸最相似图像的像素平均值，为人脸图像隐私保护提供形式上的匿名保证，并保留了原始人脸的一些视觉信息。然而，k
‑
same机制基于像素平均值代替原始图像的思想，易受到面部特征不精确对齐的影响，导致特征错位、叠加，使得最终发布的图像视觉效果较差。后续研究工作将k
‑
same机制与生成学习模型结合，试图解决k
‑
same机制存在的问题，通过生成学习模型对图像进行编码，再利用k
‑
same机制对身份相关属性进行保护的方式，调整图像隐私保护程度与保留面部属性之间的权衡关系，提高发布图像精度。
[0003]在对现有技术的研究与分析中发现，已有技术存在以下问题有待解决：
[0004]1)缺少可量化、可证明的隐私保证
[0005]由于k
‑r/>same机制与经典匿名化机制k
‑
anonymity的思想相似，都是根据攻击者拥有的背景知识假设，设计隐私参数k为敏感属性提供隐私保障。因此，基于k
‑
same的人脸图像图像隐私保护方法也存在无法抵抗背景知识攻击、重构攻击与组合攻击的问题，缺少可量化、可证明的隐私保证。
[0006]2)无法实现可控、细粒度的属性保护
[0007]脸部的轮廓、姿态、表情等几何特征对提升隐私保护人脸图像的效用十分重要，而大多数已有方法无法保留各种面部姿态、表情等几何属性。

技术实现思路

[0008]有鉴于此，本专利技术提供了一种用于人脸图像的身份隐私保护方法及装置，能够解决现有技术对人脸图像缺少可量化、可证明的隐私保证，以及无法实现可控、细粒度的属性保护的技术问题。
[0009]为了解决上述技术问题，本专利技术是这样实现的。
[0010]一种用于人脸图像的身份隐私保护方法，所述方法包括如下步骤：
[0011]步骤S1：构建表征学习模型，由所述表征学习模型对获取的人脸图像进行特征提取，由人脸身份表征解耦子网络模型将所述人脸图像中的特征信息与背景信息解耦；将所述表征学习模型提取到的特征与所述特征信息整合，得到整合信息；
[0012]步骤S2：构建身份扰动模型，基于人脸图像使用者的隐私级别为所述整合信息添
加随机扰动；
[0013]步骤S3：构建图像重构模型，所述图像重构模型基于添加随机扰动后的整合信息，重构人脸图像。
[0014]优选地，所述表征学习模型包括基于人脸视觉属性的子网络和解耦子网络；所述基于人脸视觉属性的子网络由相互连接的轻量化CNN模型、通道注意力模型以及图卷积模型构成；所述获取的人脸图像输入所述轻量化CNN模型，所述轻量化CNN模型获取不同特征通道的多尺度人脸特征；所述通道注意力模型对所述轻量化CNN模型提取的所述不同特征通道的多尺度人脸特征进行融合，得到空间语义属性人脸特征图；将所述空间语义属性人脸特征图输入GCN网络，由所述GCN网络对所述空间语义属性人脸特征图进行学习，得到人脸局部区域之间结构关系的几何特征。
[0015]优选地，所述特征信息指性别、年龄属性的特征；所述人脸身份表征解耦子网络模型由U
‑
Net模型和基于CNN的解耦表征模型连接构成；对所述不同特征通道的多尺度人脸特征进行特征信息的属性操作，得到特征信息I
′
n
，所述U
‑
Net模型以所述特征信息I
′
n
为输入，提取人脸特征图；所述基于CNN的解耦表征模型接收所述人脸特征图，将所述人脸特征图中的人脸视觉属性特征和特征信息进行解耦表征。
[0016]优选地，获取所述人脸局部区域之间结构关系的几何特征、解耦后的人脸视觉属性特征和解耦后的特征信息，通过线性加权层将所述人脸局部区域之间结构关系的几何特征、解耦后的人脸视觉属性特征和解耦后的特征信息进行融合，得到整合信息。
[0017]优选地，所述步骤S1，其中，由所述表征学习模型对获取的人脸图像进行特征提取，包括：所述表征学习模型的输入为单张图像，表示为将I
n
输入到所述轻量化CNN网络进行特征学习，获取不同特征通道的多尺度人脸特征，表示为其中，i＝1,2；n＝1,2,
…
,N表示特征通道的层数；对所述不同特征通道的多尺度人脸特征分别进行多尺度视觉特征融合操作以及特征信息的属性操作，分别得到多尺度视觉融合特征以及特征信息I
′
n
；将输入通道注意力模型，对进行融合，得到含有空间语义属性的空间语义属性人脸特征图，所述空间语义属性是指包含人脸图像不同空间子区域潜在关系的语义特征；将所述空间语义属性人脸特征图输入所述GCN网络，对所述空间语义属性人脸特征图，提取代表左眼部右眼部鼻部嘴部的子特征块，将每一个子特征块定义为图网络G＝{V,E}中的一个节点，其中G为图网络，V为每一个图节点，E表示节点间的边界，节点之间的连接关系表示为边界e∈E，其中，所有图节点之间的边界关系表示为邻接矩阵M，M表示每个节点特征之间的关系，其中，图G利用GCNs学习节点之间的相互关系，得到人脸局部区域之间结构关系的几何特征；
[0018]所述步骤S1，所述由人脸身份表征解耦子网络模型将所述人脸图像中的特征信息与背景信息解耦，包括：
[0019]将I
′
n
输入U
‑
Net模型，通过U
‑
net模型的编码器模型输出中间特征向量，再将所述中间特征向量输入到U
‑
Net的解码器模型获取人脸特征图；将所述人脸特征图输入基于CNN的解耦表征模型，将人脸视觉属性特征和特征信息进行解耦表征，解耦后的人脸视觉属性特征记为h
back
，解耦后的特征信息记为h
d1
。
[0020]优选地，所述步骤S3，包括：所述图像重构模型为DenseNet模型，所述DenseNet网络基于所述添加随机扰动后的特征信息对所述整合信息进行重构，所述DenseNet网络再对所述人脸图像的背景信息进行重构，使重构后的整合信息与所述人脸图像的重构后的背景信息融合。
[0021]本专利技术所提供的一种用于人脸图像的身份隐私保护装置，所述装置包括：
[0022]特征提取模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于人脸图像的身份隐私保护方法，其特征在于，所述方法包括如下步骤：步骤S1：构建表征学习模型，由所述表征学习模型对获取的人脸图像进行特征提取，由人脸身份表征解耦子网络模型将所述人脸图像中的特征信息与背景信息解耦；将所述表征学习模型提取到的特征与所述特征信息整合，得到整合信息；步骤S2：构建身份扰动模型，基于人脸图像使用者的隐私级别为所述整合信息添加随机扰动；步骤S3：构建图像重构模型，所述图像重构模型基于添加随机扰动后的整合信息，重构人脸图像。2.如权利要求1所述的方法，其特征在于，所述表征学习模型包括基于人脸视觉属性的子网络和解耦子网络；所述基于人脸视觉属性的子网络由相互连接的轻量化CNN模型、通道注意力模型以及图卷积模型构成；所述获取的人脸图像输入所述轻量化CNN模型，所述轻量化CNN模型获取不同特征通道的多尺度人脸特征；所述通道注意力模型对所述轻量化CNN模型提取的所述不同特征通道的多尺度人脸特征进行融合，得到空间语义属性人脸特征图；将所述空间语义属性人脸特征图输入GCN网络，由所述GCN网络对所述空间语义属性人脸特征图进行学习，得到人脸局部区域之间结构关系的几何特征。3.如权利要求2所述的方法，其特征在于，所述特征信息指性别、年龄属性的特征；所述人脸身份表征解耦子网络模型由U
‑
Net模型和基于CNN的解耦表征模型连接构成；将所述不同特征通道的多尺度人脸特征进行特征信息属性操作，得到特征信息I
′
n
，所述U
‑
Net模型以所述特征信息I
′
n
为输入，提取人脸特征图；所述基于CNN的解耦表征模型接收所述人脸特征图，将所述人脸特征图中的人脸视觉属性特征和特征信息进行解耦表征。4.如权利要求2
‑
3中任一项所述的方法，其特征在于，获取所述人脸局部区域之间结构关系的几何特征、解耦后的人脸视觉属性特征和解耦后的特征信息，通过线性加权层将所述人脸局部区域之间结构关系的几何特征、解耦后的人脸视觉属性特征和解耦后的特征信息进行融合，得到整合信息。5.如权利要求1所述的方法，其特征在于，所述步骤S1，其中，由所述表征学习模型对获取的人脸图像进行特征提取，包括：所述表征学习模型的输入为单张图像，表示为将I
n
输入到所述轻量化CNN网络进行特征学习，获取不同特征通道的多尺度人脸特征，表示为其中，i＝1,2；n＝1,2,
…
,N表示特征通道的层数；对所述不同特征通道的多尺度人脸特征分别进行多尺度视觉特征融合操作以及特征信息的属性操作，分别得到多尺度视觉融合特征以及特征信息I
′
n...

【专利技术属性】
技术研发人员：沈博，王祥根，崔佳佳，
申请(专利权)人：中国电子科技集团公司第十五研究所，
类型：发明
国别省市：