一种可用性一致的差分隐私人体匿名合成方法技术

本发明专利技术公开了一种可用性一致的差分隐私人体匿名合成方法。本发明专利技术特征在于将源人体数据集通过委派人体数据集与可用性保持姿势转换网络得到匿名人体数据集；具体步骤：步骤1：预处理；步骤2：分配委派身份；步骤3：构建可用性保持姿势转换网络；步骤4：训练约束；步骤5：模型训练及测试。本发明专利技术可以生成新的匿名人体图像，避免隐私数据被收集以及滥用，而且匿名图像可以保持原始数据的可用性。此外，本发明专利技术可以在不同的隐私级别下生成自然的图像，并保持人体隐私以及数据可用性。并保持人体隐私以及数据可用性。并保持人体隐私以及数据可用性。

【技术实现步骤摘要】
一种可用性一致的差分隐私人体匿名合成方法


[0001]本专利技术是关于图像隐私保护领域，提出了一种可用性一致的差分隐私人体匿名合成方法。

技术介绍

[0002]图像采集设备的空前应用(如智能手机和监控摄像头)，导致在私人区域以及公共区域产生了大量的隐私人体图像并且这些图像很容易被获取如果它们被释放到互联网上。于此同时，先进的人工技术(如行为分析、行人重识别、人脸识别等)能够使用这些数据产生性能优越的应用在当今社会产生重要作用，然而这些应用会被不法分子滥用导致严重的隐私泄露问题。
[0003]为了解决上诉的隐私问题，一些国家制定了越来越严格的法律，甚至下架了没有隐私保障的公开数据集，这可能会导致许多重要的人工智能研究的进行。因此开发有效的隐私保护技术来解决隐私问题是非常重要的，其目标是使原始图像无法被滥用并且产生的匿名图像可以在不考虑隐私的情况下能够自用的复用。上述的隐私保护技术应当能够帮助在不同场景下管理人体图像数据。目前常用的隐私保护方法如模糊和马赛克主要侧重于保护，但是不能保证匿名图像的可用性。事实上，平衡数据的隐私保护和可用性是个开放性与具有挑战性的问题。
[0004]近些年来，在生成式对抗网络研究上的显著进步使合成真实图像成为了可能，这为人体隐私保护开辟了新的人体替换合成的道路。相比于传统的模糊和马赛克，生成式对抗网络生成的匿名图像更加真实。一个典型的例子是DeepFake，但是简单的替换会破坏原始图像的可用性并且侵犯替换人的隐私。因此开发特定的隐私合成技术对于视觉图像安全至关重要。目前大多数研究是基于脸部匿名，但是这对于人体匿名是不足的，因为除了人脸外人体包括了大量的身份信息。比如，在监控摄像头中人体能够被识别即便他的脸部被遮挡住。此外最新的行人重识别算法也能识别人体身份即便他们的脸部被遮挡住。

技术实现思路

[0005]本专利技术的目的是针对现有技术的不足，提供一种可用性一致的差分隐私人体匿名合成方法。本专利技术特征在于将源人体数据集通过委派人体数据集与可用性保持姿势转换网络得到匿名人体数据集
[0006]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0007]步骤1：预处理；
[0008]步骤2：分配委派身份；
[0009]步骤3：构建可用性保持姿势转换网络；
[0010]步骤4：训练约束；
[0011]步骤5：模型训练及测试。
[0012]进一步的，步骤1预处理，具体步骤如下：
[0013]1‑
1.委派人体数据集采集，使用公开数据集或合成的数据集作为委派人体数据集
[0014]1‑
2.图像标记，对委派人体数据集标记所需的非敏感属性；
[0015]1‑
3.使用姿态解析器解析委派人体数据集中的人体图像，得到人体关键点；
[0016]1‑
4.使用实例分割模型得到人体区域掩码图像。
[0017]进一步的，步骤2分配委派身份，具体步骤如下：
[0018]2‑
1.构建属性一致候选集；
[0019]采用预训练的属性分类器对原始人体图像I
x
的属性A
x
进行预测；属性一致候选集S
x
从委派人体数据集中挑选属性与A
x
一致的委派身份构建得到，所述的挑选的属性均为非敏感的，且通过最大化属性一致挑选方法进行挑选；
[0020]2‑
2.差分隐私身份委派
[0021]委派身份进行人体匿名，实际上是通过合理的设计从原始身份到委派身份的映射达到的。为了找到合适的委派身份，我们引入了图像级的差分隐私随机身份映射φ。为了保护φ免受差分攻击导致攻击者通过委派人体s
d
推断出I
x
，我们基于∈
‑
差分隐私设计身份映射。具体的，我们采用指数机制实现∈
‑
差分隐私，其中指数机制需要定义可用性函数。由于相同属性的人体具有更小的特征距离，我们基于行人特征定义可用性函数，特征距离近的人体具有更高的可用性。根据可用性函数，属性一致候选集中的候选身份有不同的概率被选择为委派身份，这里采用均匀分布挑选委派身份。
[0022]进一步的，步骤3构建可用性保持姿势转换网络，具体步骤如下：
[0023]对于给定的原始人体图像首先采用步骤2分配委派身份对应的委派人体图像然后使用UPT网络替换原始人体图像I
x
中的人体，得到匿名目标图像UPT网络如下所示：
[0024]3‑
1.构建生成器；
[0025]生成器由数个编码器和一个解码器构成，包括编码器E
x
、E
p
、E
a
、E
f
和一个解码器其中E
x
和E
p
由3个卷积层构成，E
f
由2个卷积层构成，E
a
由7个全连接层构成，由渐进式姿态迁移模型构成；
[0026]3‑
2.构建鉴别器；
[0027]UPT网络采用两个鉴别器D
p
和D
t
对抗性的训练生成器；鉴别器D
p
重点在于判断目标图像的姿势是否对应到源人体的姿势，采用多个卷积层和残差块构成；鉴别器D
t
使用和编码器E
a
一样的7层全连接层来判别生成人体图像的真实性和属性一致性；
[0028]3‑
3.背景恢复模块；
[0029]将原始人体图像I
x
的背景贴到生成人体图像上再输入到鉴别器D
p
和D
t
中，通过这种方式能够很好的恢复原始背景。
[0030]进一步的，步骤4训练约束，具体步骤如下：
[0031]4‑
1.UPT的完整目标函数定义为：
[0032][0033]其中L
GD
是生成器和鉴别器间的对抗损失，L
s
是身份交换损失，L
r
是重构损失，λ1、λ2和λ3是平衡不同损失重要性的参数；
[0034]4‑
2.对抗损失L
GD
；
[0035]对抗损失可以表述如下：
[0036][0037]D
p
(G(z
x
，A
x
，P
x
)，P
x
))]ꢀꢀꢀ
(2)
[0038]其中A
x
和P
x
是从真实数据中采样得到的属性与姿态热力图，M
x
是原始人体图像I
x
中人体区域掩码，是委派人体图像s
d
的姿态热力图；
[0039]4‑
3.身份交换损失；
[0040]当原始人体图像I
x
的身份和委派人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可用性一致的差分隐私人体匿名合成方法，其特征在于将源人体数据集通过委派人体数据集与可用性保持姿势转换网络得到匿名人体数据集具体实现步骤如下：步骤1：预处理；步骤2：分配委派身份；步骤3：构建可用性保持姿势转换网络；步骤4：训练约束；步骤5：模型训练及测试。2.根据权利要求1所述的一种可用性一致的差分隐私人体匿名合成方法，其特征在于步骤1预处理，具体步骤如下：1
‑
1.委派人体数据集采集，使用公开数据集或合成的数据集作为委派人体数据集1
‑
2.图像标记，对委派人体数据集中的人体图像标记所需的非敏感属性；1
‑
3.使用姿态解析器解析委派人体数据集中的人体图像，得到人体关键点；1
‑
4.使用实例分割模型对人体图像分割，得到人体区域掩码图像。3.根据权利要求1所述的一种可用性一致的差分隐私人体匿名合成方法，其特征在于步骤2分配委派身份，具体步骤如下：2
‑
1.构建属性一致候选集；采用预训练的属性分类器对原始人体图像I
x
的属性A
x
进行预测；属性一致候选集S
x
从委派人体数据集中挑选属性与A
x
一致的委派身份构建得到，所述的挑选的属性均为非敏感的，且通过最大化属性一致挑选方法进行挑选；采用预训练的属性分类器对源人体数据集中原始图像I
x
的属性A
x
进行预测；从从委派人体数据集中挑选属性与非敏感属性A
x
一致的图像，从而构建得到属性一致候选集S
x
；其中属性分类器在原始图像I
x
上第i个非敏感属性的预测结果为上第i个非敏感属性的预测结果为表示相应的非敏感属性的softmax分数，m表示对应的非敏感属性数量；令当ρ(x，d)＝m时委派人体图像s
d
和原始图像I
x
为全匹配，其中为委派人体图像s
d
的第i个属性标签；当全匹配委派人体图像数量n小于预设的阈值t时，t
‑
n个额外的图像将会被添加到属性一致候选集S
x
，其规则为从委派人体数据集挑选最大化属性一致性的委派人体图像s
d
，属性一致性表示为2
‑
2.差分隐私身份委派为了找到合适的委派人体图像s
d
，引入图像级的差分随机身份映射φ，对于随机机制K，如果其对于任意的邻接映射φ1和φ2以及所有的可能输出O，满足：Pr[K(φ1)∈O]≤e
∈
Pr[K(φ2)∈O]则称随机机制K满足∈
‑
差分隐私；采用指数机制实现∈
‑
差分隐私，其定义如下：当随机算法K(φ，u，R)以正比于exp(∈u(φ，r)/2Δu)的概率挑选并输出一个元素则K满足∈
‑
差分隐私；其中表示从源人体数据集第x张图像映射到委派人体数据集第d张图像的可用性，k表示源人体数据集第x张图像在委派人体数据集上所有
可能的映射图像的索引，并且ξ(k，x)＝|f(s
k
)
‑
f(I
x
)|2，f是预训练的人体特征提取器，s
k
是委派人体数据集第k张图像；最终以的概率执行随机采样挑选身份委派；由于Pr[φ|x
→
d]正比于exp(∈u(φ，r)/2Δu)，所以身份委派方式满足指数机制，既满足∈
‑
差分隐私。4.根据权利要求1所述的一种可用性一致的差分隐私人体匿名合成方法，其特征在于步骤3构建可用性保持姿势转换网络，具体步骤如下：对于给定的原始人体图像首先采用步骤2分配委派身份对应的委派人体图像然后使用UPT网络替换原始人体图像I
x
中的人体，得到匿名目标图像UPT网络如下所示：3
‑
1.构建生成器；生成器由数个编码器和一个解码器构成，包括编码器E
x
、E
p
、E
a
、E
f
和一个解码器其中E
x
和E
p
由3个卷积层构成，E
f
由2个卷积层构成，E
a
由7个全连接层构成，由渐进式姿态迁移模型构成；3
‑
2.构建鉴别器；UPT网络采用两个鉴别器D
p
和D
t
对抗性的训练生成器；鉴别器D
p
重点在于判断目标图像的姿势是否对应到源人体的姿势，采用多个卷积层和残差块构成；鉴别器D
t
使用和编码器E
a
一样的7层全连接层来判别生成人体图像的真实性和属性一致性；3
‑

【专利技术属性】
技术研发人员：匡振中，滕龙斌，李忠金，俞俊，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：