一种基于GAN的用户人格隐私保护方法技术

一种基于GAN的用户人格隐私保护方法属于社会工程学领域。本发明专利技术使用结合强化学习的生成式对抗网络来进行文本的转换，其中策略梯度来解决GAN对于文本离散性的不可导问题。我们将鉴别器中的隐层语义特征“泄露”给生成器类提高生成文本语义相似性，同时在GAN的原始目标上加入真实文本和生成文本特征向量间的语义相似度和人格差异得分，因此鉴别器的样本分类器得分J(G

【技术实现步骤摘要】
一种基于GAN的用户人格隐私保护方法


[0001]本专利技术属于社会工程学领域，尤其涉及一种基于GAN的用户人格隐私保护方法。

技术介绍

[0002]网络空间威胁逐步聚焦在目标“人”上，针对“人”的社会工程学攻击层出不穷并造成了巨大损失，社会工程学利用人的心理弱点进行攻击，攻击者借助大数据、人工智能等更深入地了解目标，发现目标心理属性，从而采取对目标形成更精准的攻击，大幅提高攻击成功率。但目前针对社会工程学的防御手段主要集中在网络钓鱼方面，主要通过技术手段对社会工程学攻击的载体进行被动防御，近年来大量的案件显示其效果并不理想。
[0003]究其根本，当前的防御技术主要考虑攻击的信息特征,并没有抓住社会工程学的核心——目标“人”的特殊性，且防御方法过于被动，而不同目标在社攻击中的脆弱性差异巨大，击者的侧重点也有所不同，一封对大多数人没有任何危害的邮件对某一类人可能是致命威胁。发现攻击者如何找到“人”的弱点并利用的原理，在关键环节上进行阻断或干扰,是有效进行社会工程学攻击防护的重要前提。
[0004]人是一个复杂多变的综合体，对人的分析涉及复杂的心理学因素，在诸多心理学因素中,“人格”是一个相对稳定、全面的心理学特征，广泛应用于安全领域与人有关的研究中。人格理论分为精神分析流派、特质流派、生物学流派、人本主义流派、行为主义流派及认知流派六个流派，最常用的人格模型就是特质流派中最为主流的大五人格模型，如图1所示，它从开放性、尽责性、外向性、宜人性和神经质五个方面描述人格。
[0005]人格作为一个稳定的心理特征集合，一方面已经广泛应用于安全领域的研究中，另一方面也是社会工程学攻击中重要的利用因素，将人格作为社会工程学中对人初期研究的切入点是现实且可行的。利用人格的社会工程学攻击流程如图1所示,在攻击准备阶段,攻击者通过分析收集到的信息数据，获取被攻击对象的人格，利用人格信息在之后的攻击阶段中与对象建立友好关系、维持对象情绪、诱骗对象，达成最终的攻击目的。
[0006]获取人格信息的方式主要分为两种：传统测量方法和大数据分析方法。传统测量方法采用心理学人格测量的方式，包括自我报告数据，观察者评测数据以及投射测验；大数据分析方法获取目标在网络浏览或使用终端设备以及在社交网络活动时产生的数据,将用户属性与数据进行关联,发现其中规律,建立分析模型得到人格信息。
[0007]在信息化和大数据时代，越来越多的人们使用社交媒体来分享他们的生活和观点，使得用户文本数据具有开放性及可获取性，采取机器学习算法等手段来分析文本数据所携带的人格信息，是最有效且准确的方法，也是用户人格隐私泄露的最主要渠道之一，保护文本所携带的隐私信息可以阻断攻击者获取用户人格信息。
[0008]保护被攻击对象的人格隐私可以有效干扰或欺骗攻击者的人格分析，使攻击者获取错误人格信息，避免攻击者对人格脆弱性的利用，降低社会工程学攻击的成功率。目前人格隐私保护的研究处于空白,进行人格隐私保护研究是对网络空间中的“人”进行安全防护的合适起点，对日后认知域安全的深入研究具有重要意义。

技术实现思路

[0009]社会工程学利用人格弱点的首要前提是获取目标的人格信息，最有效也最难防护的人格获取渠道即为通过网络文本获取方法，本专利技术提出基于生成式对抗网络(GAN,Generative Adversarial Networks)的用户人格隐私保护方法，通过文本变换的方法在数据源头上降低用户数据中的人格隐私，阻断攻击者的隐私窃取。
[0010]当GAN的目标是生成离散词符序列时，它有一定的局限性。一个主要原因在于，生成模型的离散输出使得难以将梯度更新从判别模型传递到生成模型。并且，判别模型只能评估一个完整的序列，而对于一个部分生成的序列，平衡其当前分数和未来分数是非常重要的。此外，目前的深度神经网络只能够逼近连续映射，而传输映射是具有间断点的非连续映射，换言之，GAN训练过程中，目标映射不在DNN的可表示泛函空间之中，这一显而易见的矛盾导致了收敛困难；如果目标概率测度的支集具有多个联通分支，而GAN训练得到的又是连续映射，则有可能连续映射的值域集中在某一个连通分支上，导致模式崩溃(mode collapse)。
[0011]为解决上述缺陷，实现文本数据在语义相似条件下的人格变换，本专利技术使用结合强化学习(RL，Reinforcement Learning)的生成式对抗网络来进行文本的转换，其中策略梯度来解决GAN对于文本离散性的不可导问题。我们将鉴别器中的隐层语义特征“泄露”给生成器类提高生成文本语义相似性，同时在GAN的原始目标上加入真实句子和生成句子特征向量间的语义相似度和人格差异得分，因此鉴别器的样本分类器得分J(G
θ
)、语义相似性得分J
sem
和人格差异性得分J
pers
的加权平均值来作为反馈信号来指导生成器的学习，从而使得生成器产生高度多样化的句子以匹配真实句子的变化，避免生成模式单一的文本数据。攻击者无法从变换后的文本数据中分析出用户真实的人格，从而达到攻击效果降低或者阻断攻击的目的。本专利技术由以下几个模块组成：生成器G、鉴别器D、语义模块和人格模块，整体网络结构如图3所示，以下是每个组件的结构和功能描述：
[0012]生成器
[0013]生成器G被划分为文本生成模块和特征引导模块两部分，两个模块均采用长短期记忆网络(LSTM，Long Short
‑
Term Memory)结构。其中，文本生成模块使用随机的词符(token)作为初始值，将其经过词嵌入模型处理后得到的嵌入向量作为LSTM的输入，根据规定的文本长度sequence_length＝T，逐个生成每个时间步(0,1,2,
…
,T)的预测值，并且将LSTM上一个时间步的输出作为下一个时间步的输入。结合特征引导模块，文本生成模块中第t个时间步的生成过程如公式(1
‑
3)所示：
[0014]h
t
＝G
θ
(h
t
‑1,x
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0015]P(
·
|x1,
…
,x
t
)＝z
t
(h
t
)＝softmax(W
s
(h
t
w
t
)+c
s
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0016]y
t
P(
·
|x1,
…
,x
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0017]其中θ代表生成器的参数，即LSTM网络结构中的参数，其关键结构为一个记忆细胞(cell)，参数包括隐藏单元个数hidden_本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于GAN的用户人格隐私保护方法，其特征在于，步骤如下：步骤1、生成器借助鉴别器提取的特征引导向量生成文本；步骤2、将生成的文本序列按照规定的序列长度，利用蒙特卡洛搜索补全；步骤3、将补全后的文本序列和源文本序列输入到鉴别器中使用softmax函数计算概率分布，作为真假样本分类得分；步骤4、使用语义模块计算真实样本和生成样本之间的语义相似度；步骤5、使用人格模块计算真实样本和生成样本的人格差异得分；步骤6、根据强化学习，将鉴别器的真假分类得分、语义模块的语义相似度和人格模块的人格差异得分加权处理后，作为奖励值传递给生成器，优化文本生成过程。2.根据权利要求1所述的方法，其特征在于包括如下步骤：步骤1、生成器借助鉴别器提取的特征引导向量生成文本生成器G被划分为文本生成模块和特征引导模块两部分，两个模块均采用长短期记忆网络结构；其中，文本生成模块使用随机的词符作为初始值，将其经过预训练的词嵌入模型处理后得到的嵌入向量x0作为LSTM的输入，根据规定的文本序列长度sequence_length＝T，逐个生成每个时间步(0,1,2,
…
,T)的预测值，设置序列长度T最大为40，并且将LSTM上一个时间步的输出作为下一个时间步的输入，如公式(1)所示；h
t
＝G
θ
(h
t
‑1,x
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中θ代表生成器的参数，即LSTM网络结构中的参数，其关键结构为一个记忆细胞，参数包括隐藏单元个数hidden_size、序列长度sequence_length和每个训练批次的大小batch_size；设置为以下参数值：隐藏单元个数hidden_size＝32、序列长度sequence_length＝40和每个训练批次的大小batch_size＝64；h
t
‑1是前一个时间步的隐藏状态，x
t
表示当前时间步的输入向量，其向量维数由预训练的词嵌入模型确定，emb_dim＝32；对于每个样本x，鉴别器将会输出样本x是否为真实数据的概率D
φ
(x)，并将其反馈给生成器作为强化学习中的奖励信号；鉴于鉴别器反馈信号的弱引导，在生成器网络中增加了一个特征引导模块；特征引导模块的目的是从鉴别器获得更丰富的文本特征来引导生成；在鉴别器中，对生成序列和真实序列利用CNN提取潜在特征f
t
，将此向量使用LSTM网络进行转换得到特征引导向量g
t
，保持与文本生成模块的特征一致性，过程如公式(2)所示；其中C代表LSTM构建的特征引导模块，f
t
为鉴别中CNN提取出的潜在特征，θ
C
为特征引导模块的参数集，h
tC
表示特征引导模块中当前时间步的隐藏状态向量，g
t
表示潜在向量f
t
经过特征引导模块C转换得到的特征引导向量；由于特征引导模块也采用LSTM网络结构，所以特征引导模块和生成器模块进行参数共享；将近邻k个时间步的特征向量使用线性转换得到w
t
，随后连接到文本生成模块来决定序列的下一个词符，过程如公式(3)所示；其中W
c
表示维度变换矩阵，w
t
为将线性变换后的特征引导向量；
结合特征引导模块，文本生成模块中第t个时间步的生成过程如公式(4
‑
5)所示：P(
·
|x1,
…
,x
t
)＝z
t
(h
t
)＝softmax(W
s
(h
t
w
t
)+c
s
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(4)y
t
P(
·
|x1,
…
,x
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(5)将当前时间步的隐藏状态输出h
t
与特征引导模块生成的引导向量w
t
结合，并在输入到softmax函数之前，进行线性变换，其中W
s
为权重矩阵，c
s
为偏置系数；通过softmax层，计算当前时间步的概率分布z
t
，并从概率分布P(
·
|x1,
…
,x
t
)中对词符y
t
进行采样；维度变换矩阵W
c
、权重矩阵W
s
和偏置系数c
s
三者的初始数值一般取随机值，在训练模型时通过反向传播来自动更新该值；在反向传播过程中，随着we和be的变化，不断调整概率分布，从而生成器的损失函数不断减小，直至收敛，三者的值便不再变化；生成器的损失函数见步骤5；步骤2、将生成的文本序列按照规定的序列长度，利用蒙特卡洛搜索补全；蒙特卡罗采样补充不完整序列，因此需要在中间时间进行大量的采样操作来填充不完整序列；然后将完整的序列Y
1:T
送入鉴别器，确定当前令牌的奖励，并根据反馈指导进行后续生成；采样K次的蒙特卡洛搜索过程MC如公式(6)所示：其中Y
1:TK
表示第K次采样得到的完整序列，K值设置为4；步骤3、将补全后的文本序列和源文本序列输入到鉴别器中使用softmax函数计算概率分布，作为真假样本分类得分；鉴别器D采用卷积神经网络结构，首先对输入数据经过词嵌入层做矢量化处理；然后将词向量输入卷积层，使用不同大小的卷积核提取文本特征；随后通过完全连接层处理后将文本特征送入输出层；其中，输出层使用softmax函数；鉴别器由生成器生成的负样本和真实数据集中的正样本进行训练，本质上是一个二分类任务；对于每个样本x，鉴别器将会输出样本x是否为真实数据的概率D
φ
(x)，并将其反馈给生成器作为强化学习中的奖励信号；概率值的计算过程如(7)所示：D
φ
(x)＝softmax(φ
o
F(x))
ꢀꢀꢀꢀꢀꢀ
(7)在鉴别器中，正样本得到的概率应该接近1，负样本得到的概率应该接近0，而鉴别器训练的目标是提高鉴别正、负样本的准确率，即最大化公式(8)中的目标：其中，φ是鉴别器的参数集，包括输出层和卷积层、池化层的参数；φ
o
代表输出层的参数，包括类别个数num_classes，以及在softmax函数处理前的线性变换的权重矩阵W
d
和偏置系数c
d
；由于鉴别器的作用是区分输入文本的真假，因此num_classes＝2；权重矩阵W
d
和偏置系数c
d

【专利技术属性】
技术研发人员：王秀娟，随艺，郑康锋，石雨桐，曹思玮，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：