一种垂直联邦架构下的数据信息防御方法、系统、电子设备及存储介质技术方案

本发明专利技术提出一种垂直联邦架构下的数据信息防御方法、系统、电子设备及存储介质。其中，方法包括：构建了基于垂直联邦的深度学习框架，将真实网络数据集转换成嵌入并加密后上传至中央服务器，防止攻击者得到目标的上传信息从而导致隐私的泄露。本发明专利技术基于同态加密来对嵌入进行加密处理，在不断地学习训练的过程中加密嵌入，以达到攻击者无法成功获得真实信息。与其他方法相比，本发明专利技术具有防御能力强、对主要任务影响小等特点。主要任务影响小等特点。主要任务影响小等特点。

【技术实现步骤摘要】
一种垂直联邦架构下的数据信息防御方法、系统、电子设备及存储介质


[0001]本专利技术属于面向垂直联邦学习的用户数据保护领域，尤其涉及一种垂直联邦架构下的数据信息防御方法、系统、电子设备及存储介质。

技术介绍

[0002]近年来，在越来越多的领域中，人工智能(Artificial intelligence,AI)都取得了巨大成功，如人脸识别、智慧医疗、自然语言处理和语音识别等。然而，人工智能领域仍然存在两个主要的挑战：用户数据隐私泄露和数据量少且质量低的问题。首先，在绝大多数领域，利用大量数据去训练人工智能模型可能会造成数据的泄露，包括公众的身份信息和资金往来等。其次，大数据发展到现在，已经在许多行业形成了无形的壁垒。我们将这样的情况，即大量的数据被分开存放于几乎不能相互交流的实体中，称之为“数据孤岛”。这样的现状导致了一般情况下难以训练出预测精度较高的模型。
[0003]面对这样的复杂情况，联邦学习作为一种新的机器学习形式被提出并得到了快速发展。联邦学习的目标是利用散落在互联网各处的“数据孤岛”，在不造成隐私泄露的情况下训练机器学习模型，促进行业的发展。
[0004]联邦学习是一种分布式机器学习范式，它实现参与者原始数据不出本地完成联合隐私训练的任务。与基于集中式存储用户数据的大多数现有的机器学习方法不同，在联邦学习中，数据在参与者的设备上本地保存。每个参与者都维护一个本地模型，并根据存储在该用户设备上的数据计算本地模型更新。来自多个参与者的本地模型更新被上传到协调模型训练过程的中央服务器。这些更新被聚合到一个统一的更新中，以用于更新由该服务器维护的全局模型。更新之后的结果被分发到所有用户设备以更新本地模型。此过程反复执行，直到联邦模型收敛。由于模型更新通常包含的隐私信息要少得多，并且原始用户数据从未离开设备，因此可以有效地降低隐私泄露的风险。
[0005]此外，根据参与者所拥有的本地数据的分布差异不同，联邦学习通常被分为水平联邦学习(Horizontal Federated Learning)和垂直联邦学习(Vertical Federated Learning)。本专利技术主要针对垂直联邦学习范式提出隐私保护方法。虽然联邦学习框架是为了保护用户隐私才被提出的，但是攻击者仍有可能通过窃听通信通道来获取上传与下载数据，从而导致隐私的泄露。
[0006]联邦学习是为了保护参与联合深度学习的参与者的用户隐私而被提出的。然而现在的一些研究证明联邦学习中直接传输模型的梯度信息会带来潜在的隐私泄露风险，例如，一个好奇的服务器可以通过参与者上传的梯度信息推断参与者的原始数据。为了解决这种由原始梯度上传带来的隐私泄露风险，一些现有技术尝试为联邦学习的梯度设计保护隐私的方法。一种方法是对联邦学习中的模型利用差分隐私技术添加随机噪声达到对模型的保护；另一种常见的方法为梯度混淆，即对梯度进行离散化或者随机变换。然而这两种常见的隐私保护技术通常会降低模型的预测性能，降低联邦学习的收敛速度，带来额外的通
信计算开销。

技术实现思路

[0007]为解决上述技术问题，本专利技术提出一种垂直联邦架构下的数据信息防御方法、系统、电子设备及存储介质的技术方案，以解决上述技术问题。
[0008]本专利技术第一方面公开了一种垂直联邦架构下的数据信息防御方法，所述方法包括：
[0009]步骤S1、构建基于垂直联邦学习框架，该框架由m个参与者和一个中央服务器组成，所述参与者和中央服务器都具有本地计算资源；参与者各自维护一个本地模型，所述中央服务器维护一个顶端模型；
[0010]步骤S2、参与者联合选定一种模式作为密钥托管场景：可信模式和非可信模式；所述可信模式中参与者执行半同态加密，参与者使用统一的公钥和私钥；所述非可信模式下，参与者执行阈值同态加密方案，参与者各自使用各自的公钥和私钥；
[0011]步骤S3、每个参与者构建一个本地训练子图，从所述本地训练子图学习网络数据信息并提取特征矩阵，构建本地模型，即参与者将自身所掌握的网络数据通过所述本地模型转换成嵌入表示；
[0012]步骤S4、参与者利用公钥对本地生成的嵌入表示进行加密，获得加密后的嵌入表示密文，并将所述嵌入表示密文发送至服务器；
[0013]步骤S5、所述中央服务器聚合拼接所有的参与者的嵌入表示密文形成聚合隐私密文；
[0014]步骤S6、所述中央服务器将所述聚合隐私密文在所述顶端模型中进行前向传播；
[0015]步骤S7、所述中央服务器通过损失函数计算损失值，进行反向传播，然后更新所述顶端模型，最后为每个参与者分别发送梯度密文；
[0016]步骤S8、参与者本地模型接收服务器下发的梯度密文，对梯度密文进行解密，更新本地模型的参数；
[0017]步骤S9、重复步骤S3至步骤S8，直到全局模型收敛，即在所述顶端模型上，所述顶端模型的预测准确度达到设定要求。
[0018]根据本专利技术第一方面的方法，在所述步骤S1中，所述本地模型选择具有2层的图卷积神经网络作为特征提取模型；
[0019]所述顶端模型为3层全连接层作为特征提取模型，其中每层全连接层连接Sigmoid激活函数层，第一层全连接层网络的输入维度为参与者数量m*64，其中m为垂直联邦学习中的参与者数量。
[0020]根据本专利技术第一方面的方法，在所述步骤S2中，在所述可信模式下，参与者的加密采用RSA加密方案；
[0021]在所述非可信模式下，按照参与者的实际运算资源，采用随机分组或者每个参与者独自生成公钥和私钥。
[0022]根据本专利技术第一方面的方法，在所述步骤S3中，所述参与者将自身所掌握的网络数据通过所述本地模型转换成嵌入表示的方法包括：
[0023][0024]其中，X和分别为特征矩阵和邻接矩阵，D表示度矩阵，W
l
表示所述本地模型第l层的参数，σ(
·
)为激活函数。
[0025]根据本专利技术第一方面的方法，在所述步骤S4中，参与者利用公钥采用RSA算法对本地生成的嵌入表示进行加密。
[0026]根据本专利技术第一方面的方法，在所述步骤S6中，所述中央服务器将所述聚合隐私密文在所述顶端模型中进行前向传播的方法包括：
[0027]所述聚合隐私密文在前向传播过程中分别进行浮点型运算，向量矩阵乘法以及激活函数泰勒展开处理；
[0028]浮点型运算将浮点数据乘以常数，取整后模；浮点型运算主要涉及到两个对象，一个是对所述顶端模型的权重的浮点化处理；另一个是对所述聚合隐私密文的浮点化处理；对所述顶端模型的权重参数乘以常数10，对所述聚合隐私密文乘以常数100操作。
[0029]根据本专利技术第一方面的方法，在所述步骤S7中，所述中央服务器通过损失函数计算损失值，进行反向传播，然后更新所述顶端模型的方法包括：
[0030]将所述前向传播的输出结果输入到softmax层获得预测置信度，再将softmax层的输出结果和标签计算损失值，损失函数采用多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种垂直联邦架构下的数据信息防御方法，其特征在于，所述方法包括：步骤S1、构建基于垂直联邦学习框架，该框架由m个参与者和一个中央服务器组成，所述参与者和中央服务器都具有本地计算资源；参与者各自维护一个本地模型，所述中央服务器维护一个顶端模型；步骤S2、参与者联合选定一种模式作为密钥托管场景：可信模式和非可信模式；所述可信模式中参与者执行半同态加密，参与者使用统一的公钥和私钥；所述非可信模式下，参与者执行阈值同态加密方案，参与者各自使用各自的公钥和私钥；步骤S3、每个参与者构建一个本地训练子图，从所述本地训练子图学习网络数据信息并提取特征矩阵，构建本地模型，即参与者将自身所掌握的网络数据通过所述本地模型转换成嵌入表示；步骤S4、参与者利用公钥对本地生成的嵌入表示进行加密，获得加密后的嵌入表示密文，并将所述嵌入表示密文发送至服务器；步骤S5、所述中央服务器聚合拼接所有的参与者的嵌入表示密文形成聚合隐私密文；步骤S6、所述中央服务器将所述聚合隐私密文在所述顶端模型中进行前向传播；步骤S7、所述中央服务器通过损失函数计算损失值，进行反向传播，然后更新所述顶端模型，最后为每个参与者分别发送梯度密文；步骤S8、参与者本地模型接收服务器下发的梯度密文，对梯度密文进行解密，更新本地模型的参数；步骤S9、重复步骤S3至步骤S8，直到全局模型收敛，即在所述顶端模型上，所述顶端模型的预测准确度达到设定要求。2.根据权利要求1所述的一种垂直联邦架构下的数据信息防御方法，其特征在于，在所述步骤S1中，所述本地模型选择具有2层的图卷积神经网络作为特征提取模型；所述顶端模型为3层全连接层作为特征提取模型，其中每层全连接层连接Sigmoid激活函数层，第一层全连接层网络的输入维度为参与者数量m*64，其中m为垂直联邦学习中的参与者数量。3.根据权利要求1所述的一种垂直联邦架构下的数据信息防御方法，其特征在于，在所述步骤S2中，在所述可信模式下，参与者的加密采用RSA加密方案；在所述非可信模式下，按照参与者的实际运算资源，采用随机分组或者每个参与者独自生成公钥和私钥。4.根据权利要求1所述的一种垂直联邦架构下的数据信息防御方法，其特征在于，在所述步骤S3中，所述参与者将自身所掌握的网络数据通过所述本地模型转换成嵌入表示的方法包括：其中，X和分别为特征矩阵和邻接矩阵，D表示度矩阵，W
l
表示所述本地模型第l层的参数，σ(
·
)为激活函数。5.根据权利要求1所述的一种垂直联邦架构下的数据信息防御方法，其特征在于，在所述步骤S4中，参与者利用公钥采用RSA算法对本地生成的嵌入表示进行加密。6.根据权利要求1所述的一种垂直联邦架构下的数据信息防御方法，其特征在于，在所
述步骤S6中，所述中央服务器将所述聚合隐私密文在所述顶端模型中进行前向传播的方法包括：所述聚合隐私密文在前向传播过程中分别进行浮点型运算...

【专利技术属性】
技术研发人员：魏薇，景慧昀，周凡棣，牛金行，辛鑫，赵凯闻，
申请(专利权)人：中国信息通信研究院，
类型：发明
国别省市：