一种基于不可逆变换的联合训练隐私保护方法技术

本发明专利技术公开了一种用于深度学习中支持多方联合训练的数据隐私保护方法，属于深度学习隐私保护技术领域。本发明专利技术基于不可逆变换技术的处理方式，采用将初始模型拆分为本地用户模型与中心服务器模型，并通过在本地模型中添加随机节点的方式使得本地训练过程不可逆。同时通过计算各数据集各类数据中各特征属性的可信度来降低低质量数据对于整体模型预测精度的影响。本发明专利技术可以有效的防止低质量数据参与训练对模型结果的破坏并能有效的保护各参与方数据集的隐私。与现有技术相比，消耗的计算资源与通信资源都较少。资源与通信资源都较少。资源与通信资源都较少。

【技术实现步骤摘要】
一种基于不可逆变换的联合训练隐私保护方法


[0001]本专利技术属于深度学习算法中训练数据隐私保护
，具体涉及一种由多方参与联合训练的场景。该方法对各方提供的训练数据提供隐私保护。

技术介绍

[0002]深度学习为代表的人工智能技术已开始渗透到工作与生活的各个层面，如人脸识别、语音输入、基因探测等。在实际应用中，深度学习算法经常需要将多个合作方的数据联合起来集中训练以取得更好的训练效果。集中式联合训练即将所有合作方的训练数据集中起来共同进行模型训练可以解决因训练数据不足造成的模型性能低下的问题。但集中式的联合训练主要面临各合作方数据交叉泄露的问题，同时，这种方式不符合隐私保护规范。因为在许多应用中，数据信息所有权属于个人，公司收集的个人信息无权透露给第三方。另外，由于合作方的多样性，各合作方提供的训练数据质量参差不齐，当有个别或部分合作方提供了低质量数据时，这将对模型的训练效果造成较大的影响。需要一种既可保护各方数据隐私同时又可避免低质量数据对训练结果造成负面影响的深度学习隐私保护方法。
[0003]目前在针对训练数据的隐私保护方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于不可逆变换的联合训练隐私保护方法，其特征在于包括：步骤S1：将初始模型拆分为本地模型以及中心服务器模型，收集并获取原始训练数据集；步骤S2：计算各方参与者原始数据集的均值以及计算各参与者数据集的可信度；步骤S3：过滤掉低质量数据集中可信度较低的数据，并使用过滤后数据参与本地的不可逆变换；步骤S4：对本地模型网络添加随机干扰节点构建不可逆的训练过程；各方在本地使用自身原始训练数据训练得到单层不可逆网络后的训练数据；其中不可逆的训练过程具体为：在本地网络输入层中添加d个随机节点，将原始数据集作为输入层数据进行训练且各初始变换参数矩阵为w，得到变换后的数据集D
’
，其中变换参数w的维度为(n+d)*n，随机节点在每组数据时都是随机的；步骤S5：集中各方参与者处理后的数据并在中心服务器上进行进一步训练，得到训练好的网络模型。2.如权利要求1中所述方法，其特征在于，在步骤1中将初始模型拆分为本地模型以及中心服务器模型，其具体为：将初始模型中的第一层至第二层迁移至本地中；每个参与者在本地的神经网络模型的输入层为初始模型的第一层，且本地模型的输出层为初始模型的第二层；中心服务器模型的输入层与本地模型的输出层节点数一致。3.如权利要求1中所述方法，其特征在于，在步骤1中本地模型的输出节点数的等于中心服务器模型的输入节点数。4.如权利要求2中所述方法，其特征在于，在步骤1中的本地模型输出数据可用于作为...

【专利技术属性】
技术研发人员：张攀峰，张文勇，杜慧，
申请(专利权)人：桂林理工大学，
类型：发明
国别省市：