一种分布式机器学习中知识迁移的隐私保护方法技术

本发明专利技术公开了一种分布式机器学习中知识迁移的隐私保护方法，每个客户端先各自训练好自己的模型作为教师模型，服务请求方提供未经过标签的公共数据给客户端用教师模型进行预测，云服务器聚合教师模型的预测结果，然后经过安全比较算法给出对应标签，服务请求方使用给出的标签进行训练得到学生模型。本发明专利技术可以使得在整个训练过程中，进行聚合的云服务器不直接访问任何用户数据，并且除了通过差分隐私加噪后最高得票的标签，不会泄露其他任何信息。息。息。

【技术实现步骤摘要】
一种分布式机器学习中知识迁移的隐私保护方法


[0001]本专利技术涉及机器学习技术，具体涉及一种分布式机器学习中知识迁移的隐私保护方法。

技术介绍

[0002]近些年来，机器学习快速发展，已经广泛应用在自然语言理解、非单调推理、机器视觉、模式识别等许多领域，但是机器学习的广泛应用增加了人们对机器学习模型对敏感数据训练的隐私影响的担忧，为了解决这个问题，提出了教师学生模型：每个用户本地训练，作为“教师”模型，在私有数据集中训练自己的模型；服务请求方，提供未经过标签的公共数据给教师模型预测，并选择大多数教师模型选择的标签用作训练自己的学生模型。在整个训练过程中，聚合器没有直接访问任何用户数据。
[0003]但是聚合数据的过程是不受保护的，所以在聚合过程中仍然有可能泄露有关数据的信息。现有的方法通过对聚合过程中的数据使用同态加密进行保护，虽然实现了保护数据的作用，但是时间开销太大。

技术实现思路

[0004]本专利技术的目的在于提供一种分布式机器学习中知识迁移的隐私保护方法，最终只会公布加噪后最高得票的标签，不会泄露其他任何信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式机器学习中知识迁移的隐私保护方法，其特征在于，具体步骤为：步骤1、客户端训练教师模型，用本地的数据集训练好自己的教师模型；步骤2、聚合标签，服务请求方提供给客户端没有标签的公共数据，客户端每个教师模型进行预测，每个教师模型将预测结果随机分成两份分别发给两个云服务器，云服务器对预测结果进行聚合；步骤3、云服务器对于聚合的结果，使用安全比较算法求出每个样本对应的标签，返回样本
‑
标签对；步骤4、服务请求方使用标记好的数据进行训练，得到自己的学生模型。2.根据权利要求1所述的分布式机器学习中知识迁移的隐私保护方法，其特征在于，步骤1中所述的训练教师模型，每个教师模型均是一个独立训练的模型，在一个希望自身隐私被保护的数据子集上进行训练；该数据被分区，以确保没有使用重叠数据训练的教师模型，即每个数据子集无重叠数据样本。3.根据权利要求1所述的分布式机器学习中知识迁移的隐私保护方法，其特征在于，步骤2中所述的聚合标签，对于服务请求方提供的每个样本，每个客户端的教师模型进行预测，给出一个独热编码形式的预测结果，只有在预测标签的类别位置上值为1，其余位置值均为0；每个教师模型将自己的预测结果随机分为两份发给两个云服务器，云服务器聚合所有教师模型预测结果。4.根据权利要求1所述的分布式机器学习中知识迁移的隐私保护方法，其特征在于，步骤3中，云服务器进行聚合后，首先对所有投票结果使用安全比较算法求出最大值，如果最大值加上高斯噪声后的值大于给定阈值，则对所有投票结果添加另一个高斯噪声，再对加噪后的投票结果进行安全比较，求出最大值对应的标签，标签即为所求。5.根据权利要求4所述的分布式机器学习中知识迁移的隐私保护方法，其特征在于，安全比较算法具体为：S1、对要进行比较的两个整数a和b，给定随机数r0和r1，a分为两个值[a0]＝r0和[a1]＝a
‑
r0，b分为两个值[b0]＝r1和[b1]＝b
‑
r1，[
·
]表示在环中的秘密共享，将[a0]和[b0]发送服务器S0，[a1]和[b1]发送给服务器S1，两个服务器分别计算[f0]＝[a0]
‑
...

【专利技术属性】
技术研发人员：高艳松，李群，邱虎鸣，郑宜峰，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：