【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种基于联邦学习的模型训练方法及装置。
技术介绍
1、机器学习技术可以帮助我们更好的理解和使用数据，体现数据价值，经过大量数据训练出来的机器学习模型已经广泛应用在生产和生活的各类场景中。而在大多数情况下，由于行业竞争、隐私安全等原因，用于进行模型训练的数据常常是以孤岛的形式存在的，制约了数据的使用和价值的发挥。基于此，联邦学习(federated machine learning/federated learning)的诞生实现多个数据源的数据交换，以此避免数据孤岛。
2、然而目前的联邦学习一般是通过第三方系统实现的，比如联邦系统通过加密机制获取发起模型训练任务的一端(下面简述为第一端)与参与模型训练任务的一端(下面简述为第二端)的数据，而后训练出一个虚拟的共有模型，进而避免数据孤岛。但是该种方式存在第三方系统泄露数据等情况，导致数据存在安全隐患。
3、因此，如何保证基于联邦学习的模型训练过程中数据的安全性，是目前急需解决的技术问题。
技术实现思路
1、本专利技术实施例提供一种基于联邦学习的模型训练方法及装置，用于保证基于联邦学习的模型训练过程中数据的安全性，防止数据泄露。
2、第一方面，本专利技术实施例提供一种基于联邦学习的模型训练方法，包括：
3、第一端根据自身的第一数据集和第一模型的参数确定第一训练参数；
4、所述第一端根据自身的第一公钥对所述第一训练参数进行加密，得到所述第一训练参数
5、所述第一端接收所述第二端反馈的所述第一模型的第一梯度密文，根据自身的第一私钥对所述第一模型的第一梯度密文进行解密，得到在本次迭代的所述第一模型的梯度；
6、所述第一端根据所述第一模型的梯度对所述第一模型进行迭代，更新所述第一模型的参数，直至所述第一模型迭代完成。
7、基于上述技术方案，第一训练参数为第一数据集和所述第一模型的参数的相乘结果，以此通过第一训练参数表示第一数据集和第一模型的参数，同理通过第二训练参数表示第二数据集和第二模型的参数，以此保证第一端和第二端各自的数据不出本地，防止数据泄露。并且，通过密文的形式交互第一训练参数、第一模型的第一梯度密文等参数，实现第一端和第二端之间的以密文的形式进行数据交互，既实现基于联邦学习的模型训练，又保证训练过程中数据的安全性。
8、可选的，第一端根据自身的第一数据集和第一模型的参数确定第一训练参数之前，还包括：
9、所述第一端向所述第二端发送自身的第一公钥以及所述第一数据集中各数据的标识，以使所述第二端根据所述第一数据集中各数据的标识确定所述第二数据集；
10、所述第一端接收所述第二端发送的第二公钥。
11、基于上述技术方案，加密方法可以为同态加密，通过第一端和第二端交互各自的公钥，可以实现第一端和第二端可以对基于第一公钥和/或第二公钥加密的数据进行计算，保证第一端和第二端之间以密文的形式进行数据交互。第一数据集和第二数据集作为模型训练的训练样本，各数据的标识为第一数据集和第二数据集共有的唯一标识，比如标识为用户的电话号、身份证号码等，用于对齐第一端和第二端的训练样本。
12、可选的，将所述第一训练参数的第一密文发送至第二端之后，还包括：
13、所述第一端接收所述第二端发送的中间参数的密文和基于随机数发送的所述第二模型的第一梯度密文；所述中间参数的密文是所述第二端基于第二公钥，根据所述第一训练参数的第一密文和所述第二训练参数的第一密文确定的；所述第二训练参数的第一密文是所述第二端根据所述第一公钥对所述第二训练参数与所述第二数据集的数据标签的差值进行加密后得到的，所述第二训练参数是所述第二端根据所述第二数据集和第二模型的参数确定的；所述第二模型的第一梯度密文表示所述第二模型的梯度根据所述第一公钥加密后的结果，是所述第二端根据所述中间参数的密文、所述第二数据集和所述第二模型的参数确定的；
14、所述第一端根据所述第一私钥对所述第二端基于随机数发送的所述第二模型的第一梯度密文进行解密，得到所述第二模型的梯度和所述随机数的运算结果，并将所述运算结果发送至所述第二端，以使所述第二端根据所述运算结果确定出所述第二模型的梯度；
15、所述第一端根据所述中间参数的密文、第一公钥、第二公钥、第一数据集和第一模型的参数确定所述第一模型的第二梯度密文；所述第一模型的第二梯度密文表示所述第一模型的第一梯度密文根据所述第二公钥加密后的结果；
16、所述第一端将所述第一模型的第二梯度密文发送至所述第二端，以使所述第二端根据自身的第二私钥对所述第一模型的第二梯度密文进行解密，得到第一模型的第一梯度密文。
17、基于上述技术方案，第一端基于第一公钥和第二公钥加密的中间参数进行计算，得到基于第一公钥和第二公钥加密的第一模型的第二梯度密文，以此保证第一端自身的数据不出本地，防止数据泄露，且实现基于联邦学习的模型训练。第一端还对基于基于随机数发送的第二模型的第一梯度密文进行解密，进而得到第二模型的梯度和随机数的运算结果，因为运算结果中具有随机数，因此保证第二模型的梯度的安全性；因为随机数是第二端生成的，因此可以使第二端得到自身的第二模型的梯度，实现第一端和第二端之间的以密文的形式进行数据交互，既实现基于联邦学习的模型训练，又保证训练过程中数据的安全性。
18、可选的，所述第一模型迭代完成之后，还包括：
19、所述第一端接收测试请求，所述测试请求包括待测数据的标识；
20、所述第一端根据所述待测数据的标识在本地确定第一待测数据，并根据迭代完成的第一模型对所述第一待测数据进行运算，得到第一结果；
21、所述第一端将所述待测数据的标识发送至第二端，以使所述第二端根据所述待测数据的标识在本地确定第二待测数据，并根据迭代完成的第二模型对所述第二待测数据进行运算，得到第二结果；
22、所述第一端接收所述第二端反馈的第二结果，并根据所述第一结果和第二结果确定所述待测数据的计算结果。
23、基于上述技术方案，第一端的第一模型和第二端的第二模型相当于局部模型，在对待测数据进行推理时，需第一端的第一模型和第二端的第二模型联合进行，实现在第一端和第二端各自的数据不出本地的基础上完成数据预测，以此防止数据泄露，保证数据的安全性。
24、第二方面，本专利技术实施例提供一种基于联邦学习的模型训练方法，包括：
25、第二端接收第一端发送的第一训练参数的第一密文；所述第一训练参数的第一密文是所述第一端根据第一公钥对所述第一训练参数进行加密后得到的，述第一训练参数是所述第一端根据第本文档来自技高网...
【技术保护点】
1.一种基于联邦学习的模型训练方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，第一端根据自身的第一数据集和第一模型的参数确定第一训练参数之前，还包括：
3.如权利要求1所述的方法，其特征在于，将所述第一训练参数的第一密文发送至第二端之后，还包括：
4.如权利要求1所述的方法，其特征在于，所述第一模型迭代完成之后，还包括：
5.一种基于联邦学习的模型训练方法，其特征在于，包括：
6.如权利要求5所述的方法，其特征在于，第二端接收第一端发送的第一训练参数的第一密文之前，还包括：
7.如权利要求5所述的方法，其特征在于，所述第二端根据自身的第二数据集、第二模型的参数和所述第一训练参数的第一密文确定所述第一模型的第一梯度密文，包括：
8.如权利要求7所述的方法，其特征在于，所述第二端基于第二公钥，根据所述第一训练参数的第一密文和所述第二训练参数的第一密文确定中间参数的密文，包括：
9.如权利要求8所述的方法，其特征在于，所述第二端根据自身的第二公钥对所述加密结果进行加密，得到
10.如权利要求9所述的方法，其特征在于，所述第一模型迭代完成之后，还包括：
11.一种基于联邦学习的模型训练装置，其特征在于，包括：
12.一种基于联邦学习的模型训练装置，其特征在于，包括：
13.一种计算机设备，其特征在于，包括：
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1至4或5至10任一项所述的方法。
...【技术特征摘要】
1.一种基于联邦学习的模型训练方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，第一端根据自身的第一数据集和第一模型的参数确定第一训练参数之前，还包括：
3.如权利要求1所述的方法，其特征在于，将所述第一训练参数的第一密文发送至第二端之后，还包括：
4.如权利要求1所述的方法，其特征在于，所述第一模型迭代完成之后，还包括：
5.一种基于联邦学习的模型训练方法，其特征在于，包括：
6.如权利要求5所述的方法，其特征在于，第二端接收第一端发送的第一训练参数的第一密文之前，还包括：
7.如权利要求5所述的方法，其特征在于，所述第二端根据自身的第二数据集、第二模型的参数和所述第一训练参数的第一密文确定所述第一模型的第一梯度密文，包括：
8.如权...
【专利技术属性】
技术研发人员：金洪亮，宋若宁，武昊，解军伟，王志刚，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。