多源数据的数据处理方法、装置及电子设备、存储介质制造方法及图纸

本申请提出一种多源数据的数据处理方法及装置，该方法包括：生成所述数据提供节点自身的私钥片段，以及加密公钥和求值公钥，其中，其他参与节点包括其他数据提供节点和数据使用节点，使用加密公钥对本地样本数据进行加密，生成密文数据，并发送给协调节点进行机器学习模型的训练；接收协调节点训练出的机器学习模型的模型参数对应的密文模型参数，其中，密文模型参数由协调节点根据求值公钥和接收的密文数据确定；使用所述私钥片段，对密文模型参数进行解密，并将解密后的模型参数片段发送给数据使用节点。本申请中基于门限同态加密技术，从多个数据源同时获取数据进行模型训练，可以保证各处数据的安全，以及模型训练的安全。安全。安全。

【技术实现步骤摘要】
多源数据的数据处理方法、装置及电子设备、存储介质


[0001]本申请涉及机器学习领域，尤其涉及多源数据的数据处理方法、装置及电子设备、存储介质。

技术介绍

[0002]一般来说，人工智能需要的数据涉及多个领域，这些数据往往由不同的平台拥有，为了建立高效的机器学习模型，常常需要从多个平台上获取相关的多种数据。在多源数据的机器学习场景中，数据的安全和隐私是核心问题。

技术实现思路

[0003]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的一个目的在于提出一种在打破数据孤岛的基础上，实现多源数据的数据处理，以得到性能更好的机器学习模型。
[0004]本申请的第一个目的在于提出一种多源数据的数据处理方法。
[0005]本申请的第二个目的在于提出另一种多源数据的数据处理方法。
[0006]本申请的第三个目的在于提出另一种多源数据的数据处理方法。
[0007]本申请的第四个目的在于提出一种多源数据的数据处理装置。
[0008]本申请的第五个目的在于提出另一种多源数据的数据处理装置。
[0009]本申请的第六个目的在于提出另一种多源数据的数据处理装置。
[0010]本申请的第七个目的在于提出一种电子设备。
[0011]本申请的第八个目的在于提出一种计算机可读存储介质。
[0012]为达上述目的，本申请第一方面实施例提出了一种多源数据的数据处理方法，适用于数据提供节点，所述方法包括：生成所述数据提供节点自身的私钥片段，以及加密公钥和求值公钥，其中，所述其他参与节点包括其他数据提供节点和数据使用节点；使用加密公钥对本地样本数据进行加密，生成密文数据，并发送给机器学习模型的协调节点进行机器学习模型的训练；接收协调节点训练出的机器学习模型的模型参数对应的密文模型参数，其中，密文模型参数由协调节点根据求值公钥和接收的密文数据确定；使用数据提供节点自身的私钥片段，对密文模型参数进行解密，并将解密后的模型参数片段发送给数据使用节点。
[0013]为达上述目的，本申请第二方面实施例提出了一种多源数据的数据处理方法，适用于数据使用节点，所述方法包括：生成数据使用节点自身的私钥片段，以及加密公钥和求值公钥，其中，其他参与节点包括数据提供节点；接收协调节点训练出的机器学习模型的模型参数对应的密文模型参数，其中，密文模型参数由协调节点根据求值公钥和接收的数据提供节点的密文数据确定；使用数据使用节点自身的私钥片段，对密文模型参数进行解密，获取第一模型参数片段；接收其他参与节点发送的第二模型参数片段；根据第一模型参数片段和第二模型参数片段，获取机器学习模型。
[0014]为达上述目的，本申请第三方面实施例提出了一种多源数据的数据处理方法，适用于协调节点，该方法包括：接收各数据提供节点发送的求值密钥；接收各数据提供节点发送的密文数据，其中，密文数据为数据提供节点使用加密公钥对自身的样本数据进行加密后生成；协调数据提供节点进行机器学习模型的训练，输出机器学习模型的模型参数；使用求值公钥对模型参数进行加密，得到密文模型参数；将密文模型参数分别发送给各数据提供节点以及数据使用节点进行解密。
[0015]为达上述目的，本申请第四方面实施例提出了一种多源数据的数据处理装置，适用于数据提供节点，该装置包括：密钥生成模块，用于生成数据提供节点自身的私钥片段，以及加密公钥和求值公钥，其中，其他参与节点包括其他数据提供节点和数据使用节点；加密模块，用于使用加密公钥对本地样本数据进行加密，生成密文数据，并发送给协调节点进行机器学习模型的训练；接收模块，用于接收协调节点训练出的机器学习模型的模型参数对应的密文模型参数，其中，密文模型参数由协调节点根据求值公钥和接收的密文数据确定；解密模块，用于使用数据提供节点自身的私钥片段，对密文模型参数进行解密，并将解密后的模型参数片段发送给数据使用节点。
[0016]为达上述目的，本申请第五方面实施例提出了一种多源数据的数据处理装置，适用于数据使用节点，该装置包括：密钥生成模块，用于生成数据使用节点自身的私钥片段，以及加密公钥和求值公钥，其中，其他参与节点包括数据提供节点；第一接收模块，用于接收协调节点训练出的机器学习模型的模型参数对应的密文模型参数，其中，密文模型参数由协调节点根据求值公钥和接收的数据提供节点的密文数据确定；解密模块，用于使用数据使用节点自身的私钥片段，对密文模型参数进行解密，获取第一模型参数片段；第二接收模块，用于接收其他参与节点发送的第二模型参数片段；获取模块，用于根据第一模型参数片段和第二模型参数片段，获取机器学习模型。
[0017]为达上述目的，本申请第六方面实施例提出了一种多源数据的数据处理装置，适用于协调节点，该装置包括：第一接收模块，用于接收各数据提供节点发送的求值密钥；第二接收模块，用于接收各数据提供节点发送的密文数据，其中，密文数据为数据提供节点使用加密公钥对自身的样本数据进行加密后生成；协调模块，用于协调数据提供节点进行机器学习模型的训练，输出机器学习模型的模型参数；加密模块，用于使用求值公钥对模型参数进行加密，得到密文模型参数；发送模块，用于将密文模型参数分别发送给各数据提供节点以及数据使用节点进行解密。
[0018]为达上述目的，本申请第七方面实施例提出了一种电子设备，其特征在于，包括处理器和存储器。其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如上述各方面提供的多源数据的数据处理方法。
[0019]为达上述目的，本申请第八方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述各方面提供的多源数据的数据处理方法。
[0020]本申请实施例提供的多源数据的数据处理方法及装置，构造多方门限同态加密机制，能够实现对多个数据提供节点的加密数据进行同态加密的目的，不仅扩展了同态加密的应用场景，而且协调阶段基于求值公钥可以对加密数据进一步加密，更好地保证了联邦学习模型训练的安全性。由于采用基于门限同态加密技术，从多个数据源同时获取数据进
行模型训练的过程中，可以保证各处数据的安全，以及模型训练的安全。并且在打破数据孤岛的基础上，实现多个数据源同时训练以得到性能更好的机器学习模型。而且基于同态加密算法来传输数据，不仅能够保护数据提供节点的样本数据的安全性，防止数据提供方的信息泄露，并且可以保证训练模型的模型参数的安全性。
[0021]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0022]图1是本申请提供的多源数据数据处理方法的应用场景示意图；
[0023]图2为本申请一实施例提供的一种多源数据数据处理方法的流程示意图；
[0024]图3本申请另一实施例提供的一种密钥生成方法的流程示意图；
[0025]图4本申请另一实施例提供的一种多源数据数据处理方法的流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源数据的数据处理方法，其特征在于，适用于数据提供节点，所述方法包括：生成所述数据提供节点自身的私钥片段，以及加密公钥和求值公钥，其中，所述其他参与节点包括其他数据提供节点和数据使用节点；使用所述加密公钥对本地样本数据进行加密，生成密文数据，并发送给协调节点进行机器学习模型的训练；接收所述协调节点训练出的所述机器学习模型的模型参数对应的密文模型参数，其中，所述密文模型参数由所述协调节点根据所述求值公钥和接收的所述密文数据确定；使用所述私钥片段，对所述密文模型参数进行解密，并将解密后的模型参数片段发送给所述数据使用节点。2.根据权利要求1所述的多源数据的数据处理方法，其特征在于，所述生成所述数据提供节点自身的私钥片段，以及加密公钥和求值公钥，包括：生成所述私钥片段，并基于所述私钥片段生成所述数据提供节点自身的加密公钥片段和所述求值公钥对应的目标中间结果；对所述加密公钥片段和所述目标中间结果进行广播；接收所述其他参与节点发送的各自的所述加密公钥片段和所述目标中间结果；基于各所述加密公钥片段，生成所述加密公钥，以及基于各所述目标中间结果，生成所述求值公钥。3.根据权利要求2所述的多源数据的数据处理方法，其特征在于，生成所述求值公钥之后，还包括：将所述求值公钥发送给所述协调节点。4.根据权利要求2所述的多源数据的数据处理方法，其特征在于，所述生成所述数据提供节点的私钥片段，包括：获取密钥生成参数，其中，所述密钥生成参数包括公共参数和公共随机数；基于所述公共参数和私钥生成算法，获取所述私钥片段。5.根据权利要求4所述的多源数据的数据处理方法，其特征在于，所述基于所述私钥片段生成所述数据提供节点自身的加密公钥片段和所述求值公钥对应的目标中间结果，包括：基于所述私钥片段、所述公共随机数和加密公钥生成算法，生成所述加密公钥片段；基于所述私钥片段和求值公钥生成算法，生成所述目标中间结果。6.根据权利要求5所述的多源数据的数据处理方法，其特征在于，所述基于所述私钥片段和求值公钥生成算法，生成所述目标中间结果，包括：基于所述私钥片段、所述公共随机数和求值公钥生成算法，生成所述求值公钥的第一中间结果，并广播所述第一中间结果；接收其他数据提供节点发送的各自的所述第一中间结果；基于自身的所述第一中间结果和所述其他数据提供节点的所述第一中间结果，获取所述求值公钥的第二中间结果；基于所述私钥片段、所述公共随机数和所述第二中间结果，获取所述求值公钥的目标中间结果，并广播所述目标中间结果。7.一种多源数据的数据处理方法，其特征在于，适用于数据使用节点，所述方法包括：
生成所述数据使用节点自身的私钥片段，以及加密公钥和求值公钥，其中，所述其他参与节点包括数据提供节点；接收所述协调节点训练出的所述机器学习模型的模型参数对应的密文模型参数，其中，所述密文模型参数由所述协调节点根据所述求值公钥和接收的所述数据提供节点的密文数据确定；使用所述私钥片段，对所述密文模型参数进行解密，获取第一模型参数片段；接收所述其他参与节点发送的第二模型参数片段；根据所述第一模型参数片段和所述第二模型参数片段，获取所述机器学习模型。8.根据权利要求7所述的多源数据的数据处理方法，其特征在于，所述生成所述数据使用节点自身的私钥片段，以及加密公钥和求值公钥，包括：生成所述数据使用节点的私钥片段，并基于所述私钥片段生成所述数据使用节点自身的加密公钥片段；对所述加密公钥片段进行广播。9.根据权利要求8所述的多源数据的数据处理方法，其特征在于，所述生成所述数据使用节点的私钥片段，包括：获取密钥生成参数，其中，所述密钥生成参数包括公共参数和公共随机数；基于所述公共参数和私钥生成算法，获取所述私钥片段。10.一种多源数据的数据处理方法，其特征在于，适用于协调节点，所述方法包括：接收各数据提供节点发送的求值密钥；接收各所述数据提供节点发送的密文数据，其中，所述密文数据为所述数据提供节点使用加密公钥对自身的样本数据进行加密后生成；协调所述数据提供节点进行机器学习模型的训练，输出所述机器学习模型的模型参数；使用所述求值公钥对所述模型参数进行加密，得到密文模型参数；将所述密文模型参数分别发送给各所述数据提供节点以及数据使用节点进行解密。11.一种多源数据的数据处理装置，其特征在于，适用于数据提供节点，所述装置包括：密钥生成模块，用于生成所述数据提供节点自身的私钥片段，以及加密公钥和求值公钥，其中，所述其他参与节点包括其他数据提供节点和数据使用节点；加密模块，用于使用所述加密公钥对本地样本数据进行加密，生成密文数据，并发送给协调节点进行机器学习模型的训练；接收模块，用于接收所述协调节点训练出的所述机器学习模型的模型参数对应的密文模型参数，其中，所述密文模型参数...

【专利技术属性】
技术研发人员：代子营，王铁成，
申请(专利权)人：京东科技控股股份有限公司，
类型：发明
国别省市：