一种数据处理方法、装置、设备、系统和存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、设备、系统和存储介质。由联邦学习系统中的第一节点执行，所述方法包括：获取第二节点发送的第二加密数据；第二加密数据由第二节点根据第二节点的第二样本数据确定；根据第一节点的第一加密数据和第二加密数据，确定待训练模型在第一节点中的第一收敛矩阵；其中，第一加密数据根据第一节点的第一样本数据确定；根据待训练模型在第一节点的第一预设梯度值和第一收敛矩阵，确定第一节点在当前收敛中的第一权重。本申请实施例的技术方案，简化了计算步骤和数据交互量，还能够在保证模型训练的性能不变的前提下，大幅提高训练的效率。大幅提高训练的效率。大幅提高训练的效率。

【技术实现步骤摘要】
一种数据处理方法、装置、设备、系统和存储介质


[0001]本申请涉及机器学习
，尤其涉及一种数据处理方法、装置、设备、系统和存储介质。

技术介绍

[0002]在互联网和人工智能大力发展的今天，越来越多的需求可以通过机器学习、深度学习等方式解决。例如常见的回归问题，通过机器学习进行数据处理，以使模型具备快速收敛解决回归目标的性能。但是，一般的数据处理过程将所有数据汇总在同一服务器或同一节点内完成，要求所有数据公开，这在实际业务场景是很高的要求。
[0003]因此，相关人士采用联邦的机器学习架构，通过不同的节点各自持有的部分数据共同地进行模型的训练。在这之中，节点与节点之间要保证交互内容的秘密性，因此保证了数据的安全，降低了模型对数据的要求。而为了保证交互内容的私密性，需要通过加密解密的方法对交互内容进行传输。但是在数据处理的迭代过程中，大量的交互、加密和解密过程会导致数据处理的计算量大、效率比较低。

技术实现思路

[0004]本申请提供了一种数据处理方法、装置、设备、系统和存储介质，以降低数据处理的计算量，并提高数据处理的效率。
[0005]根据本申请的第一方面，提供了一种数据处理方法，由联邦学习系统中的第一节点执行，所述方法包括：
[0006]获取第二节点发送的第二加密数据；第二加密数据由第二节点根据第二节点的第二样本数据确定；
[0007]根据第一节点的第一加密数据和第二加密数据，确定待训练模型在第一节点中的第一收敛矩阵；其中，第一加密数据根据第一节点的第一样本数据确定；
[0008]根据待训练模型在第一节点的第一预设梯度值和第一收敛矩阵，确定第一节点在当前收敛中的第一权重。
[0009]根据本申请的第二方面，提供了一种数据处理方法，由联邦学习系统中的第二节点执行，所述方法包括：
[0010]根据第二节点的第二样本数据，确定第二节点的第二加密数据；
[0011]向第一节点发送第二加密数据，以使第一节点根据第一节点的第一加密数据和第二加密数据，确定待训练模型在第一节点中的第一收敛矩阵；其中，第一加密数据根据第一节点的第一样本数据确定；并使第一节点根据待训练模型在第一节点的第一预设梯度值和第一收敛矩阵，确定第一节点在当前收敛中的第一权重。
[0012]根据本申请的第三方面，提供了一种数据处理装置，由联邦学习系统中的第一节点执行，所述装置包括：
[0013]第二加密数据获取模块，用于获取第二节点发送的第二加密数据；第二加密数据
由第二节点根据第二节点的第二样本数据确定；
[0014]第一收敛矩阵确定模块，用于根据第一节点的第一加密数据和第二加密数据，确定待训练模型在第一节点中的第一收敛矩阵；其中，第一加密数据根据第一节点的第一样本数据确定；
[0015]第一权重确定模块，用于根据待训练模型在第一节点的第一预设梯度值和第一收敛矩阵，确定第一节点在当前收敛中的第一权重。
[0016]根据本申请的第四方面，提供了一种数据处理装置，由联邦学习系统中的第二节点执行，所述装置包括：
[0017]第二加密数据确定模块，用于根据第二节点的第二样本数据，确定第二节点的第二加密数据；
[0018]第二加密数据发送模块，用于向第一节点发送第二加密数据，以使第一节点根据第一节点的第一加密数据和第二加密数据，确定待训练模型在第一节点中的第一收敛矩阵；其中，第一加密数据根据第一节点的第一样本数据确定；并使第一节点根据待训练模型在第一节点的第一预设梯度值和第一收敛矩阵，确定第一节点在当前收敛中的第一权重。
[0019]根据本申请的第五方面，提供了一种联邦学习系统，该系统由第一节点和第二节点组成；第一节点和第二节点通过预设的秘密分享算法进行交互；其中，
[0020]第一节点，用于在待训练模型的预设迭代周期中执行如本申请第一方面实施例所提供的一种数据处理方法；
[0021]第二节点，用于在待训练模型的预设迭代周期中执行如本申请第二方面实施例所提供的一种数据处理方法。
[0022]根据本申请的第六方面，提供了一种电子设备，所述电子设备包括：
[0023]至少一个处理器；以及
[0024]与所述至少一个处理器通信连接的存储器；其中，
[0025]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任一实施例所述的数据处理方法。
[0026]根据本申请的第七方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本申请任一实施例所述的数据处理方法。
[0027]本申请实施例的基础方案中，通过预先设定或者第0次迭代，以及在预设周期采用原始迭代时，确定秘密分享结果中的加密数据和/或加密梯度值，并在后续的多次迭代训练中直接获取使用，从而在每次迭代的过程中均减少了节点之间的交互，不仅简化了计算步骤和数据交互量，还能够在保证模型训练的性能不变的前提下，大幅提高训练的效率。
[0028]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0029]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]图1是根据本申请实施例一提供的应用于联邦学习系统第一节点中的一种数据处理方法的流程图；
[0031]图2是根据本申请实施例二提供的应用于联邦学习系统第二节点中的一种数据处理方法的流程图；
[0032]图3A是相关技术中的一种线性回归模型训练方法的示意图；
[0033]图3B是根据本申请实施例三提供的另一种线性回归模型训练方法的示意图；
[0034]图4是根据本申请实施例四提供的应用于联邦学习系统第一节点中的一种数据处理装置的结构图；
[0035]图5是根据本申请实施例五提供的应用于联邦学习系统第二节点中的一种数据处理装置的结构图；
[0036]图6是实现本申请实施例的数据处理方法的电子设备的结构示意图。
具体实施方式
[0037]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0038]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，由联邦学习系统中的第一节点在待训练模型的当前迭代周期中执行，所述方法包括：获取第二节点发送的第二加密数据；所述第二加密数据由所述第二节点根据所述第二节点的第二样本数据确定；根据所述第一节点的第一加密数据和所述第二加密数据，确定待训练模型在所述第一节点中的第一收敛矩阵；其中，所述第一加密数据根据所述第一节点的第一样本数据确定；根据所述待训练模型在所述第一节点的第一预设梯度值和所述第一收敛矩阵，确定所述第一节点在当前收敛中的第一权重。2.根据权利要求1所述的方法，其特征在于，所述根据待训练模型在所述第一节点的第一预设梯度值和所述第一收敛矩阵，确定所述第一节点在当前收敛中的第一权重，包括：根据所述第一预设梯度值和所述第一收敛矩阵，确定所述第一加密数据在所述第一节点中的第一非交互梯度值；根据所述第一非交互梯度值和所述第一预设梯度值，确定所述第一权重。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一非交互梯度值和所述第一预设梯度值，确定所述第一权重，包括：根据所述第一样本数据和所述第一加密数据，确定所述第一节点的固有梯度值；根据所述第一非交互梯度值、第一预设梯度值和所述固有梯度值的和，确定所述第一权重。4.根据权利要求1所述的方法，其特征在于，在所述获取第二节点的第二加密数据之前，所述方法还包括：根据所述第一节点的第一样本数据和第一初始化权重，确定第一交互数据；根据所述第一交互数据，确定所述第一节点的第一加密数据；将所述第一加密数据和通过预设的秘密分享算法加密后的第一交互数据发送至第二节点；以使所述第二节点根据所述第二节点的第二样本数据、所述第一加密数据和所述第一交互数据，确定所述第二节点的第二加密数据。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述方法还包括：所述第一加密数据和所述第一预设梯度值，通过获取所述第二节点在所述待训练模型的预设迭代周期内根据预设的秘密分享算法的计算结果而更新。6.一种数据处理方法，其特征在于，由联邦学习系统中的第二节点在待训练模型的当前迭代周期中执行，所述方法包括：根据所述第二节点的第二样本数据，确定所述第二节点的第二加密数据；向第一节点发送所述第二加密数据，以使所述第一节点根据所述第一节点的第一加密数据和所述第二加密数据，确定待训练模型在所述第一节点中的第一收敛矩阵；其中，所述第一加密数据根据所述第一节点的第一样本数据确定；并使所述第一节点根据所述待训练模型在所述第一节点的第一预设梯度值和所述第一收敛矩阵，确定所述第一节点在当前收敛中的第一权重。7.根据权利要求6所述的方法，其特征在于，所述根据所述第二节点的第二样本数据，确定所述第二节点的第二加密数据，包括：获取第一节点发送的第一加密数据和通过预设的秘密分享算法加密后的第一交互数
据；其中，所述第一加密数据根据所述第一节点的第一样本数据确定；根据所述第二节点的第二样本数据、所述第一加密数据和所述第一交互数据，确定所述第二节点的第二加密数据。8.根据权利要求6所述的方法，其特征在于，在所述确定所述第二节点的第二加密数据之后，所述方法还包括：根据所述第二加密数据，确定所述第二节点的第二收敛...

【专利技术属性】
技术研发人员：赵骁飞，兰春嘉，
申请(专利权)人：上海零数众合信息科技有限公司，
类型：发明
国别省市：