联邦学习中数据的处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种联邦学习中数据的处理方法及装置，该方法包括：获取链下数据和链上数据，所述链下数据为各终端上传到分布式数据库上的源数据，所述链上数据为各终端参与联邦学习过程建模得到的存储在区块链上的中间参数；根据所述链下数据和所述链上数据进行联邦学习过程，更新已建联邦学习模型；其中，联邦学习过程在可信环境下进行。本发明专利技术实施例提供的联邦学习中数据的处理方法、装置、电子设备及存储介质，通过安全存储在分布式数据库中的源数据和存储在区块链上完成共享的中间参数，使得各终端的数据能够实现安全共享，便于两类数据能够安全的协同及共享，为联邦学习训练产生积极效益。

【技术实现步骤摘要】
联邦学习中数据的处理方法、装置、电子设备及存储介质
本专利技术涉及信息处理
，尤其涉及一种联邦学习中数据的处理方法、装置、电子设备及存储介质。
技术介绍
联邦学习是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与终端或多计算节点终端之间开展高效率的机器学习。联邦学习的基本思路是终端的数据不共享，各终端分别训练机器学习模型，然后共享学习过程中的中间参数，由服务器聚合后，反馈到各终端，再分别共享各自训练的模型。为此，为了解决各终端的数据不共享，需保障联邦学习中的数据存储安全和数据传输安全，但目前未存储较好方案，故对联邦学习训练不能产生积极作用。
技术实现思路
针对现有技术存在的问题，本专利技术实施例提供一种联邦学习中数据的处理方法、装置、电子设备及存储介质。第一方面，本专利技术实施例提供的一种联邦学习中数据的处理方法，包括：获取链下数据和链上数据，所述链下数据为各终端上传到分布式数据库上的源数据，所述链上数据为各终端参与联邦学习过程建模得到的存储在区块链上的中间参数；根据所述链下数据和所述链上数据进行联邦学习过程，更新已建联邦学习模型；其中，联邦学习过程在可信环境下进行。进一步地，所述源数据为采用非对称加密算法存储在分布式DHT列表中。进一步地，所述中间参数的上链处理过程包括：对中间参数加密并封装为交易数据，对所述交易数据进行聚合划分，将划分后的交易数据存储在对应的区块中。进一步地，在更新已建联邦学习模型后，还包括：使更新后的联邦学习模型和非联邦学习模型应用于预设的应用场景中进行预测，确定预测结果，根据各自的预测结果进行比较，获得比较结果。进一步地，在获取链下数据之前，还包括：对源数据进行质量检测，根据检测结果；若检测结果为正常，使源数据加密存储，并向对应的终端发送Token数据；若检测结果为异常，放弃源数据，并向对应的终端发送放弃执行信号。进一步地，所述可信环境为采用IntelSGX架构所建立，相应地，所述源数据由可信环境从分布式DHT列表中读取。进一步地，在Fabric联盟链上对交易数据进行聚合划分。第二方面，本专利技术实施例提供一种联邦学习中数据的处理装置，包括：获取模块，用于获取链下数据和链上数据，所述链下数据为各终端上传到分布式数据库上的源数据，所述链上数据为各终端参与联邦学习过程建模得到的存储在区块链上的中间参数；处理模块，用于根据所述链下数据和所述链上数据进行联邦学习过程，更新已建联邦学习模型；其中，联邦学习过程在可信环境下进行。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述联邦学习中数据的处理方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述联邦学习中数据的处理方法的步骤。本专利技术实施例提供的联邦学习中数据的处理方法、装置、电子设备及存储介质，通过安全存储在分布式数据库中的源数据和存储在区块链上完成共享的中间参数，使得各终端的数据能够实现安全共享，便于两类数据能够安全的协同及共享，为联邦学习训练产生积极效益。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术联邦学习中数据的处理方法实施例流程图；图2为本专利技术联邦学习中数据的处理方法的流程框图；图3为本专利技术联邦学习中数据的处理装置实施例结构图；图4为本专利技术电子设备实施例结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1示出了本专利技术一实施例提供的一种联邦学习中数据的处理方法的流程示意图，参见图1，该方法包括：S11、获取链下数据和链上数据，链下数据为各终端上传到分布式数据库上的源数据，所述链上数据为各终端参与联邦学习过程建模得到的存储在区块链上的中间参数；S12、根据链下数据和链上数据进行联邦学习过程，更新已建联邦学习模型；其中，联邦学习过程在可信环境下进行。针对步骤S11和步骤S12，需要说明的是，在本专利技术实施例中，联邦学习是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与终端或多计算节点终端之间开展高效率的机器学习。联邦学习的基本思路是终端的数据不共享，各终端分别训练机器学习模型，然后共享学习过程中的中间参数，由服务器聚合后，反馈到各终端，再分别共享各自训练的模型。在本实施例中，将各终端参与联邦学习过程建模得到的中间参数存储到区块链上，实现在区块链上对产生的中间参数的安全存储、传输和高效共享。在本实施例中，可利用区块链中的联盟链—HyperledgerFabric对中间参数进行聚合划分。在本实施例中，将各终端的原始数据(源数据)存储在分布式数据库中。具体可存储在DHT列表中，利用非对称加密算法实现对源数据的数据安全存储。在本实施例中，由于建立可信存储环境，支持可信环境从DHT中安全、动态、实时地读取和更新源数据数据，根据源数据和链上数据进行联邦学习过程，更新已建联邦学习模型；其中，联邦学习过程在可信环境下进行，可信环境采用IntelSGX架构所建立。本专利技术实施例提供的联邦学习中数据的处理方法，通过安全存储在分布式数据库中的源数据和存储在区块链上完成共享的中间参数，使得各终端的数据能够实现安全共享，便于两类数据能够安全的协同及共享，为联邦学习训练产生积极效益。在上述实施例方法的进一步实施例中，主要是对中间参数的上链处理过程进行解释说明，具体如下：对中间参数加密并封装为交易数据，对交易数据进行聚合划分，将划分后的交易数据存储在对应的区块中。对此，需要说明的是，中间参数能够在区块链上实现存储及共享，其需作为交易数据在链上进行聚类划分，然后将划分后的交易数据存储在对应的区块上。在本实施例中，可利用区块链中的联盟链—HyperledgerFabric对中间参数进行聚合划分。利用区块链中的联盟链—HyperledgerFabric作为数据共享的载体，基于Fabric的框架结构，根据场景情况设置合适的参数、优化交易流程，在利用区块链去中心化特性的基础上提高传输效率。在上述实施例方法的进一步实施例中，在更新已建联邦学习模型后，还本文档来自技高网...

【技术保护点】
1.一种联邦学习中数据的处理方法，其特征在于，包括：/n获取链下数据和链上数据，所述链下数据为各终端上传到分布式数据库上的源数据，所述链上数据为各终端参与联邦学习过程建模得到的存储在区块链上的中间参数；/n根据所述链下数据和所述链上数据进行联邦学习过程，更新已建联邦学习模型；其中，联邦学习过程在可信环境下进行。/n

【技术特征摘要】
1.一种联邦学习中数据的处理方法，其特征在于，包括：
获取链下数据和链上数据，所述链下数据为各终端上传到分布式数据库上的源数据，所述链上数据为各终端参与联邦学习过程建模得到的存储在区块链上的中间参数；
根据所述链下数据和所述链上数据进行联邦学习过程，更新已建联邦学习模型；其中，联邦学习过程在可信环境下进行。


2.根据权利要求1所述的联邦学习中数据的处理方法，其特征在于，所述源数据为采用非对称加密算法存储在分布式DHT列表中。


3.根据权利要求1所述的联邦学习中数据的处理方法，其特征在于，所述中间参数的上链处理过程包括：
对中间参数加密并封装为交易数据，对所述交易数据进行聚合划分，将划分后的交易数据存储在对应的区块中。


4.根据权利要求1所述的联邦学习中数据的处理方法，其特征在于，在更新已建联邦学习模型后，还包括：
使更新后的联邦学习模型和非联邦学习模型应用于预设的应用场景中进行预测，确定预测结果，根据各自的预测结果进行比较，获得比较结果。


5.根据权利要求1所述的联邦学习中数据的处理方法，其特征在于，在获取链下数据之前，还包括：
对源数据进行质量检测，根据检测结果；
若检测结果为正常，使源数据加密存储，并向对应的终端发送T...

【专利技术属性】
技术研发人员：杨文韬，陈昌，易晓春，
申请(专利权)人：西安纸贵互联网科技有限公司，
类型：发明
国别省市：陕西;61