基于联邦数据及联邦服务的数据共享方法及装置制造方法及图纸

本发明专利技术公开了一种基于联邦数据及联邦服务的数据共享方法及装置，该方法包括：接收数据使用方提交的模型运算需求；基于联邦节点能力数据库，根据模型运算需求匹配生成最优决策结果；基于最优决策结果选择计算模型，将公钥和计算模型发送至相应联邦节点；接收相应联邦节点返回的计算结果，其中，计算结果为联邦节点根据自身的联邦数据基于计算模型计算得出并通过公钥加密后的结果；将结果进行解密返回给数据使用方；计算参与计算的每个联邦节点的数据收益，提供给数据提供方；将计算过程数据存储在区块链的记账节点上；数据提供方作为联邦节点。本发明专利技术通过联邦服务机制来实现对各个数据使用方需求的决策生成，进而实现服务的联邦化。

【技术实现步骤摘要】
基于联邦数据及联邦服务的数据共享方法及装置
本专利技术涉及数据处理
，尤其涉及基于联邦数据及联邦服务的数据共享方法及装置。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。人工智能（以下简称AI）技术及应用已经在多领域场景取得突破性进展，正迅速改变经济及生活方式。在深度学习的范式下，人工智能对数据的需求非常巨大。但是目前数据共享、交易与开放等程度严重不足，正成为制约产业创新发展的瓶颈。大部分数据拥有方不愿意将自己的数据开放出来，造成了一个个数据孤岛，除了数据拥有方缺乏积极性外，其中一个很重要的原因是来自于数据的隐私保护。未来的趋势是：数据隐私保护的法律会越来越严格，人工智能对于数据的使用必须更加规范。因此对人工智能技术而言，一方面需要数据流通，但安全要求又严重限制了数据流通。这种情况下，传统的数据分析机制就无法满足法规要求，其本质是要改变数据集中式的分析技术为数据分布式的分析技术。
技术实现思路
本专利技术实施例提供一种基于联邦数据及联邦服务的数据共享方法，该方法包括：接收数据使用方提交的模型运算需求，基于联邦节点能力数据库，根据所述模型运算需求匹配生成最优决策结果；基于最优决策结果选择计算模型，将公钥和计算模型发送至最优决策结果中的相应联邦节点；接收相应联邦节点返回的计算结果，将所述计算结果进行解密，返回给数据使用方，其中，计算结果为联邦节点根据自身的联邦数据基于计算模型联合计算得出并通过公钥加密后的结果；计算参与计算的每个联邦节点的数据收益，将所述数据收益提供给数据提供方；将模型运算需求计算过程数据存储在区块链的记账节点上；其中，数据提供方作为联邦节点。本专利技术实施例还提供一种基于联邦数据及联邦服务的数据共享装置，该装置包括：决策生成模块，用于接收数据使用方提交的模型运算需求，基于联邦节点能力数据库，根据所述模型运算需求匹配生成最优决策结果；联合计算模块，用于基于最优决策结果选择计算模型，将公钥和计算模型发送至最优决策结果中的相应联邦节点；接收相应联邦节点返回的计算结果，将所述计算结果进行解密，返回给数据使用方，其中，计算结果为联邦节点根据自身的联邦数据基于计算模型联合计算得出并通过公钥加密后的结果；计费激励模块，用于计算参与计算的每个联邦节点的数据收益，将所述数据收益提供给数据提供方；交易记账模块，用于将模型运算需求计算过程数据存储在区块链的记账节点上；其中，数据提供方作为联邦节点。本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于联邦数据及联邦服务的数据共享方法。本专利技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述基于联邦数据及联邦服务的数据共享方法的步骤。本专利技术实施例中，通过接收数据使用方提交的模型运算需求；基于联邦节点能力数据库，根据所述模型运算需求匹配生成最优决策结果；基于最优决策结果选择计算模型，将公钥和计算模型发送至最优决策结果中的相应联邦节点；接收相应联邦节点返回的计算结果，其中，计算结果为联邦节点根据自身的联邦数据基于计算模型联合计算得出并通过公钥加密后的结果；将所述计算结果进行解密，返回给数据使用方；计算参与计算的每个联邦节点的数据收益，将所述数据收益提供给数据提供方；将模型运算需求计算过程数据存储在区块链的记账节点上；其中，数据提供方作为联邦节点。本专利技术提出了一个完整的联邦数据共享框架，使用联邦学习算法进行分布式模型计算，使用区块链技术解决信任问题，专利技术了联邦服务机制来实现对各个数据使用方需求的决策生成，进而实现服务的联邦化。专利技术了联邦数据机制来实现对各个数据提供方的接入审核和访问调度，进而实现数据的联邦化。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本专利技术实施例中联邦控制中心框架图；图2为本专利技术实施例中基于联邦数据及联邦服务的数据共享方法流程图一；图3为本专利技术实施例中基于联邦数据及联邦服务的数据共享方法流程图二；图4为本专利技术实施例中基于联邦数据及联邦服务的数据共享方法流程图三；图5为本专利技术实施例中基于联邦数据及联邦服务的数据共享方法流程图四；图6为本专利技术实施例中语音数据存储格式示意图；图7为本专利技术实施例中基于联邦数据及联邦服务的数据共享方法流程图五；图8为本专利技术实施例中基于联邦数据及联邦服务的数据共享装置结构框图一；图9为本专利技术实施例中基于联邦数据及联邦服务的数据共享装置结构框图二；图10为本专利技术实施例中基于联邦数据及联邦服务的数据共享装置结构框图三；图11为本专利技术实施例中基于联邦数据及联邦服务的数据共享装置结构框图四；图12为本专利技术实施例中基于联邦数据及联邦服务的数据共享装置结构框图五。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。相关术语解释联邦学习：本质上是一种分布式机器学习技术，目标是在保证数据隐私安全及合法合规的基础上，实现共同建模，提升人工智能模型的效果。联邦服务：实现对各个数据使用方需求的决策生成，进而实现服务的联邦化。联邦管理是实现联邦服务的主要模块，通过结合系统实际情况，将服务的目标转换成执行的规划，制定系统运行的规则和蓝图，来满足联邦服务所提出的要求。联邦数据：基于联邦控制模块实现对各个数据提供方的接入审核和访问调度，进而实现数据的联邦化。联邦学习、联邦服务、联邦数据之间的关系：联邦服务是联邦生态的决策者，决策如何满足数据使用者的需求；联邦数据是联邦生态的执行者，由一系列联邦节点构成，并将联邦服务的决策进行代码化，控制各个节点协作完成任务；联邦学习是分布式学习算法，不同的计算任务会用到不同的联邦学习算法，联邦服务的决策里包含使用哪个联邦学习算法，联邦数据在执行联合计算时会运行相应的联邦学习算法。区块链：本质上是一个共享数据库，存储于其中的数据或信息具有：不可伪造、全程留痕、可以追溯、公开透明、集体维护等特征。基于这些特征，区块链技术奠定了坚实的信任基础，创造了可靠的合作机制。联邦节点：数据拥有方注册加入联邦后，成为共享的联邦节点之一，可以被数据使用方访问并从中获益。基于现有技术中存在的问题，本专利技术提出了一种新的数据共享方法，可以实现“数据可用不可见”的数据分析训练，利用区块链机制本文档来自技高网...

【技术保护点】
1.一种基于联邦数据及联邦服务的数据共享方法，其特征在于，包括：/n接收数据使用方提交的模型运算需求，基于联邦节点能力数据库，根据所述模型运算需求匹配生成最优决策结果；/n基于最优决策结果选择计算模型，将公钥和计算模型发送至最优决策结果中的相应联邦节点；/n接收相应联邦节点返回的计算结果，将所述计算结果进行解密，返回给数据使用方，其中，计算结果为联邦节点根据自身的联邦数据基于计算模型联合计算得出并通过公钥加密后的结果；/n计算参与计算的每个联邦节点的数据收益，将所述数据收益提供给数据提供方；/n将模型运算需求计算过程数据存储在区块链的记账节点上；/n其中，数据提供方作为联邦节点。/n

【技术特征摘要】
1.一种基于联邦数据及联邦服务的数据共享方法，其特征在于，包括：
接收数据使用方提交的模型运算需求，基于联邦节点能力数据库，根据所述模型运算需求匹配生成最优决策结果；
基于最优决策结果选择计算模型，将公钥和计算模型发送至最优决策结果中的相应联邦节点；
接收相应联邦节点返回的计算结果，将所述计算结果进行解密，返回给数据使用方，其中，计算结果为联邦节点根据自身的联邦数据基于计算模型联合计算得出并通过公钥加密后的结果；
计算参与计算的每个联邦节点的数据收益，将所述数据收益提供给数据提供方；
将模型运算需求计算过程数据存储在区块链的记账节点上；
其中，数据提供方作为联邦节点。


2.如权利要求1所述的基于联邦数据及联邦服务的数据共享方法，其特征在于，所述模型运算需求包括联邦学习算法、需求数据类型和数据量；
所述联邦节点能力数据库包括联邦节点、联邦节点提供的数据类型、联邦节点的可处理数据量和联邦节点的处理质量；
基于联邦节点能力数据库，根据所述模型运算需求匹配生成最优决策结果，包括：
将需求数据类型与联邦节点提供的数据类型进行匹配，且将数据量和联邦节点的可处理数据量进行匹配，获得多条匹配结果；
基于联邦节点的处理质量，从多条匹配结果中选择最优的匹配结果形成最优决策结果。


3.如权利要求1所述的基于联邦数据及联邦服务的数据共享方法，其特征在于，基于最优决策结果选择计算模型，包括：
基于最优决策结果从联邦学习算法池获得相应的计算模型；
或，将最优决策结果返回至数据使用方，接收数据使用方提交的联邦学习算法对应的计算模型。


4.如权利要求1所述的基于联邦数据及联邦服务的数据共享方法，其特征在于，计算结果为联邦节点收到计算模型后在自己内部进行计算，需要其他联邦节点协作计算时，多个联邦节点之间将用于计算的中间结果通过公钥加密后进行数据交换。


5.如权利要求1所述的基于联邦数据及联邦服务的数据共享方法，其特征在于，计算参与计算的每个联邦节点的数据收益，包括：
计算参与计算的每个联邦节点的基础收益，所述基础收益为每个联邦节点的联邦数据使用量×联邦数据单位定价；
计算参与计算的每个联邦节点的额外收益，所述额外收益为数据质量分数和数据使用方对计算效果评价分数的加权计算；
将所述基础收益和所述额外收益加和。


6.如权利要求1所述的基于联邦数据及联邦服务的数据共享方法，其特征在于，还包括：

【专利技术属性】
技术研发人员：丰强泽，齐红威，何鸿凌，肖永红，
申请(专利权)人：数据堂北京科技股份有限公司，
类型：发明
国别省市：北京;11