分布式计算架构的数据传输方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种分布式计算架构的数据传输方法、装置、设备及存储介质，属于通信技术领域。第一数据集的数据存储于数据发送方的N个计算节点中；数据接收方分配M个计算节点存储第一数据集的数据；方法包括：发送针对第一数据集的数据获取请求，数据获取请求包括M个计算节点分别对应的第一数据集的键取值范围；通过M个计算节点接收N个计算节点发送的第一数据集的数据；其中，M个计算节点中的第i计算节点接收的第一数据集的数据由N个计算节点中的至少一个计算节点发送；至少一个计算节点分别对应的第一数据集的键取值范围与第i计算节点对应的第一数据集的键取值范围存在交集。本申请能够实现分布式计算架构数据的高效传输和灵活传输。和灵活传输。和灵活传输。

【技术实现步骤摘要】
分布式计算架构的数据传输方法、装置、设备及存储介质


[0001]本申请属于通信
，尤其涉及一种分布式计算架构的数据传输方法、装置、设备及存储介质。

技术介绍

[0002]随着云计算、大数据等技术的不断发展，数据规模不断增加，分布式计算技术得到了广泛应用。分布式计算的核心思想是：将庞大的数据计算任务，拆解成多个子任务并分发给计算集群内不同的计算节点并行执行，从而可以处理远远超过单机处理范围的数据量。
[0003]在多参与方的隐私计算领域，也需要采用分布式计算的方法来处理规模不断增加的数据。与传统的大数据处理技术不同，具有多参与方的隐私计算情景有如下的特殊性：隐私计算过程由多个异构的参与方共同参与，各个参与方之间是协作关系；在隐私计算的过程中，参与方之间需要在各自的计算集群之间（跨公网）传输大量的数据。因此，在设计多参与方的隐私计算分布式计算架构时，需要考虑在多个计算集群组成的复杂网络拓扑中，如何高效的从把数据从一个计算集群传输到另一个计算集群中。

技术实现思路

[0004]本申请实施例提供一种在分布式计算架构的数据传输方法、装置、设备及存储介质，能够实现多参与方的计算集群之间数据的高效传输和灵活传输。
[0005]第一方面，本申请实施例提供一种分布式计算架构的数据传输方法，应用于数据接收方，所述数据接收方用于从数据发送方接收第一数据集；其中，所述第一数据集的数据存储于所述数据发送方的N个计算节点中；所述数据接收方分配M个计算节点存储所述第一数据集的数据，N和M为正整数；所述方法包括：向所述数据接收方发送针对所述第一数据集的数据获取请求，所述数据获取请求包括所述M个计算节点分别对应的所述第一数据集的键取值范围；通过所述M个计算节点接收所述N个计算节点发送的所述第一数据集的数据；其中，所述M个计算节点中的第i计算节点接收的所述第一数据集的数据由所述N个计算节点中的至少一个计算节点发送，i的取值范围为1至M，且i为正整数；所述至少一个计算节点分别对应的所述第一数据集的键取值范围与所述第i计算节点对应的所述第一数据集的键取值范围存在交集；计算节点对应的所述第一数据集的键取值范围用于指示计算节点负责存储的所述第一数据集的数据。
[0006]第二方面，本申请实施例提供一种分布式计算架构的数据传输方法，应用于数据发送方，所述数据发送方用于向数据接收方发送第一数据集；其中，所述第一数据集的数据存储于所述数据发送方的N个计算节点中；所述数据接收方分配M个计算节点存储所述第一数据集的数据，N和M为正整数；所述方法包括：
接收所述数据接收方发送的针对所述第一数据集的数据获取请求，所述数据获取请求包括所述M个计算节点分别对应的所述第一数据集的键取值范围；通过所述N个计算节点向所述M个计算节点发送所述第一数据集的数据；其中，所述M个计算节点中的第i计算节点接收的所述第一数据集的数据由所述N个计算节点中的至少一个计算节点发送，i的取值范围为1至M，且i为正整数；所述至少一个计算节点分别对应的所述第一数据集的键取值范围与所述第i计算节点对应的所述第一数据集的键取值范围存在交集；计算节点对应的所述第一数据集的键取值范围用于指示计算节点负责存储的所述第一数据集的数据。
[0007]第三方面，本申请实施例提供了一种分布式计算架构的数据传输装置， 应用于数据接收方，所述数据接收方用于从数据发送方接收第一数据集；其中，所述第一数据集的数据存储于所述数据发送方的N个计算节点中；所述数据接收方分配M个计算节点存储所述第一数据集的数据，N和M为正整数；所述装置包括：第一发送模块，用于向所述数据接收方发送针对所述第一数据集的数据获取请求，所述数据获取请求包括所述M个计算节点分别对应的所述第一数据集的键取值范围；第一接收模块，用于通过所述M个计算节点接收所述N个计算节点发送的所述第一数据集的数据；其中，所述M个计算节点中的第i计算节点接收的所述第一数据集的数据由所述N个计算节点中的至少一个计算节点发送，i的取值范围为1至M，且i为正整数；所述至少一个计算节点分别对应的所述第一数据集的键取值范围与所述第i计算节点对应的所述第一数据集的键取值范围存在交集；计算节点对应的所述第一数据集的键取值范围用于指示计算节点负责存储的所述第一数据集的数据。
[0008]第四方面，本申请实施例提供了一种分布式计算架构的数据传输装置，应用于数据发送方，所述数据发送方用于向数据接收方发送第一数据集；其中，所述第一数据集的数据存储于所述数据发送方的N个计算节点中；所述数据接收方分配M个计算节点存储所述第一数据集的数据，N和M为正整数；所述装置包括：第二接收模块，用于接收所述数据接收方发送的针对所述第一数据集的数据获取请求，所述数据获取请求包括所述M个计算节点分别对应的所述第一数据集的键取值范围；第二发送模块，用于通过所述N个计算节点向所述M个计算节点发送所述第一数据集的数据；其中，所述M个计算节点中的第i计算节点接收的所述第一数据集的数据由所述N个计算节点中的至少一个计算节点发送，i的取值范围为1至M，且i为正整数；所述至少一个计算节点分别对应的所述第一数据集的键取值范围与所述第i计算节点对应的所述第一数据集的键取值范围存在交集；计算节点对应的所述第一数据集的键取值范围用于指示计算节点负责存储的所述第一数据集的数据。
[0009]第五方面，本申请实施例提供了一种分布式计算架构的数据传输设备，设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如第一方面或第二方面所述的分布式计算架构的数据传输方法。
[0010]第六方面，本申请实施例提供了一种计算机存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面或第二方面所述的分布式计算架构的数据传输方法。
[0011]第七方面，本申请实施例提供了一种计算机程序产品，其特征在于，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如第一方面或第二方卖弄所述的分布式计算架构的数据传输方法。
[0012]在本申请实施例中，由数据发送方将第一数据集发送至数据接收方，其中，第一数据集的数据存储于数据发送方的N个计算节点中，且数据接收方分配M个计算节点存储第一数据集的数据。在数据发送方向数据接收方发送第一数据集之前，数据接收方向数据发送方发送的针对第一数据集的数据获取请求中可以包括M个计算节点对应的第一数据集的键取值范围，以使数据发送方知晓M个计算节点中各计算节点负责存储的第一数据集的具体数据。数据发送方在接收到上述数据获取请求之后，可以通过N个计算节点直接向M个计算节点发送第一数据集的数据，其中，M个计算节点中各计算节点接收到的第一数据集的数据可以由N个计算节点中的与该计算节点对应的第一数据集的键取值范围存在交集的至少一个计算节点发送。如此，一方面，数据发送方和数据接收方可以分别灵活配置各自计算集群内用于数据传输的节点数量，从而可以提高数据传输的灵活度；另一方面，数据可以直接从数据发送方的计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式计算架构的数据传输方法，应用于数据接收方，其特征在于，所述数据接收方用于从数据发送方接收第一数据集；其中，所述第一数据集的数据存储于所述数据发送方的N个计算节点中；所述数据接收方分配M个计算节点存储所述第一数据集的数据，N和M为正整数；所述方法包括：向所述数据接收方发送针对所述第一数据集的数据获取请求，所述数据获取请求包括所述M个计算节点分别对应的所述第一数据集的键取值范围；通过所述M个计算节点接收所述N个计算节点发送的所述第一数据集的数据；其中，所述M个计算节点中的第i计算节点接收的所述第一数据集的数据由所述N个计算节点中的至少一个计算节点发送，i的取值范围为1至M，且i为正整数；所述至少一个计算节点分别对应的所述第一数据集的键取值范围与所述第i计算节点对应的所述第一数据集的键取值范围存在交集；计算节点对应的所述第一数据集的键取值范围用于指示计算节点负责存储的所述第一数据集的数据。2.根据权利要求1所述的方法，其特征在于，所述数据发送方包括第一驱动器和第一计算资源池，所述第一计算资源池包括所述N个计算节点；所述数据接收方包括第二驱动器和第二计算资源池，所述第二计算资源池包括所述M个计算节点；所述向所述数据接收方发送数据获取请求，所述数据获取请求包括所述M个计算节点分别对应的所述第一数据集的键取值范围之前，所述方法还包括：所述第二驱动器接收所述第一驱动器发送的第一信息，所述第一信息包括所述N个计算节点的地址信息，以及所述N个计算节点分别对应的所述第一数据集的键取值范围；所述第二驱动器根据所述M个计算节点分别对应的所述第一数据集的键取值范围和所述N个计算节点分别对应的所述第一数据集的键取值范围，确定所述N个计算节点中各计算节点与所述M个计算节点中各计算节点之间的对应关系；其中，具有对应关系的计算节点对应的所述第一数据集的键取值范围存在交集；所述第二驱动器根据所述对应关系，向所述M个计算节点分别发送数据获取任务，其中，所述第i计算节点的数据获取任务包括所述至少一个计算节点的地址信息，以及所述第i计算节点对应的所述第一数据集的键取值范围；所述向所述数据接收方发送针对所述第一数据集的数据获取请求，包括：所述M个计算节点分别根据所述数据获取任务，向所述N个计算节点发送针对所述第一数据集的数据获取请求；其中，所述第i计算节点发送的数据获取请求的目的地址信息为所述至少一个计算节点的地址信息，所述第i计算节点发送的数据获取请求包括所述第i计算节点对应的所述第一数据集的键取值范围。3.根据权利要求2所述的方法，计算节点包括任务分发服务和数据传输服务；所述第二驱动器根据所述对应关系，向所述M个计算节点分别发送数据获取任务，包括：所述第二驱动器根据所述对应关系，向所述M个计算节点的任务分发服务分别发送数据获取任务；所述M个计算节点分别根据所述数据获取任务，向所述N个计算节点发送数据获取请
求，包括：所述M个计算节点分别根据所述数据获取任务，向所述N个计算节点的数据传输服务发送数据获取请求；所述通过所述M个计算节点接收所述N个计算节点发送的所述第一数据集的数据，包括：所述M个计算节点的数据传输服务接收所述N个计算节点发送的所述第一数据集的数据。4.一种分布式计算架构的数据传输方法，应用于数据发送方，其特征在于，所述数据发送方用于向数据接收方发送第一数据集；其中，所述第一数据集的数据存储于所述数据发送方的N个计算节点中；所述数据接收方分配M个计算节点存储所述第一数据集的数据，N和M为正整数；所述方法包括：接收所述数据接收方发送的针对所述第一数据集的数据获取请求，所述数据获取请求包括所述M个计算节点分别对应的所述第一数据集的键取值范围；通过所述N个计算节点向所述M个计算节点发送所述第一数据集的数据；其中，所述M个计算节点中的第i计算节点接收的所述第一数据集的数据由所述N个计算节点中的至少一个计算节点发送，i的取值范围为1至M，且i为正整数；所述至少一个计算节点分别对应的所述第一数据集的键取值范围与所述第i计算节点对应的所述第一数据集的键取值范围存在交集；计算节点对应的所述第一数据集的键取值范围用于指示计算节点负责存储的所述第一数据集的数据。5.根据权利要求4所述的方法，其特征在于，所述数据发送方包括第一驱动器和第一计算资源池，所述第一计算资源池包括所述N个计算节点；所述数据接收方包括第二驱动器和第二计算资源池，所述第二计算资源池包括所述M个计算节点；所述接收所述数据接收方发送的针对所述第一数据集的数据获取请求之前，所述方法还包括：所述第一驱动器向所述第二驱动器发送第一信息，所述第一信息包括所述N个计算节点的地址信息，以及所述N个计算节点分别对应的所述第一数据集的键取值范围；所述接收所述数据接收方发送的针对所述第一数据集的数据获取请求，包括：所述N个计算节点接收所述M个计算节点发送的针对所述第一数据集的数据获取请求；其中，所述第i计算节点发...

【专利技术属性】
技术研发人员：蔡超超，韦晓亚，
申请(专利权)人：北京数牍科技有限公司，
类型：发明
国别省市：