数据传输方法以及系统技术方案

本说明书实施例提供一种数据传输方法以及系统，该方法应用于数据传输系统，数据传输系统包括主节点、至少两个工作节点、以及从至少两个工作节点中确定的数据获取工作节点和协调工作节点，方法包括：主节点响应于数据获取工作节点发送的第一数据获取指令，向数据获取工作节点发送目标数据；数据获取工作节点接收主节点发送的目标数据，并将目标数据存储至协调工作节点；协调工作节点响应于其他工作节点发送的第二数据获取指令，向其他节点发送目标数据。通过由数据获取工作节点从主节点获取目标数据并存储至协调工作节点，每个工作节点在获取数据时不用向主节点进行数据获取，减少了主节点与工作节点的通信流量。了主节点与工作节点的通信流量。了主节点与工作节点的通信流量。

【技术实现步骤摘要】
数据传输方法以及系统


[0001]本说明书实施例涉及数据处理
，特别涉及一种数据传输方法。

技术介绍

[0002]Kubernetes系统在边缘计算场景越来越流行，在云管边架构中，kubernetes master部署在云端，kubernetes worker以及项目pods部署在边缘环境(离用户现场比较近)，K8s的worker和master通过公网连接。并且由于边缘节点一般没有配置公网地址，因此K8s master无法直接访问worker。当云管边的Kubernetes集群超过一定规模时(如：节点>10k,pod>200k,service>10k)时，当边缘项目Pod删除重建时，会触发所有边缘节点针对endpoints/endpointslices资源的请求，从而导致云边通信流量大幅度增加。同时边缘节点的上下线，也会触发所有边缘节点对Node资源的请求，也会导致云边流量大幅提升。云边流量的瞬时大幅度提升，甚至有可能达到云端流量出口(SLB)的流量限制，造成边缘请求的超过和出错。因此如何减少云边的公网通信流量，成为一个急需解决的问题。

技术实现思路

[0003]有鉴于此，本说明书实施例提供了一种数据传输方法。本说明书一个或者多个实施例同时涉及一种云端主节点与边缘节点的通信方法，一种数据传输装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0004]根据本说明书实施例的第一方面，提供了一种数据传输方法，所述数据传输系统包括主节点、至少两个工作节点、以及从所述至少两个工作节点中确定的数据获取工作节点和协调工作节点，所述方法包括：
[0005]所述主节点响应于所述数据获取工作节点发送的第一数据获取指令，向所述数据获取工作节点发送目标数据；
[0006]所述数据获取工作节点接收所述主节点发送的所述目标数据，并将所述目标数据存储至所述协调工作节点；
[0007]所述协调工作节点响应于其他工作节点发送的第二数据获取指令，向所述其他节点发送所述目标数据，其中，所述其他工作节点为所述至少两个工作节点中除所述协调工作节点之外的工作节点。
[0008]根据本说明书实施例的第二方面，提供了一种云端主节点与边缘节点的通信方法，应用于数据传输系统，所述数据传输系统包括云端主节点、至少两个边缘节点、以及从所述至少两个边缘节点中确定的数据获取边缘节点和协调边缘节点，包括：
[0009]所述云端主节点响应于所述数据获取边缘节点发送的第一数据获取指令，向所述数据获取边缘节点发送目标数据；
[0010]所述数据获取边缘节点接收所述云端主节点发送的所述目标数据，并将所述目标数据存储至所述协调边缘节点；
[0011]所述协调边缘节点响应于其他边缘节点发送的第二数据获取指令，向所述其他节
点发送所述目标数据，其中，所述其他边缘节点为所述至少两个边缘节点中除所述协调边缘节点之外的边缘节点。
[0012]根据本说明书实施例的第三方面，提供了一种数据传输系统，包括主节点、至少两个工作节点、以及从所述至少两个工作节点中确定的数据获取工作节点和协调工作节点，其中，
[0013]所述主节点，被配置为响应于所述数据获取工作节点发送的第一数据获取指令，向所述数据获取工作节点发送目标数据；
[0014]所述数据获取工作节点，被配置为接收所述主节点发送的所述目标数据，并将所述目标数据存储至所述协调工作节点；
[0015]所述协调工作节点，被配置为响应于其他工作节点发送的第二数据获取指令，向所述其他节点发送所述目标数据，其中，所述其他工作节点为所述至少两个工作节点中除所述协调工作节点之外的工作节点。
[0016]根据本说明书实施例的第四方面，提供了一种数据传输装置，应用于数据传输系统，所述数据传输系统包括主节点、至少两个工作节点、以及从所述至少两个工作节点中确定的数据获取工作节点和协调工作节点，所述装置包括：
[0017]所述主模块，被配置为响应于所述数据获取工作节点发送的第一数据获取指令，向所述数据获取工作节点发送目标数据；
[0018]所述数据获取模块，被配置为接收所述主节点发送的所述目标数据，并将所述目标数据存储至所述协调工作节点；
[0019]所述协调模块，被配置为响应于其他工作节点发送的第二数据获取指令，向所述其他节点发送所述目标数据，其中，所述其他工作节点为所述至少两个工作节点中除所述协调工作节点之外的工作节点。
[0020]根据本说明书实施例的第五方面，提供了一种计算设备，包括：
[0021]存储器和处理器；
[0022]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据传输方法的步骤。
[0023]根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述数据传输方法的步骤。
[0024]根据本说明书实施例的第七方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据传输方法的步骤。
[0025]本说明书实施例提供一种数据传输方法以及系统，该方法应用于数据传输系统，所述数据传输系统包括主节点、至少两个工作节点、以及从所述至少两个工作节点中确定的数据获取工作节点和协调工作节点，所述方法包括：所述主节点响应于所述数据获取工作节点发送的第一数据获取指令，向所述数据获取工作节点发送目标数据；所述数据获取工作节点接收所述主节点发送的所述目标数据，并将所述目标数据存储至所述协调工作节点；所述协调工作节点响应于其他工作节点发送的第二数据获取指令，向所述其他节点发送所述目标数据，其中，所述其他工作节点为所述至少两个工作节点中除所述协调工作节点之外的工作节点。通过在工作节点中确定一个数据获取工作节点，由数据获取工作节点从主节点获取目标数据并存储至协调工作节点，每个工作节点在获取数据时不用都向主节
点进行数据获取，减少了主节点与工作节点的通信流量。
附图说明
[0026]图1是本说明书一个实施例提供的一种数据传输方法的流程图；
[0027]图2是本说明书一个实施例提供的一种云端主节点与边缘节点的通信方法的流程图；
[0028]图3是本说明书一个实施例提供的一种云端主节点与边缘节点的通信方法的示意图；
[0029]图4是本说明书一个实施例提供的一种数据传输装置的结构示意图；
[0030]图5是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
[0031]在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
[0032]在本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，应用于数据传输系统，所述数据传输系统包括主节点、至少两个工作节点、以及从所述至少两个工作节点中确定的数据获取工作节点和协调工作节点，所述方法包括：所述主节点响应于所述数据获取工作节点发送的第一数据获取指令，向所述数据获取工作节点发送目标数据；所述数据获取工作节点接收所述主节点发送的所述目标数据，并将所述目标数据存储至所述协调工作节点；所述协调工作节点响应于其他工作节点发送的第二数据获取指令，向所述其他节点发送所述目标数据，其中，所述其他工作节点为所述至少两个工作节点中除所述协调工作节点之外的工作节点。2.根据权利要求1所述的方法，还包括：在所述至少两个工作节点中通过选举机制确定所述数据获取工作节点。3.根据权利要求2所述的方法，所述在所述至少两个工作节点中通过选举机制确定所述数据获取工作节点，包括：所述至少两个工作节点向所述协调工作节点发送锁指令；所述协调工作节点接收所述至少两个工作节点发送的锁指令，在接收到锁指令的情况下，根据所述锁指令确定所述数据获取工作节点。4.根据权利要求1所述的方法，还包括：所述至少两个工作节点中的目标工作节点，从所述协调工作节点获取需求数据，在所述协调工作节点中不存在所述需求数据的情况下，向所述主节点发送第三数据获取指令；所述主节点响应于所述第三数据获取指令，向所述目标工作节点发送所述需求数据；所述目标工作节点接收所述需求数据，其中，所述需求数据为所述主节点中除所述目标数据之外的其他数据。5.根据权利要求1所述的方法，还包括：所述数据获取工作节点向所述主节点发送数据更新指令；所述主节点响应于所述数据更新指令，向所述数据获取工作节点发送更新数据；所述数据获取工作节点从所述主节点获取更新数据，并将所述更新数据存储至所述协调工作节点，其中，所述更新数据为所述目标数据中变更的数据。6.根据权利要求1所述的方法，所述至少两个工作节点中每个工作节点均包括服务模块和代理模块；所述协调工作节点响应于其他工作节点发送的第二数据获取指令之前，还包括：所述服务模块向所述主节点发送第二数据获取指令；所述代理模块拦截所述第二数据获取指令，并将所述第二数据获取指令发送至所述协调工作节点。7.根据权利要求6所述的方法，所述协调工作节点还包括所述协调模块；所述协调模块接收任意一个所述代理模块发送的第二数据获取指令，并向所述代理模块发送所述目标数据；所述代理模块在接收到所述目标数据的情况下，将所述目标数据发送至对应的服务模块。
8.根据权利要求7所述的方法，还包括：所述数据获取工作节点中的代理模块向所述主节点发送所述第一数据获取指令；所述主节点向所述响应于所述第一数据...

【专利技术属性】
技术研发人员：何淋波，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：