【技术实现步骤摘要】
一种数据传输方法、分布式系统中复制数据的方法及装置
本申请涉及通信领域，尤其涉及一种数据传输方法、分布式系统中复制数据的方法及装置。
技术介绍
图1为一种典型的分布式系统的结构，其中，集群A和集群B部署在城市1，集群C、集群D和集群E部署在城市2，集群F和集群G部署在城市3。随着数据业务的增长，不同城市之间的集群难免要面临相互传输数据的需求。例如，集群A、集群C和集群D中分别部署有不同的业务单元，不同的业务单元之间彼此依赖，即集群A中的数据被集群C和集群D中的业务单元依赖，则需要集群A将数据传输到集群C和集群D。然而，在多集群场景中，由于地域远近的不同，相同的数据从不同的源集群传输到相同的目的集群的代价是不同的，因此，如何降低数据传输的代价，成为目前亟待解决的问题。
技术实现思路
本申请提供了一种数据传输方法及装置，目的在于解决如何降低数据传输的代价的问题。为了实现上述目的，本申请提供了以下技术方案：一种分布式系统中复制数据的方法，包括：获取第一节点待复制的数据的复制信息，所述复制信息包括所述数据所在的源节点，以及所述数据的标识；基于所述数据的标识，确定所述第一节点所...
【技术保护点】
1.一种分布式系统中复制数据的方法，其特征在于，包括：获取第一节点待复制的数据的复制信息，所述复制信息包括所述数据所在的源节点，以及所述数据的标识；基于所述数据的标识，确定所述第一节点所属的集群中是否存在第二节点，所述第二节点为所述第一节点所属的集群中正在复制所述待复制的数据的节点；确定为是时，根据所述第二节点获取所述待复制数据所需的时间，确定所述第一节点从所述源节点或者从所述第二节点来复制所述待复制的数据。
【技术特征摘要】
1.一种分布式系统中复制数据的方法，其特征在于，包括：获取第一节点待复制的数据的复制信息，所述复制信息包括所述数据所在的源节点，以及所述数据的标识；基于所述数据的标识，确定所述第一节点所属的集群中是否存在第二节点，所述第二节点为所述第一节点所属的集群中正在复制所述待复制的数据的节点；确定为是时，根据所述第二节点获取所述待复制数据所需的时间，确定所述第一节点从所述源节点或者从所述第二节点来复制所述待复制的数据。2.一种数据传输方法，应用在分布式系统中，所述分布式系统包括多个节点，其特征在于，包括：在第一节点将要向目的节点传输数据的情况下，如果存在第二节点且所述第二节点至少存储所述数据的一部分，则在预设的时长内，从所述第二节点向所述目的节点传输所述数据；其中，所述第二节点到所述目的节点的距离小于所述第一节点到所述目的节点的距离，或者，所述第二节点与所述目的节点的之间的带宽小于所述第一节点与所述目的节点之间的带宽。3.根据权利要求2所述的方法，其特征在于，所述如果存在第二节点且所述第二节点至少存储所述数据的一部分，则在预设的时长内，从所述第二节点向所述目的节点传输所述数据包括：如果存在所述第二节点，并且所述第二节点正在或将要从所述第一节点接收所述数据，则等待所述预设的时长；如果所述第二节点在所述预设的时长内完成所述数据的接收，从所述第二节点向所述目的节点传输所述数据。4.根据权利要求3所述的方法，其特征在于，还包括：如果所述第二节点没有在所述预设的时长内完成所述数据的接收，从所述第一节点向所述目的节点传输所述数据。5.根据权利要求2所述的方法，其特征在于，所述如果存在第二节点且所述第二节点至少存储所述数据的一部分，则在预设的时长内，从所述第二节点向所述目的节点传输所述数据包括：如果存在所述第二节点，并且所述第二节点中已存储所述数据，则在所述预设的时长内，从所述第二节点向所述目的节点传输所述数据。6.根据权利要求2-5任一项所述的方法，其特征在于，确定所述存在第二节点的过程包括：确定所述目的节点所属的节点分组，其中，所述目的节点所属的节点分组中的节点到所述目的节点的距离小于所述第一节点到所述目的节点的距离，或者，与所述目的节点的之间的带宽小于所述第一节点与所述目的节点之间的带宽，所述第一节点与所述目的节点属于不同的节点分组；所述目的节点所属的节点分组中的节点为所述第二节点。7.根据权利要求1所述的方法，其特征在于，还包括：如果不存在所述第二节点，则从所述第一节点向所述目的节点发送所述数据。8.根据权利要求7所述的方法，其特征在于，所述不存在所...
【专利技术属性】
技术研发人员：史英杰，冯亦挥，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。